爬虫常用函数

2018-08-24

遇到去不掉空格时，可以尝试如下方法

def remove_all_space_char(ss):
    """
    去掉所有的不可见字符，包括空格，换行等等
    :param ss:
    :return:
    """
    temp = re.sub(ur'[\x00-\x20]|\xa0', '', unicode(ss))
    return temp

解析过程中遇到不完整的标签时，可以尝试将原文进行如下操作

1 2	soup = BeautifulSoup(html, 'html5lib') # 选择html5lib html = soup.prettify()

解析原文时，遇到html转义字符时，可以使用如下方法

html = u' &amp;abc\u003c'
html_parser = HTMLParser.HTMLParser()
txt = html_parser.unescape(html)
print txt  # 输出  &abc<

jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true