Python例子
- 用Python处理HTML转义字符
- windows安装selenium获取页面代码
- 检测含有某个关键字的页面url和链接
- Python复制文件到另外一个文件夹
- requests POST请求发送文件和数据
- Python设置函数最大执行时间
- Python例子-图片转成base64格式
- Python获取用户IP地址
- requests.get(url,headers = headers).text解码为中文
- Python例子-Python结合正则去除所有html标签
- Python例子-图片验证码
- Python例子-将一个list的值加入字典,然后再插入到一个空列表
- Python例子-爬取糗事百科首页内容
- Python例子-urllib模拟游览器
- Python例子-读取远程页面并写入本地页面
- Python例子-通过装饰器实现已有函数执行时间的统计
- Python例子-使用闭包函数输出不同人的对话
- Python例子-面向对象(烤地瓜)
- Python例子-复制文件
- Python例子-计算阶乘 n! = 1 * 2 * 3 * ... * n
- Python例子-8个老师分配到3个办公室
- Python例子-求1~100中平方根是整数的数
- Python例子-求100-999之间所有的"水仙花数"
- Python例子-1、2、3、4组成互不相同不重复的三位数
- Python例子-年份是否是闰年
- Python例子-设计“过7游戏”
- Python例子-九九乘法表
- Python例子-统计字符串中,各个字符的个数
- Python例子-测试身材是否标准
- Python例子-计算1~100的累加和
- Python例子-猜拳游戏
- Python例子上公交车有座位可以坐下
用Python处理HTML转义字符
写爬虫是一个发送请求,提取数据,清洗数据,存储数据的过程。在这个过程中,不同的数据源返回的数据格式各不相同,有 JSON 格式,有 XML 文档,不过大部分还是 HTML 文档,HTML 经常会混杂有转移字符,这些字符我们需要把它转义成真正的字符。
什么是转义字符
在 HTML 中 <、>、& 等字符有特殊含义(<,> 用于标签中,& 用于转义),他们不能在 HTML 代码中直接使用,如果要在网页中显示这些符号,就需要使用 HTML 的转义字符串(Escape Sequence),例如 < 的转义字符是 <,浏览器渲染 HTML 页面时,会自动把转移字符串换成真实字符。
转义字符(Escape Sequence)由三部分组成:第一部分是一个 & 符号,第二部分是实体(Entity)名字,第三部分是一个分号。 比如,要显示小于号(<),就可以写< 。
Python 反转义字符串
用 Python 来处理转义字符串有多种方式,而且 py2 和 py3 中处理方式不一样,在 python2 中,反转义串的模块是 HTMLParser。
# python2 import HTMLParser my_str = HTMLParser().unescape('a=1&b=2') print(my_str) # a=1&b=2
Python3 把 HTMLParser 模块迁移到 html.parser
# python3 from html.parser import HTMLParser my_str = HTMLParser().unescape('a=1&b=2') print(my_str) # a=1&b=2
到 python3.4 之后的版本,在 html 模块新增了 unescape 方法。
# python3.4 import html my_str = html.unescape('a=1&b=2') print(my_str) # a=1&b=2
推荐最后一种写法,因为 HTMLParser.unescape 方法在 Python3.4 就已经被废弃掉,不推荐使用,意味着之后的版本有可能会被彻底移除。
另外,sax 模块也有支持反转义的函数
from xml.sax.saxutils import unescape my_str = unescape('a=1&b=2') print(my_str) # a=1&b=2
最后修改:2021-09-07 10:10:40