Python例子
- Python例子-图片验证码
- Python例子-将一个list的值加入字典,然后再插入到一个空列表
- Python例子-爬取糗事百科首页内容
- Python例子-urllib模拟游览器
- Python例子-读取远程页面并写入本地页面
- Python例子-通过装饰器实现已有函数执行时间的统计
- Python例子-使用闭包函数输出不同人的对话
- Python例子-面向对象(烤地瓜)
- Python例子-复制文件
- Python例子-计算阶乘 n! = 1 * 2 * 3 * ... * n
- Python例子-8个老师分配到3个办公室
- Python例子-求1~100中平方根是整数的数
- Python例子-求100-999之间所有的"水仙花数"
- Python例子-1、2、3、4组成互不相同不重复的三位数
- Python例子-年份是否是闰年
- Python例子-设计“过7游戏”
- Python例子-九九乘法表
- Python例子-统计字符串中,各个字符的个数
- Python例子-测试身材是否标准
- Python例子-计算1~100的累加和
- Python例子-猜拳游戏
- Python例子上公交车有座位可以坐下
Python例子-urllib模拟游览器
import urllib.request import random url = 'http://www.baidu.com' # 方法1,模拟请求头,字典 # 常见请求头https://blog.csdn.net/mouday/article/details/80182397 https://www.cnblogs.com/zrmw/p/9332801.html headers = { 'Accept':'application/json,application/javascript,*/*;q=0.01', 'X-Requested-With':'XMLHttpRequest', 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36', 'Content-Type':'application/x-www-form-urlencoded;charset=utf-8' } # 设置一个请求体 req = urllib.request.Request(url,headers=headers) # 发起请求 response = urllib.request.urlopen(req) data = response.read().decode('utf-8') # print(type(data)) # <class 'str'> # print(data) # 打印出来的就是百度首页的内容 # 方法2 agentList = [ "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50", "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0", ] agentStr = random.choice(agentList) # 随机拿一个 # print(agentStr) req = urllib.request.Request(url) req.add_header('User-Agent',agentStr) # 逗号,不是冒号 response = urllib.request.urlopen(req) data = response.read().decode('utf-8') print(type(data)) print(data)
最后修改:2020年3月29日 00:32