Python其他

在selenium，webdriver之谷歌游览器添加随机代理IP地址

在我们做爬虫的时候，经常需要使用自动化测试框架selenium，下面我们就讲解一下怎么在selenium框架中加入随机代理IP。

以scrapy结合selenium为例：

首先，在scrapy settings.py加入代理IP地址列表，如下代码：

PROXIES = [
    'http://username1:password1@ip1:端口1',
    'http://username2:password1@ip2:端口2',
    'http://username3:password1@ip3:端口3',
    'http://username4:password1@ip4:端口4',
    'http://username5:password1@ip5:端口5',
    'http://username6:password1@ip6:端口6',
 ]

然后再selenium代码里面导入settings里面的PROXIES，使用代码：from kyqb.settings import PROXIES，其中kyqb是你的scrapy项目名字，下面贴出一部分代码：

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless') # 不用打开图形界面
chrome_options.add_argument('--no-sandbox') # 让Chrome在root权限下跑
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
PROXY = random.choice(PROXIES)
print('截图IP是:{}'.format(PROXY))
time.sleep(10)
chrome_options.add_argument('--proxy-server={0}'.format(PROXY))
chrome_options.add_argument(
    'user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.85 Safari/537.36"')

brower = webdriver.Chrome(chrome_options=chrome_options)  # 创建一个chrome的webdrive

这样就完成了

最后修改:2021-07-18 03:57:58