代理 IP 是爬虫中非常常用的方法,可以避免因为频繁请求而被封禁。下面是 Python 爬虫使用代理 IP 的正确方法:
1. 选择可靠的代理 IP 供应商,购买或者免费使用代理 IP 列表。
2. 在爬虫中使用第三方库 requests ,并在 requests.get() 或 requests.post() 请求时添加代理 IP 参数,例如:
import requests
proxies = {
“http”: “http://10.10.1.10:3128”,
“https”: “http://10.10.1.10:1080”,
}
response = requests.get(url, proxies=proxies)
其中,http 和 https 表示协议,10.10.1.10:3128 和 10.10.1.10:1080 是代理 IP 地址和端口,需要根据代理 IP 供应商提供的参数进行修改。
3. 特别需要注意的是,如果使用的是高匿代理 IP,需要在请求头中添加 User-Agent 参数,以免被认为是机器请求。例如:
headers = {
“User-Agent”: “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299”
}
response = requests.get(url, headers=headers, proxies=proxies)
以上是代理 IP 在 Python 爬虫中的正确使用方法,希望能对你有所帮助。