卓越飞翔博客卓越飞翔博客

卓越飞翔 - 您值得收藏的技术分享站
技术文章78774本站已运行4410

怎么让Python2爬虫访问特定的IP

在 python 2 爬虫中,通过修改套接字选项、使用 requests 库、使用 urllib 库或使用 socks 代理,可以访问特定 ip。

怎么让Python2爬虫访问特定的IP

如何在 Python 2 爬虫中访问特定 IP

直接修改套接字选项

  • 使用 requests 库:

    import requests
    
    # 设置代理 IP
    proxy_ip = '1.2.3.4'
    
    # 修改代理设置
    proxies = {
      'http': 'http://{proxy_ip}:8080',
      'https': 'https://{proxy_ip}:8080',
    }
    
    # 访问目标 URL
    response = requests.get('https://example.com', proxies=proxies)
  • 使用 urllib 库:

    立即学习“Python免费学习笔记(深入)”;

    import urllib2
    
    # 设置代理处理程序
    proxy_handler = urllib2.ProxyHandler({'http': proxy_ip})
    
    # 创建带有代理处理程序的打开器
    opener = urllib2.build_opener(proxy_handler)
    
    # 访问目标 URL
    response = opener.open('https://example.com')

使用 SOCKS 代理

  • 使用 socket 库:

    import socket
    
    # 设置 SOCKS 代理
    socks_proxy = ('1.2.3.4', 1080)
    
    # 创建带有 SOCKS 代理的套接字
    sock = socket.socket()
    sock.setproxy(socket.PROXY_TYPE_SOCKS5, *socks_proxy)
    
    # 连接到目标 URL
    sock.connect(('example.com', 80))
  • 使用 socks 库:

    import socks
    
    # 设置 SOCKS 代理
    socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, '1.2.3.4', 1080)
    
    # 访问目标 URL
    sock = socks.socksocket()
    sock.connect(('example.com', 80))
卓越飞翔博客
上一篇: python爬虫怎么只爬第一个
下一篇: 返回列表
留言与评论(共有 0 条评论)
   
验证码:
隐藏边栏