在 python 爬虫中仅爬取第一个页面,可采用三种方法:1. 使用 requests.get() 并取消后续请求;2. 使用 scrapy.request 并在 callback 中返回 none;3. 重写 scrapy.spider 中的 start_requests() 方法。
如何实现 Python 爬虫仅爬取第一个页面
在使用 Python 进行爬取时,如果你只想爬取第一个页面,可以使用以下方法:
方法 1:使用 requests.get() 并取消后续请求
import requests
# 发送 GET 请求获取第一个页面
response = requests.get("https://example.com")
# 取消所有后续请求
response.close()
方法 2:使用 scrapy.Request 并在 callback 中返回
立即学习“Python免费学习笔记(深入)”;
import scrapy
class MySpider(scrapy.Spider):
# 指定爬取的 URL
name = "my_spider"
start_urls = ["https://example.com"]
def parse(self, response):
# 处理第一个页面内容
...
# 返回 None 停止爬取后续页面
return None
方法 3:在 scrapy.Spider 中重写 start_requests() 方法
import scrapy
class MySpider(scrapy.Spider):
# 指定爬取的 URL
name = "my_spider"
def start_requests(self):
# 返回一个请求对象,仅爬取第一个页面
yield scrapy.Request("https://example.com")