python 爬虫中设置 url 有五种方法：解析 url（使用 urlparse 模块）；创建 request 对象（使用 scrapy 框架）；使用 urljoin 拼接 url；使用正则表达式提取 url；使用 xpath 或 css 选择器提取 url（从 html/xml 中）。

如何在 Python 爬虫中设置 URL

在 Python 爬虫中设置 URL 对于有效抓取目标网站至关重要。以下是如何设置 URL 的说明：

1. 使用 urlparse 模块解析 URL

Python 中的 urlparse 模块提供了一个名为 urlparse() 的函数，它可以将 URL 解析为其组成部分，如协议、主机、路径等：

立即学习“Python免费学习笔记（深入）”；

from urlparse import urlparse

url = 'https://example.com/path/to/page'

parsed_url = urlparse(url)

2. 使用 Request 对象设置 URL

Scrapy 框架提供了一个 Request 对象，它可以接受一个 URL 并存储其他元数据，例如方法和标头：

from scrapy.http import Request

url = 'https://example.com/path/to/page'

request = Request(url, callback=my_callback)

3. 使用 urljoin 函数拼接 URL

有时需要将 URL 和相对路径拼接起来形成一个新 URL。为此，可以使用 urljoin 函数：

from urlparse import urljoin

base_url = 'https://example.com'
relative_url = 'path/to/page'

new_url = urljoin(base_url, relative_url)

4. 使用正则表达式提取 URL

对于动态生成的 URL 或从文本中提取 URL，可以使用正则表达式：

import re

url_pattern = 'https://example.com/path/(.+)'
text = 'Visit https://example.com/path/to/page'

match = re.search(url_pattern, text)
if match:
    url = match.group(1)

5. 使用 XPath 或 CSS 选择器提取 URL

对于从 HTML 或 XML 文档中提取 URL，可以使用 XPath 或 CSS 选择器：

from scrapy.selector import Selector

html = '<a href="https://example.com/path/to/page">Link</a>'
selector = Selector(text=html)

url = selector.xpath('//a/@href').extract_first()