1. 项目概述从“能爬”到“会爬”的思维转变“用Python爬取网页数据”几乎是每个开发者或数据分析师入门时都会接触到的技能点。但很多人止步于“能跑通代码”面对稍微复杂一点的网站就束手无策或者写出的爬虫既不稳定又低效。今天我们不谈那些花哨的框架和复杂的反爬对抗就聚焦于Python标准库和核心数据处理库提供的两种最基础、最核心的网页数据获取方法urllib及其衍生和pandas。这两种方法代表了两种截然不同的爬虫哲学和适用场景理解它们你就能在80%的日常数据抓取任务中游刃有余。简单来说urllib通常我们实际用的是更友好的requests库是“手动挡”它给你提供了最底层的HTTP请求工具让你能精细地控制请求的每一个环节从请求头、Cookie到会话维持适合处理结构复杂、有反爬机制或需要交互的网页。而pandas的read_html方法则是“自动挡”它专为抓取网页中的表格数据而生一行代码就能把HTML中的table标签变成规整的DataFrame适合快速获取公开的、结构化的数据报表。这篇文章的目标是让你不仅知道怎么用这两样工具更理解在什么情况下该用哪个以及如何把它们用得更稳、更快。我会结合近十年爬各种公开数据源的经验把那些官方文档里不会写的细节、容易踩的坑以及如何组合使用这两种方法的技巧一次性讲清楚。2. 核心方法一使用urllib/requests进行通用网页抓取这是最传统、也是最灵活的方法。虽然Python标准库自带urllib.request但在实际开发中99%的人会选择更人性化的第三方库requests。它语法简洁功能强大是处理HTTP请求的事实标准。我们以requests为核心来讲解这套方法。2.1 环境准备与基础请求首先确保你的环境里安装了requests库。如果还没装在命令行里执行pip install requests即可。一个最简单的GET请求长这样import requests url ‘https://httpbin.org/get‘ response requests.get(url) print(response.status_code) # 打印状态码200表示成功 print(response.text) # 打印网页的HTML内容这看起来很简单但这里有几个新手极易忽略的关键点状态码检查不是所有返回了内容的请求都是成功的。一定要检查response.status_code常见的如200成功、404未找到、403禁止访问、429请求过多等。不检查状态码就直接处理response.text是很多爬虫莫名崩溃的根源。编码问题response.text是requests推测编码后解码成的字符串。如果推测错误你会看到一堆乱码。更可靠的方式是使用response.content获取原始的字节流然后用正确的编码如‘utf-8’ ‘gbk’去解码html response.content.decode(‘utf-8’)。如何知道网页编码可以看响应头response.headers.get(‘Content-Type’)或者用chardet库检测。设置请求头Headers这是应对基础反爬的第一步。很多网站会检查User-Agent如果发现是Python的默认UA可能会拒绝服务。模拟一个浏览器的请求头是基本操作headers { ‘User-Agent‘: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36‘ } response requests.get(url, headersheaders)实操心得不要只用一种User-Agent。准备一个列表每次请求随机选取一个能有效降低被简单封禁的风险。此外Referer和Accept-Language等头信息有时也很关键特别是对于需要维持登录状态或地域性网站。2.2 数据解析从HTML到结构化数据拿到HTML只是第一步就像得到了一本未经索引的书。我们需要从中提取出表格、列表、段落等具体信息。这里最常用的工具是BeautifulSoup和lxml。pip install beautifulsoup4 lxmllxml是一个解析器速度非常快BeautifulSoup则提供了非常人性化的API来导航和搜索解析树。通常我们结合使用from bs4 import BeautifulSoup # 假设html变量已经存储了网页字符串 soup BeautifulSoup(html, ‘lxml‘) # 指定使用lxml解析器 # 1. 通过标签名查找找到所有的a标签 all_links soup.find_all(‘a‘) for link in all_links: print(link.get(‘href‘)) # 获取href属性 # 2. 通过CSS类名查找找到所有class‘title‘的div titles soup.find_all(‘div‘, class_‘title‘) # 3. 通过ID查找找到id‘main‘的元素 main_content soup.find(id‘main‘) # 4. 使用CSS选择器最强大灵活 # 找到所有article标签下class包含‘post‘的h2标签 headlines soup.select(‘article h2.post‘) for h in headlines: print(h.text.strip()) # 获取标签内的文本并去除首尾空格解析的核心在于理解网页结构。你需要打开浏览器的开发者工具F12使用“检查元素”功能去观察你要的数据被包裹在怎样的HTML标签和CSS选择路径中。不要试图用正则表达式去解析复杂的HTML那会是一场噩梦。BeautifulSoup的select方法支持绝大部分CSS选择器语法是定位元素的首选。2.3 处理动态内容与复杂交互现代网站大量使用JavaScript在浏览器端渲染内容直接请求HTML得到可能是一个空的骨架。这时简单的requestsBeautifulSoup就无能为力了。处理这类动态网页主要有两种思路分析网络请求打开开发者工具的“网络”Network选项卡刷新页面观察浏览器实际发送了哪些XHRAjax或Fetch请求来获取数据。这些请求往往返回结构化的JSON数据比解析HTML简单得多。直接用requests模拟这些请求即可。这是最高效的方法。使用无头浏览器当数据渲染逻辑过于复杂或者有大量用户交互时就需要动用Selenium或Playwright这样的工具来模拟一个真实的浏览器。它们能执行JavaScript等待元素加载模拟点击、滚动等操作。# 使用Selenium的示例需安装浏览器驱动 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver webdriver.Chrome() # 需要提前下载chromedriver并放在PATH中 driver.get(‘https://example.com‘) try: # 等待某个特定元素出现最多等10秒 element WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CSS_SELECTOR, “.dynamic-content“)) ) # 此时页面已加载完成可以获取渲染后的HTML html driver.page_source # 之后同样可以用BeautifulSoup解析html finally: driver.quit()注意事项无头浏览器方案资源消耗大、速度慢应作为最后的手段。优先尝试“分析网络请求”的方法。使用Selenium时注意设置合理的等待时间显式等待优于强制time.sleep并及时关闭浏览器实例释放资源。2.4 应对反爬虫策略与伦理规范即使是最简单的爬虫也需要遵守一些基本规则这既是技术需要也是法律和伦理要求。遵守robots.txt在网站根目录下的robots.txt文件指明了哪些路径允许或禁止爬虫访问。使用robotparser模块可以解析它。尊重这个协议是爬虫开发者的基本素养。设置请求间隔疯狂地高频率请求会对方服务器造成压力容易被封IP。在循环请求中插入time.sleep(random.uniform(1, 3))是基本操作。对于大型爬取可以考虑使用更复杂的速率限制策略。使用代理IP池当单个IP被封锁后更换IP是继续爬取的必要手段。你可以使用一些商业代理服务或者在合法合规的前提下自建代理池。requests使用代理很简单proxies {“http“: “http://10.10.1.10:3128“, “https“: “http://10.10.1.10:1080“} response requests.get(url, proxiesproxies)处理Cookie和Session对于需要登录的网站使用requests.Session()对象可以自动保持Cookie模拟一个持续的会话。session requests.Session() login_data {‘username‘: ‘...‘, ‘password‘: ‘...‘} session.post(login_url, datalogin_data) # 登录 # 之后的请求都会携带登录后的cookie response session.get(protected_page_url)伦理与法律底线只爬取公开的、非敏感的数据。不要绕过付费墙不要爬取个人隐私信息不要对目标网站造成明显的性能影响。你的爬虫行为应该像一个有礼貌的、慢速浏览的人类用户。3. 核心方法二使用pandas快速抓取表格数据如果你要抓取的数据恰好以HTML表格table标签的形式存在于网页中那么恭喜你pandas为你提供了一把“瑞士军刀”。pd.read_html()这个函数堪称爬虫界的“神器”它能够自动识别网页中的所有表格并将其转换为DataFrame对象的列表。3.1read_html的基本用法与威力它的基础用法简单到令人发指import pandas as pd url ‘https://en.wikipedia.org/wiki/List_of_countries_by_GDP_(nominal)‘ tables pd.read_html(url) print(f“在该页面找到了 {len(tables)} 个表格。“) # 假设我们想要第一个表格 df tables[0] print(df.head())是的就这么一行核心代码。pd.read_html()内部会使用lxml或html5lib等解析器来解析HTML并调用BeautifulSoup来寻找所有table标签然后将它们一一转换为DataFrame。它自动处理了表头thead、表格主体tbody、跨行跨列rowspan,colspan等复杂的HTML表格特性。这个方法最适合的场景各类百科页面、政府公开数据网站、金融数据网站如上市公司财报等这些地方经常用规整的HTML表格来展示数据。3.2 关键参数详解与实战技巧read_html有很多参数可以让你更精准地抓取数据下面是一些最常用的match一个字符串或正则表达式。只返回包含该文本的表格。这在页面有多个表格时非常有用。# 只抓取包含“2023年”字样的表格 tables pd.read_html(url, match‘2023年‘)header指定哪一行作为列名表头。默认为0第一行。如果表格没有表头设为None。# 使用第一行作为表头 df pd.read_html(url, header0)[0] # 没有表头pandas会自动生成0,1,2...作为列名 df_no_header pd.read_html(url, headerNone)[0]index_col指定哪一列作为行索引。attrs一个字典用于通过table标签的属性来精确定位表格。例如attrs{‘id‘: ‘main_table‘}或attrs{‘class‘: ‘data‘}。encoding手动指定网页编码解决乱码问题。flavor指定底层使用的解析器。‘lxml‘速度最快‘html5lib‘容错性最好能解析混乱的HTML‘bs4‘使用BeautifulSoup。实操心得read_html并非万能。它对于结构良好、标准的HTML表格支持完美。但如果表格是用div和span等标签模拟出来的或者数据是通过JavaScript动态加载的read_html就无能为力了。此时你需要回到方法一用requests或Selenium获取数据后再手动解析。一个快速判断的方法是在浏览器中查看网页源代码CtrlU搜索table关键字看你的目标数据是否存在于静态的table标签内。3.3 数据清洗与后续处理read_html抓取的数据往往不能直接使用通常需要一些清洗查看列名和数据概览print(df.columns) # 查看列名 print(df.info()) # 查看数据类型和缺失值 print(df.head()) # 查看前几行重命名列自动抓取的列名可能很奇怪。df.columns [‘排名‘, ‘国家/地区‘, ‘GDP百万美元‘, ‘年份‘]处理缺失值表格中的空单元格会被读为NaN。df df.dropna() # 删除包含缺失值的行 # 或 df[‘某列‘] df[‘某列‘].fillna(0) # 用0填充某列的缺失值数据类型转换数字可能被识别为字符串尤其是包含逗号、货币符号时。# 移除逗号和货币符号转换为浮点数 df[‘GDP百万美元‘] df[‘GDP百万美元‘].str.replace(‘[$,]‘, ‘‘, regexTrue).astype(float)保存数据清洗完后可以保存到本地文件。df.to_csv(‘gdp_data.csv‘, indexFalse, encoding‘utf-8-sig‘) # 保存为CSV df.to_excel(‘gdp_data.xlsx‘, indexFalse) # 保存为Excel需要安装openpyxl或xlsxwriter4. 两种方法的对比与混合使用策略现在我们对两种方法有了深入的理解。下表从多个维度进行对比帮助你决策特性维度requestsBeautifulSoup/Seleniumpandas.read_html()核心能力通用HTTP请求与HTML/JSON解析可处理任何网页结构。专精于提取HTML中的表格数据。灵活性极高。可定制请求、处理动态内容、模拟登录、应对复杂反爬。较低。仅限于静态HTML中的标准表格。上手难度中等。需要学习HTTP、HTML/CSS选择器甚至JavaScript逆向。极低。一行代码即可获得结构化数据。速度取决于网站和反爬。静态页面快动态页面或需对抗时慢。极快。针对表格解析高度优化。适用场景新闻文章、商品详情、评论列表、社交媒体动态、需要交互的页面。财务报表、统计年鉴、排行榜、公开数据集页面等表格化数据。输出需要自己编写解析逻辑输出格式自定义。直接输出Pandas DataFrame便于后续分析。混合使用策略这才是高手做法 在实际项目中很少只用一种方法。更常见的策略是混合使用取长补短。用requests获取页面用read_html解析表格这是非常高效的组合。read_html可以直接接受HTML字符串作为输入而不仅仅是URL。import requests import pandas as pd from io import StringIO url ‘某个包含表格的页面‘ headers {‘User-Agent‘: ‘...‘} response requests.get(url, headersheaders) response.encoding ‘utf-8‘ # 确保编码正确 # 将获取的HTML文本直接传递给read_html tables pd.read_html(StringIO(response.text)) # 或者直接传递字符串某些版本可能需要StringIO包装 # tables pd.read_html(response.text)这样做的好处是你可以先用requests处理复杂的请求逻辑如加请求头、处理Cookie、使用代理再利用pandas强大的表格解析能力省去了自己写BeautifulSoup解析表格的麻烦。主框架用requests/BeautifulSoup局部用read_html一个页面可能主要部分是文本但嵌入了一两个数据表格。你可以先用BeautifulSoup定位到包含表格的那个特定div或片段然后将这个片段的HTML字符串单独提取出来喂给pd.read_html()。soup BeautifulSoup(html, ‘lxml‘) table_section soup.find(‘div‘, class_‘financial-table‘) # 找到表格所在区域 if table_section: # 将该区域HTML转换为字符串然后解析 df_list pd.read_html(str(table_section)) financial_df df_list[0]这种混合模式极大地提升了开发效率和代码的简洁性。5. 常见问题排查与实战经验录即使掌握了方法在实际操作中还是会遇到各种问题。下面是我总结的一些典型问题及其解决思路。5.1 请求被拒绝或无数据返回现象status_code返回403、404或200但内容为空/错误。排查步骤检查请求头特别是User-Agent务必模拟成主流浏览器。可以尝试添加Referer,Accept,Accept-Language等。检查Cookie/Session某些页面需要先访问首页获取初始Cookie或者需要登录。使用requests.Session()。检查网络环境某些网站对海外IP或数据中心IP有访问限制。尝试更换网络或使用质量较高的住宅代理IP。分析JavaScript如果返回的HTML骨架里没有数据大概率是动态加载。按2.3节的方法使用浏览器开发者工具分析XHR/Fetch请求。查看Robots.txt确认你没有违反网站的爬虫协议。5.2 数据解析失败或错位现象BeautifulSoup找不到元素或read_html返回空列表/数据错乱。排查步骤确认解析器确保BeautifulSoup(html, ‘lxml‘)中的lxml已正确安装。如果环境复杂可以换用容错性更好的html5lib。验证选择器在浏览器的开发者工具中使用$()或$$()测试你的CSS选择器是否能准确选中目标元素。BeautifulSoup的select方法语法与浏览器基本一致。处理动态加载如果元素是JS动态生成的BeautifulSoup在静态HTML里自然找不到。需要改用Selenium或分析数据接口。检查表格结构对于read_html如果表格结构非常不规则例如多层表头、大量合并单元格解析可能会出错。可以尝试指定flavor‘html5lib‘获得更好的容错或者手动指定header,skiprows等参数进行调整。5.3pandas.read_html报错或性能问题常见错误ImportError缺少lxml或html5lib库ValueError: No tables found。解决No tables found首先确认页面源代码中是否存在table标签。如果没有此方法不适用。如果有尝试添加attrs参数精确定位或使用flavor‘html5lib‘。性能read_html解析非常大的HTML文件或非常复杂的表格时可能较慢。如果页面很大但只需要其中一个表格先用BeautifulSoup提取出特定表格的HTML片段再交给read_html解析可以显著提升速度。5.4 编码与乱码问题这是一个中文网络世界特有问题且极其常见。请求阶段服务器返回的编码声明可能与实际不符。优先使用response.content.decode(‘实际编码‘)的方式。用chardet库检测是一种方法import chardet; chardet.detect(response.content)。存储阶段将数据保存为CSV时如果包含中文推荐使用encoding‘utf-8-sig‘这个编码会在文件开头添加BOM使得Excel等软件能正确识别UTF-8编码的中文。保存为Excel通常无此问题。5.5 实战经验编写健壮的生产级爬虫脚本异常处理网络请求和解析处处可能出错必须用try...except包裹。import time from requests.exceptions import RequestException def safe_request(url, retries3): for i in range(retries): try: resp requests.get(url, headersheaders, timeout10) resp.raise_for_status() # 如果状态码不是200抛出HTTPError异常 return resp except RequestException as e: print(f“第{i1}次请求失败: {e}“) if i retries - 1: wait_time 2 ** i # 指数退避 print(f“等待{wait_time}秒后重试...“) time.sleep(wait_time) else: print(“重试次数耗尽放弃。“) return None日志记录不要只用print。使用logging模块记录信息、警告和错误便于后期排查。数据去重与增量更新爬取时记录已爬取的URL或数据唯一标识避免重复。设计脚本时考虑如何只爬取新增或更新的数据。遵守速率限制在循环中务必加入time.sleep()并且睡眠时间最好有一定随机性模拟人类行为。分离配置与代码将URL、请求头、代理列表等配置信息放在单独的配置文件如config.py或settings.yaml中方便管理和修改。爬虫技术本身不难难的是在复杂的网络环境中稳定、高效、合规地获取数据。从requests的手动控制到pandas的自动提取这两种方法构成了你数据获取工具箱的基石。理解它们的原理和边界根据实际场景灵活选择和组合你就能应对绝大多数数据抓取任务。记住最好的爬虫是那个既能拿到数据又让对方服务器几乎感觉不到存在的“隐形人”。