当数据量上来(几十万条以上),或者需要按条件查询、统计、关联分析时,文件存储就不够用了。这时候你需要一个数据库。MySQL 是世界上最流行的开源关系型数据库,几乎每个后端工程师都用过。对爬虫工程师来说,MySQL 也是必修课之一。本篇我们将系统学习:MySQL 的安装与基本概念;用 Python 操作 MySQL(pymysql、mysql-connector);ORM 框架SQLAlchemy的使用;爬虫场景下的表设计与优化;批量插入、去重、事务等实战技巧。一、为什么选 MySQL维度文件MySQLMongoDBRedis数据量万级以下千万级亿级内存决定查询能力❌ 全文搜索✅ SQL✅ 文档查询✅ KV 查询