引言在使用Scrapy进行网络爬取时，常常会遇到一些复杂的网页结构，比如那些通过表单提交实现分页的网站。今天我们将探讨一个具体的问题：当点击“下一页”按钮时，URL不发生变化，这使得Scrapy无法自动翻页。通过一个实际的案例，我们将一步步解决这个问题。问题背景我们使用Scrapy爬取一个名为“mylegion.org”的网站，其分页是通过POST请求实现的。以下是原始的Scrapy代码：importscrapyclassLegonSpider(scrapy.Spider):name="legon"defstart_requests