提问人：chrisimundo 提问时间：2/17/2020 更新时间：2/17/2020 访问量：33
Selenium 和 BeautifulSoup - 尝试从第 1 页抓取内容，然后转到第 2 页，依此类推
Selenium and BeautifulSoup - Trying to scrape content from page 1 THEN go to page 2 and so on
问：
我很难理解如何获取我想要的所有页面内容。我能够从第 1 页获取我想要的信息，但获取接下来的 15 页是一个挑战。
我正在使用 selenium 和 chrome webdriver 从这个网站获取信息。
答：
0赞
kavish-p
2/17/2020
#1
据我所知，该网站上页面的 URL 遵循特定模式，在 URL 末尾附加以加载特定页面的内容，其中 X 是您想要的页码。;page=X
例如，加载第 15 页的内容。https://www.canadiantire.ca/en/automotive/tires-wheels/tires.html?adlocation=LOL_TiresSCLP_MegaNavAuto_19309_en;page=15
在代码中，您可以遍历每个页面并抓取内容。
评论