无头浏览器和抓取 - 解决方案 [已关闭]-解网

问：

我们不允许向读者、工具、软件库等寻求推荐的问题。您可以编辑问题，以便用事实和引文来回答。

9年前关闭。

改进此问题

我正在尝试为浏览器自动测试套装和能够抓取的无头浏览器平台列出可能的解决方案列表。

浏览器测试/抓取：

Selenium - 浏览器自动化中的多语言旗舰，Python、Ruby、JavaScript、C#、Haskell 等的绑定，Firefox 的 IDE（作为扩展）可加快测试部署.可以充当服务器并具有大量功能。

JAVASCRIPT的

PhantomJS - JavaScript，具有屏幕捕获和自动化功能的无头测试，使用 Webkit.从 1.8 版开始，Selenium 的 WebDriver API 已经实现，因此您可以使用任何 WebDriver 绑定，并且测试将与 Selenium 兼容
SlimerJS - 类似于 PhantomJS，使用 Gecko （Firefox）而不是 WebKit
CasperJS - JavaScript，基于 PhantomJS 和 SlimerJS 构建，具有额外的功能
Ghost Driver - 用于 PhantomJS 的 WebDriver Wire 协议的 JavaScript 实现.
new PhantomCSS - CSS 回归测试.CasperJS 模块，用于使用 PhantomJS 和 Resemble.js 自动执行视觉回归测试。
new WebdriverCSS - 用于自动执行视觉回归测试的 Webdriver.io 插件
new PhantomFlow - 通过测试描述和可视化用户流。Web 用户界面测试的实验性方法。
new trifleJS - 移植 PhantomJS API 以使用 Internet Explorer 引擎。
全新 CasperJS IDE（商用）

节点 .JS

节点幻影 - 弥合了 PhantomJS 和 node.js 之间的差距
WebDriverJs - Selenium 团队的 node.js 的 Selenium WebDriver 绑定
WD.js - WebDriver/Selenium 2 的节点模块
yiewd - 使用最新和谐生成器的 WD.js 包装器！摆脱有产量的回调金字塔
ZombieJs - 使用 node.js 进行疯狂的快速无头全栈测试
NightwatchJs - 使用 Selenium Webdriver 的基于 Node JS 的测试解决方案
Chimera - Chimera：可以做 phantomJS 所做的一切，但在完整的 JS 环境中
Dalek.js - 通过Selenium Webdriver使用JavaScript进行自动跨浏览器测试
Webdriver.io - 使用预定义的 50+ 操作更好地实现 WebDriver 绑定
Nightmare - 具有高级 API 的电子桥.
jsdom - 专为网页抓取量身定制.在 Node.js 中实现的一个非常轻量级的 DOM，它支持带有 javascript 的页面。
new Puppeteer - 节点库，它提供了一个高级 API 来控制 Chrome 或 Chromium.默认情况下，Puppeteer 无头运行。

网页抓取/挖矿

Scrapy - Python，主要是一个爬虫/矿工 - 快速，有据可查，可以与 Django Dynamic Scraper 链接以进行良好的挖矿部署，或与 Scrapy Cloud 链接用于 PaaS（无服务器）部署，适用于终端或服务器独立过程，可以与 Celery 一起使用，构建在 Twisted 之上
蜗牛 - node.js 模块，尚未测试。
节点爬虫 - node.js 模块，尚未测试。

在线工具

用于自动化的 Android TOOLS

相关链接和资源

问题：

答：Chimera 似乎朝着那个方向发展，请查看 Chimera

答：查看 rjk 使用基于 ruby 的解决方案创建的列表

随意编辑这个问题并根据需要添加内容！感谢您的贡献！

硒网抓取 scrapy phantomjs casperjs

无头浏览器和抓取 - 解决方案 [已关闭]