seleniumbase（未检测到的 Chrome 驱动程序）：如何设置请求头？

似乎您正在处理一个特定的用例，您希望将 SeleniumBase 与未检测到的 Chrome 驱动程序 （） 一起使用，并修改特定类型的抓取的请求标头。不幸的是，由于未检测到的 Chrome 驱动程序的限制，将 Selenium 的某些功能与未检测到的 Chrome 相结合可能具有挑战性。uc=True

这是一个潜在的解决方案，涉及使用库修改请求标头，同时仍将 SeleniumBase 与未检测到的 Chrome 驱动程序一起使用：selenium-requests

from seleniumbase import BaseCase
from seleniumrequests import Chrome

class MyTest(BaseCase):
    def run_test(self):
        # Use SeleniumBase with undetected Chrome driver
        with Chrome() as driver:
            # Perform your initial login actions

            # Modify request headers using selenium-requests
            driver.header_overrides = {
                'Accept': 'application/json',
                # Add other headers as needed
            }

            # Continue with your scraping logic using SeleniumBase
            driver.get("https://example.com")
            # ... rest of your scraping code

在此示例中，我们将 SeleniumBase 用于未检测到的 Chrome 驱动程序，并使用 selenium-requests 来修改请求标头。Chrome 驱动程序中的属性用于设置自定义标头。header_overrides

请注意，此解决方案假定您熟悉 selenium-requests 库及其使用方法。如果尚未安装，可以使用以下方法进行安装：

pip install selenium-requests

请记住，组合不同的库和驱动程序可能会有一些限制，并且可能无法涵盖所有方案。如果遇到问题或需要更高级的功能，则可能需要考虑替代方法，或者可能修改库的源代码以更好地满足您的要求。

我终于找到了一个简单且非常有效的解决方案，通过此处提供的 javascript 正确使用 uc=True：https://github.com/ultrafunkamsterdam/undetected-chromedriver/issues/871。

代码片段：

from seleniumbase import Driver

driver = Driver(uc=True)
login()

response = driver.execute_async_script("var callback = arguments[arguments.length - 1]; fetch('" + url + "', {method: 'GET', headers: {'Accept' : 'application/json'}}).then((response) => response.text().then((text) => callback({'status': response.status, 'text': text})))")
print(url + ':' + str(response['status']))
if response['status'] == 200:
    with io.open(outfile, 'w', encoding='utf8', newline='\n') as f:
        f.write(response['text'])
return response['status']

这对于我的特定用例非常有效，它只涉及通过 Get 调用 API 并获取 JSON 内容（一遍又一遍地重复）。

这也使我能够获得响应状态，这使得整个事情更具弹性。

最后，性能非常棒 - 考虑到更短的代码路径，我想这并不奇怪。

尝试将 selenium-wire 与您的 SeleniumBase 设置集成以修改请求标头，如下所示：

from seleniumwire import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from seleniumwire.undetected_chromedriver.v2 import Chrome, ChromeOptions

chrome_options = ChromeOptions()
chrome_options.add_argument('--headless')

service = Service(executable_path='path_to_your_undetected_chromedriver')
driver = webdriver.Chrome(service=service, seleniumwire_options={'options': chrome_options})

driver.header_overrides = {
    'Accept': 'application/json',
}