提问人:Muhammad Nabeel 提问时间:11/14/2023 更新时间:11/14/2023 访问量:26
带旋转代理的硒丝增加了刮削时间
Selenium wire with rotating proxy increase the scraping time
问:
我正在用硒抓取网站,抓取的结果大约是 7-10 秒,但是我还需要使用旋转代理以避免被禁止,所以我必须使用带有硒线的旋转代理,但抓取时间增加到 40-50 秒,这很多,我该如何解决这个问题?
from seleniumwire import webdriver
from selenium.webdriver import Chrome, ChromeOptions
import random
def selenium_chrome_config(proxy_url=None):
selected_proxy = random.choice(proxies) # randomly selecting proxies
# Split the proxy string into its components
proxy_parts = selected_proxy.split(':')
proxy_host = proxy_parts[0]
proxy_port = int(proxy_parts[1])
proxy_username = proxy_parts[2]
proxy_password = proxy_parts[3]
proxy_options = {
'proxy': {
'http': f'http://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}',
'https': f'https://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}',
'no_proxy': 'localhost:127.0.0.1'
}
}
browser_options = webdriver.ChromeOptions()
browser_options.add_argument("--headless")
driver = webdriver.Chrome(options=browser_options,seleniumwire_options=proxy_options)
return driver
我该如何改进这一点,如果我在没有代理和硒线的情况下运行,只需使用硒抓取结果是 7-10 秒,我如何旋转代理并在 7-10 秒内获得抓取结果
答: 暂无答案
评论