带旋转代理的硒丝增加了刮削时间

Selenium wire with rotating proxy increase the scraping time

提问人:Muhammad Nabeel 提问时间:11/14/2023 更新时间:11/14/2023 访问量:26

问:

我正在用硒抓取网站,抓取的结果大约是 7-10 秒,但是我还需要使用旋转代理以避免被禁止,所以我必须使用带有硒线的旋转代理,但抓取时间增加到 40-50 秒,这很多,我该如何解决这个问题?

from seleniumwire import webdriver
from selenium.webdriver import Chrome, ChromeOptions
import random

def selenium_chrome_config(proxy_url=None):

    selected_proxy = random.choice(proxies) # randomly selecting proxies
    
    # Split the proxy string into its components
    proxy_parts = selected_proxy.split(':')
    proxy_host = proxy_parts[0]
    proxy_port = int(proxy_parts[1])
    proxy_username = proxy_parts[2]
    proxy_password = proxy_parts[3]

    proxy_options = {
        'proxy': {
            'http': f'http://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}',
            'https': f'https://{proxy_username}:{proxy_password}@{proxy_host}:{proxy_port}',
            'no_proxy': 'localhost:127.0.0.1'
        }
    }

    
    browser_options = webdriver.ChromeOptions()
    browser_options.add_argument("--headless")
    driver = webdriver.Chrome(options=browser_options,seleniumwire_options=proxy_options)
    
 
    return driver

我该如何改进这一点,如果我在没有代理和硒线的情况下运行,只需使用硒抓取结果是 7-10 秒,我如何旋转代理并在 7-10 秒内获得抓取结果

python-3.x selenium-webdriver web-scraping seleniumwire

评论

1赞 Daviid 11/14/2023
获得更好的代理
0赞 Muhammad Nabeel 11/14/2023
我正在使用高级代理。@Daviid
0赞 Daviid 11/14/2023
高级代理可将您的加载时间从 7 秒减慢到 40 秒

答: 暂无答案