提问人:John Doe 提问时间:5/31/2019 最后编辑:John Doe 更新时间:6/9/2019 访问量:543
硒铬每隔一次悬挂一次
Selenium chrome hanging every other time
问:
我的selenium chrome脚本每隔运行一次就会挂起一次,并且只有在使用扩展程序运行时才会这样做,但是我不知道为什么。
我最近遇到了一个让我严重困惑的问题,这似乎是无处不在的。我有一个通过 Chrome 运行的 python selenium 脚本,它使用代理服务器,因为它使用用户名/密码组合进行身份验证,而不仅仅是通过 IP 进行身份验证,我已经制作了一个 chrome 扩展程序,驱动程序在开始新会话之前加载该扩展程序。
以下是脚本:
import selenium
import selenium.webdriver.common.proxy
import selenium.webdriver.common.desired_capabilities
chrome_options = selenium.webdriver.ChromeOptions()
chrome_options.add_argument("disable-infobars")
chrome_options.add_argument('--ignore-certificate-errors')
chrome_options.add_argument('--ignore-ssl-errors')
prefs = {"profile.default_content_setting_values.notifications" : 2, "profile.managed_default_content_settings.images": 2, "profile.default_content_settings.images":2, 'disk-cache-size': 4096 }
chrome_options.add_experimental_option("prefs",prefs)
add_log_prefs = selenium.webdriver.common.desired_capabilities.DesiredCapabilities.CHROME
add_log_prefs['loggingPrefs'] = { 'browser':'ALL' }
chrome_options.add_argument('--load-extension='+proxy_extension_path)
driver = selenium.webdriver.Chrome(chrome_driver_path,
options=chrome_options,
desired_capabilities=add_log_prefs)
driver.set_window_size(window_size_w, window_size_h)
driver.get('https://www.google.com/')
以下是扩展:
Manifest.json:
{
"version": "1.0.0",
"manifest_version": 1,
"name": "Chrome Proxy",
"permissions": [
"proxy",
"tabs",
"unlimitedStorage",
"storage",
"<all_urls>",
"webRequest",
"webRequestBlocking"
],
"background": {
"scripts": ["background.js"]
},
"minimum_chrome_version":"1.0.0"
}
背景.js:
var config = {
mode: "fixed_servers",
rules: {
singleProxy: {
scheme: "http",
host: "HOST",
port: parseInt(PORT)
},
bypassList: ["localhost"]
}
};
chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
function callbackFn(details) {
return {
authCredentials: {
username: "USERNAME",
password: "PASSWORD"
}
};
}
chrome.webRequest.onAuthRequired.addListener(
callbackFn,
{urls: ["<all_urls>"]},
['blocking']
);
我遇到的问题是,当我启动脚本并尝试通过获取(例如driver.get(“https://www.google.com/”)加载网站时,它将每隔一次启动程序时导航到该网站,并且每隔一次它会超时。当它超时,我可以手动进入并自己导航到网站,所以它似乎只是挂在那里。
即使我重新运行脚本并清除任何加载的变量等,也会发生这种情况,但每隔一段时间发生一次的事实表明,在脚本超时后,有一些剩余的设置被清理,然后在它设法导航到网址后重新设置。
编辑:此外,我试图添加一个配置文件并对其进行更改,但这也无济于事。我考虑过以不同的方式使用代理服务器,但除了扩展名之外,我找不到任何使用带有密码/名称的代理服务器的方法。
在这一点上,我完全不知所措,并且已经连续几个小时解决这个问题,因此任何建议将不胜感激。
答:
使用自定义镶边配置文件是解决此问题的解决方案之一。不要问我如何以及为什么:-)仍然需要对这部分进行调查。
但是现在,如果您想继续使用脚本,请将以下行添加到chrome选项中。
options.add_argument(r"--user-data-dir=path\to\chrome\user data\any_new_profile_name")
# below is the sample
options.add_argument(r"--user-data-dir=C:\Users\xxxx\AppData\Local\Google\Chrome\User Data\ChromeAutoProfile")
您不必创建新的 chrome 配置文件,如果配置文件不存在,脚本将首次创建该配置文件。
评论
driver.quit()