Итерация с Selenium без блокировки
Следуя предыдущему вопросу...
У меня есть список URL-адресов, которые мне нужно очистить с помощью Selenium, но он всегда блокирует меня после получения результатов с первого.
Вот что я делаю:
from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import time
from selenium.webdriver.firefox.options import Options
options = Options()
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_argument('--headless') # ensure GUI is off
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
expres = pd.DataFrame()
d2 = ['http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/discurso-do-presidente-da-republica-michel-temer-durante-cerimonia-de-inauguracao-do-hospital-notre-dame-barretos-sp',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/discurso-do-presidente-da-republica-michel-temer-durante-a-visita-a-25a-edicao-da-feira-internacional-de-tecnologia-agricola-em-acao-agrishow',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/brinde-do-presidente-da-republica-michel-temer-no-almoco-oferecido-em-homenagem-ao-senhor-desire-delano-bouterse-presidente-da-republica-do-suriname',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/declaracao-a-imprensa-do-presidente-da-republica-michel-temer-apos-assinatura-de-atos',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/discurso-do-presidente-da-republica-michel-temer-durante-a-solenidade-de-abertura-oficial-da-84a-exposicao-internacional-de-gado-zebu-expozebu-2018']
for j in d2:
driver = webdriver.Chrome(options=options)
driver.maximize_window()
driver.get(j)
cont = WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.XPATH, "//*[@id='content-core']"))).text
print(cont)
На первой итерации он получает желаемый контент.
Во втором я получаю такое сообщение:
TimeoutException: Message:
Stacktrace:
RemoteError@chrome://remote/content/shared/RemoteError.sys.mjs:8:8
WebDriverError@chrome://remote/content/shared/webdriver/Errors.sys.mjs:192:5
NoSuchElementError@chrome://remote/content/shared/webdriver/Errors.sys.mjs:510:5
dom.find/</<@chrome://remote/content/shared/DOM.sys.mjs:136:16
Что я делаю не так? Должен ли я дать ему больше времени?
Сделанный! Та же группа ссылок, что и раньше.
Почему вы создаете новый экземпляр WebDriver на каждой итерации? Особенно не закрывая последний. По сути, вы ожидаете, что к концу будет открыто 5 экземпляров Chrome. Попробуйте вынести инициализацию из цикла.
Так вот в чем я ошибся!
Ответы 1
Итак, первая проблема, которую я заметил, заключается в том, что вы создаете новый экземпляр Chrome и максимизируете его внутри цикла. Я предполагаю, что это не намеренно. Если вы вытащите их и определите свой WebDriverWait один раз вне цикла, у меня все сработало. Я изменил XPath на идентификатор, поскольку вы искали только идентификатор. Это делает его проще, легче читать и т. д.
driver = webdriver.Chrome()
driver.maximize_window()
wait = WebDriverWait(driver, 10)
d2 = ['http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/discurso-do-presidente-da-republica-michel-temer-durante-cerimonia-de-inauguracao-do-hospital-notre-dame-barretos-sp',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/discurso-do-presidente-da-republica-michel-temer-durante-a-visita-a-25a-edicao-da-feira-internacional-de-tecnologia-agricola-em-acao-agrishow',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/brinde-do-presidente-da-republica-michel-temer-no-almoco-oferecido-em-homenagem-ao-senhor-desire-delano-bouterse-presidente-da-republica-do-suriname',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/declaracao-a-imprensa-do-presidente-da-republica-michel-temer-apos-assinatura-de-atos',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/discurso-do-presidente-da-republica-michel-temer-durante-a-solenidade-de-abertura-oficial-da-84a-exposicao-internacional-de-gado-zebu-expozebu-2018']
for j in d2:
driver.get(j)
cont = wait.until(EC.visibility_of_element_located((By.ID, "content-core"))).text
print(cont)
Это напечатает текст, который вы искали, без исключений.
Просто ради интереса я взял приведенный выше код, поместил его в тест, управляемый данными, с помощью pytest и настроил его для параллельной работы. Теперь каждый URL-адрес запускается в отдельном браузере, что значительно ускоряет процесс парсинга. С этими 5 URL-адресами каждый URL-адрес запускается в своем собственном браузере, а это означает, что за время, необходимое для очистки одного, вы можете очистить все 5. В любом случае... не стесняйтесь использовать это или нет. Приведенный выше код работает отлично.
import pytest
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
@pytest.mark.parametrize("url",
['http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/discurso-do-presidente-da-republica-michel-temer-durante-cerimonia-de-inauguracao-do-hospital-notre-dame-barretos-sp',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/discurso-do-presidente-da-republica-michel-temer-durante-a-visita-a-25a-edicao-da-feira-internacional-de-tecnologia-agricola-em-acao-agrishow',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/brinde-do-presidente-da-republica-michel-temer-no-almoco-oferecido-em-homenagem-ao-senhor-desire-delano-bouterse-presidente-da-republica-do-suriname',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/declaracao-a-imprensa-do-presidente-da-republica-michel-temer-apos-assinatura-de-atos',
'http://www.biblioteca.presidencia.gov.br/presidencia/ex-presidentes/michel-temer/discursos-do-presidente-da-republica/discurso-do-presidente-da-republica-michel-temer-durante-a-solenidade-de-abertura-oficial-da-84a-exposicao-internacional-de-gado-zebu-expozebu-2018'])
def test(url):
driver = webdriver.Chrome()
driver.maximize_window()
wait = WebDriverWait(driver, 10)
driver.get(url)
cont = wait.until(EC.visibility_of_element_located((By.ID, "content-core"))).text
print(cont)
Чтобы запустить это, вам нужно будет установить pytest и pytest-xdist. См. документацию для получения дополнительной информации о pytest.
Я еще не тестировал. Только что сделал это сейчас. Спасибо, все сработало отлично! Итак, моя ошибка заключалась в том, что я открывал новый экземпляр для каждого URL-адреса, и поэтому меня заблокировали?
«Они» не блокировали вас, вы получили исключение по тайм-ауту. Я предполагаю, что это произошло потому, что в каждом цикле вы создавали новый экземпляр chromedriver, который терял соединение с предыдущими экземплярами, вызывая проблемы.
Я не уверен, как мы можем помочь, если вы не предоставили соответствующий HTML-код или, еще лучше, ссылку на страницу.