Попробуй это:
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.keys import Keys
import time
url = "https://www.rsc.org/events/subject/organic"
driver = webdriver.Chrome("./chromedriver.exe")
driver.maximize_window()
driver.get(url)
while True:
try:
get_btn = driver.find_element_by_class_name('ev-more-results-link')
get_btn.click()
time.sleep(2)
except:
print("completed")
break;
В случае, если у вас есть какие-либо проблемы, не стесняйтесь спрашивать.
Проверь сейчас:
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
import time
url = "https://www.rsc.org/events/subject/organic"
driver = webdriver.Chrome("./chromedriver.exe")
driver.maximize_window()
driver.get(url)
details = []
while True:
try:
get_btn = driver.find_element_by_class_name('ev-more-results-link')
get_btn.click()
time.sleep(2)
except:
complete = driver.find_element_by_xpath('//*[@id = "divInternalEvents"]/div')
posts = complete.find_elements_by_class_name('ev-always-col')
dts = complete.find_elements_by_tag_name('h3')
for idx,post in enumerate(posts):
title = post.text
link = post.get_attribute("href")
date = dts[idx].text
details.append({"title":title,"link":link,"date":date})
break
print(details)
Не могли бы вы предоставить минимально воспроизводимый пример? Кроме того, вы должны иметь возможность отредактировать свой вопрос и добавить образец тега привязки из вашего комментария, правильно отформатированного как блок кода, в свой вопрос.