Не удается найти правильный способ получить номера деталей с веб-страницы с помощью запросов

Чтобы получить номера деталей с веб-страницы с помощью Selenium, вам необходимо:

• Вызовите WebDriverWait, чтобы кадр object стал доступным, и переключитесь на него.

• Вызовите WebDriverWait, чтобы нужный элемент стал кликабельным, и нажмите на Accept all cookies.

• Вернитесь к default_content()

• Вызовите WebDriverWait, чтобы нужный кадр стал доступен, и переключитесь на него.

• Вызовите WebDriverWait для staleness_of() устаревшего элемента.

• Нажмите на вкладку с текстом в качестве списка продуктов, используя execute_script().

• Вы можете использовать следующие стратегии поиска:

  driver.get('https://www.festo.com/cat/en-id_id/products_ADNH')
  WebDriverWait(driver, 20).until(EC.frame_to_be_available_and_switch_to_it((By.TAG_NAME,"object")))
  WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "input.btn.btn-primary#accept-all-cookies"))).click()
  driver.switch_to.default_content()
  WebDriverWait(driver, 20).until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR,"iframe#CamosIFId")))
  WebDriverWait(driver, 20).until(EC.staleness_of(WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, "//div[text()='Product list']")))))
  driver.execute_script("arguments[0].click();", WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, "//div[text()='Product list']"))))
  print([my_elem.get_attribute("innerHTML") for my_elem in WebDriverWait(driver, 20).until(EC.visibility_of_all_elements_located((By.XPATH, "//div[@class='ah']/img//following::div[2]")))])
  driver.quit()
  

• Примечание. Вы должны добавить следующие импорты:

  from selenium.webdriver.support.ui import WebDriverWait
  from selenium.webdriver.common.by import By
  from selenium.webdriver.support import expected_conditions as EC
  

• Выход консоли:

  ['539691', '539692', '539693', '539694']
  

Ссылка

Вы можете найти пару соответствующих обсуждений в:

• Способы борьбы с #document под iframe
• Переключитесь на iframe через Selenium и python

Трудность для водителя состоит в том, чтобы нажать кнопку «Список продуктов», поэтому я нашел решение:

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as ec
from selenium.common.exceptions import TimeoutException, StaleElementReferenceException
from selenium import webdriver
import time

class NoPartsNumberException(Exception):
    pass

driver = webdriver.Chrome()
wait = WebDriverWait(driver, 10)


driver.get("https://www.festo.com/cat/en-id_id/products_ADNH")
wait.until(ec.frame_to_be_available_and_switch_to_it(wait.until(ec.visibility_of_element_located((By.CSS_SELECTOR, "object")))))
wait.until(ec.presence_of_element_located((By.CSS_SELECTOR, "#btn-group-cookie > input[value='Accept all cookies']"))).click()
driver.switch_to.default_content()
wait.until(ec.frame_to_be_available_and_switch_to_it((By.XPATH, "//iframe[@name='CamosIF']")))

endtime = time.time() + 30
while True:
    try:
        if time.time() > endtime:
            raise NoPartsNumberException('No parts number found')
        product_list = wait.until(ec.element_to_be_clickable((By.XPATH, "//div[@id='f24']")))
        product_list.click()
        part_numbers_elements = wait.until(ec.visibility_of_all_elements_located((By.XPATH, "//div[contains(@id, 'v471')]")))
        break
    except (TimeoutException, StaleElementReferenceException):
        pass

part_numbers = [p.text for p in part_numbers_elements[1:]]
print(part_numbers)

driver.close()

Таким образом, драйвер нажимает кнопку «Список продуктов», пока не откроется окно, содержащее номера деталей, и вам придется ждать гораздо меньше 10 секунд, как в вашем коде с жестко запрограммированным временем сна.

Я считаю, что вы хорошо рассмотрели концепцию iframe и WebDriverWait.

Сайт, кажется, повторно отображает контент несколько раз, прежде чем сможет получить нужный элемент и щелкнуть по нему. Поэтому вам пришлось добавить сон на 10 секунд.

Существует мнение, что при использовании EC необходимо использовать WebDriverWait. EC — это всего лишь набор хелперов класса для извлечения элемента с некоторыми определенными свойствами (например, видимый, скрытый, кликабельный...)

В вашем случае ec.visibility_of_all_elements_located был хорошим выбором. Но как только элемент получен, DOM повторно арендуется, и вы сгенерируете StaleElementReferenceException, если вы используете метод клика WebElement. Также полагайте, что щелчок с использованием JS будет просто проигнорирован, так как переданного элемента больше нет.

Поскольку until() можно использовать для определения момента возврата элемента, почему бы не использовать его и не создать собственный класс EC:

class SelectProductTab(object):
    def __init__(self, locator):
        self.locator = locator
        self._selected_background_image = 'url("IMG?i=ec2a883936d53541a030c2ddb511e7e8&s=p")'

    def __call__(self, driver):
        els = driver.find_elements(*self.locator)
        if len(els) > 0:
            els[0].click()
        else:
            return False
        return els[0] if self.__is_selected(els[0]) else False

    def __is_selected(self, el):
        return self._selected_background_image in el.get_attribute('style')

Этот класс будет делать следующее:

1. Получить элемент
2. Нажмите здесь
3. Убедитесь, что нужная вкладка выбрана. В основном убедитесь, что щелчок сработал
4. При выборе вкладки возвращает элемент обратно вызывающей стороне

Одна часть не обрабатывается, так как WebDriverWait уже поддерживает ее, это обработка исключения. В вашем случае вы столкнетесь с StaleElementReferenceException.

wait = WebDriverWait(driver, 30, ignored_exceptions=(StaleElementReferenceException, ))

Затем вызовите until() с собственной реализацией класса EC:

wait.until(SelectProductTab((By.CSS_SELECTOR, "[id='r17'] > [id='f24']")))

Полный код:

with webdriver.Chrome(ChromeDriverManager().install(), options=options) as driver:
    driver.get(link)
    wait = WebDriverWait(driver, 15)
    wait.until(EC.frame_to_be_available_and_switch_to_it(
        wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "object")))))
    wait.until(EC.presence_of_element_located(
        (By.CSS_SELECTOR, "#btn-group-cookie > input[value='Accept all cookies']"))).click()
    driver.switch_to.default_content()
    wait.until(EC.frame_to_be_available_and_switch_to_it(
        wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "iframe#CamosIFId")))))
    
    # Sleep was removed, click is now handled inside our own EC class + will ensure the tab is selected
    wait = WebDriverWait(driver, 30, ignored_exceptions=(StaleElementReferenceException, ))
    
    wait.until(SelectProductTab((By.CSS_SELECTOR, "[id='r17'] > [id='f24']")))
    
for elem in wait.until(
                EC.presence_of_all_elements_located((By.CSS_SELECTOR, "[data-ctcwgtname='tabTable'] [id^='v471_']")))[1:]:
            print(elem.text)

Выход:

539691
539692
539693
539694

Примечание для импорта следующего импорта:

from selenium.common.exceptions import StaleElementReferenceException