Очистка веб-страницы с вкладками, которые не меняют URL-адрес

Я пытаюсь очистить веб-страницу Nasdaq и столкнулся с проблемой поиска элементов:

Мой код:

from selenium import webdriver
import time
import pandas as pd

driver.get('http://www.nasdaqomxnordic.com/shares/microsite?Instrument=CSE32679&symbol=ALK%20B&name=ALK-Abell%C3%B3%20B')

time.sleep(5)
btn_overview = driver.find_element_by_xpath('//*[@id = "tabarea"]/section/nav/ul/li[2]/a')
btn_overview.click()
time.sleep(5) 
employees = driver.find_element_by_xpath('//*[@id = "CompanyProfile"]/div[6]')

После последнего звонка я получаю следующую ошибку:

NoSuchElementException: no such element: Unable to locate element: {"method":"xpath","selector":"//*[@id = "CompanyProfile"]/div[6]"}

Обычно проблема была бы в неправильном «xpath», но я пробовал несколько элементов, также по «id». Я подозреваю, что это как-то связано с вкладками (в моем случае с переходом к «Обзору»). Визуально веб-страница меняется, но если, например, я очищаю таблицу, она получает ее с первой страницы:

table_test = pd.read_html(driver.page_source)[0]

Что я упускаю или делаю неправильно?

какие данные/таблица вам нужны?

— 06.05.2022 13:31

Мне нужно количество сотрудников, которое указано в разделе «Профиль компании» на вкладке «Обзор».

— 06.05.2022 13:34

python selenium web-scraping

06.05.2022 13:23

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

Страница overview находится под iframe

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

from selenium.webdriver.chrome.options import Options

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC


option = webdriver.ChromeOptions()
option.add_argument("start-maximized")

#chrome to stay open
option.add_experimental_option("detach", True)

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()),options=option)
driver.get('http://www.nasdaqomxnordic.com/shares/microsite?Instrument=CSE32679&symbol=ALK%20B&name=ALK-Abell%C3%B3%20B')


WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, '//*[@id = "tabarea"]/section/nav/ul/li[2]/a'))).click()
WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.XPATH, '//*[@id = "cookieConsentOK"]'))).click()

WebDriverWait(driver, 20).until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR,"iframe#MorningstarIFrame")))
employees=WebDriverWait(driver, 20).until(EC.presence_of_element_located((By.XPATH, '//*[@id = "CompanyProfile"]/div[6]'))).text.split()[1]
print(employees)

Выход:

2,537

вебдрайверменеджер

06.05.2022 16:11

Вы уверены, что вам нужен Selenium?

import requests
from bs4 import BeautifulSoup

url = 'http://lt.morningstar.com/gj8uge2g9k/stockreport/default.aspx'
payload = {
'SecurityToken': '0P0000A5LL]3]1]E0EXG$XCSE_3060'}

response = requests.get(url, params=payload)
soup = BeautifulSoup(response.text, 'html.parser')

employees = soup.find('h3', text='Employees').next_sibling.text
print(employees)

Выход: