Как программно проверять и получать динамический контент с веб-сайта Angular с помощью Python?

Я пытаюсь очистить веб-сайт, созданный с помощью Angular, с использованием Python, но сталкиваюсь с проблемами при получении динамически генерируемого контента. Когда я делаю прямой HTTP-запрос или просматриваю исходный код страницы, я получаю только исходный HTML-код, который содержит

    <app-root>
     <!-- empty app root -->
    </app-root> 

заполнитель. Однако, когда я проверяю отображаемую страницу в браузере, я вижу ее полное содержимое. Вот что возвращает проверенная страница, когда я выбираю ее на странице, отображаемой в браузере:

    <app-root _nghost-ynj-c115 ng-version = "14.3.0">
      <!-- Rendered HTML content from browser inspection -->
      ...


    </app-root>

Я пробовал использовать Selenium для ожидания рендеринга контента, но не уверен, использую ли я правильные селекторы или есть лучший подход. Вот код, который я использовал:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from webdriver_manager.chrome import ChromeDriverManager

service = Service(ChromeDriverManager().install())
options = webdriver.ChromeOptions()
options.headless = True
driver = webdriver.Chrome(service=service, options=options)

try:
    driver.get("https://www.fedlex.admin.ch/de/cc/international-law/0.1")
    WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CSS_SELECTOR, "app-root ng-version"))
    )
    page_source = driver.page_source
finally:
    driver.quit()

print(page_source)

Кажется, этот код не извлекает динамический контент должным образом. Как я могу программно проверить страницу и получить полный контент, отображаемый Angular? Существует ли особый способ взаимодействия с приложениями Angular с использованием Selenium или есть другой инструмент или метод, который мне следует рассмотреть для этой задачи?

Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
1
0
56
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Ваша проблема в том, что «app-root» отображается при запуске, но пуст.

Измените эту строку, в этом элементе представлены данные.

EC.presence_of_element_located((By.XPATH, "//div[@id='content']"))

Другие вопросы по теме