Невозможно проанализировать элементы с веб-сайта, содержащего табличные данные (iframe)

Мы пытаемся разобрать href атрибуты из DOM сайта вакансий. Мы хотим получать href за каждую работу.

Обычно мы используем пути CSS и передаем их методу Selenium find_elements_by_css.

К сожалению, мы заметили, что плагин браузера SelectorGadget не может предоставить нам путь CSS. Мы продолжили использовать путь CSS с помощью Google Chrome (ctrl+shift+c). Chrome может извлечь путь, но ни Selenium, ни BeautifulSoup не могут работать с этими путями.

После многих неудачных попыток извлечь элементы, используя разные классы и теги, мы считаем, что что-то совершенно не так либо с нашим подходом, либо с веб-сайтом. Мы предполагаем, что Selenium и BeautifulSoup по какой-то причине не могут разобрать желаемые элементы? Могут ли теги iframe в DOM быть источником ошибки (см. этот ТАК вопрос)? Из-за чего синтаксический анализ здесь не работает, и есть ли способ обойти эту проблему? Источник проблемы, связанный с веб-сайтом, также объясняет, почему SelectorGadget изначально не смог получить путь. Наш вывод будет заключаться в том, чтобы использовать регулярные выражения для извлечения необходимых нам атрибутов href. Это будет только крайним решением.

Для говорящих на немецком языке обратите внимание на орфографическую ошибку в целевых элементах: <div class = "stellenagebot">. Пожалуйста, не позволяйте себе запутаться в них (как это сделали мы).

Не повезло с BeautifulSoup:

import re
import requests
from bs4 import BeautifulSoup


url = 'https://www.artemiskliniken.de/Karriere/%C3%84rzte/'

page = requests.get(url)

soup = BeautifulSoup(page.text, 'html.parser')

print(soup.prettify())
# Out: ...

#<div class = "col-md-4 wow fadeInUp">
# <div class = "stellenagebot">
#  <h3>
#   Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit
#  </h3>
#  <h4>
#   Erfurt
#  </h4>
#  <a class = "btn btn-default" href = "/Stellenangebot/Facharzt_Augenheilkunde_Erfurt/">
#   Mehr
#  </a>
# </div>
#</div>
#<div class = "col-md-4 wow fadeInUp">
# <div class = "stellenagebot">
#  <h3>
#   Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit
#  </h3>
#  <h4>
#   Eschwege
#  </h4>
#  <a class = "btn btn-default" href = "/Stellenangebot/Facharzt_Augenheilkunde_Eschwege/">
#   Mehr
#  </a>
# </div>
#</div>

# ...

print(soup.find_all('.stellenagebot'))
# Out: []

print(soup.find_all(string=re.compile("Stellenangebot")))
# ['Stellenangebote Facharzt für Augenheilkunde und Karrierewege für Ärzte', '<h3>Zur Verst&auml;rkung unseres Teams suchen wir:</h3>\n\n<p class = "hyphenate" lang = "de">&nbsp;</p>\n\n<div id=\'jobauflistung\' class=\'row\'><div class=\'col-md-4 wow  fadeInUp\'><div class = "stellenagebot">\n<h3>Facharzt (m/w/d) für Augenheilkunde in Voll- oder Teilzeit</h3>\n\n<h4>Aachen</h4>\n<a class = "btn btn-default" href = "/Stellenangebot/Facharzt_Augenheilkunde_Aachen/">Mehr</a></div></div><div class=\'col-md-4 wow  fadeInUp\'><div class = "stellenagebot">\n<h3>Facharzt (m/w/d) fü
# ...
# ></div>\n</div>\n</div>\n</div>\n</footer>\n</div><!-- AUF ALLEN SEITEN IN DEN BODY-TAG EINFÜGEN ']

print(len(soup.find_all(string=re.compile("Stellenangebot"))))
# Out: 2

Также не повезло с Selenium:

from selenium import webdriver

from job_scraper.configuration import CHROMEDRIVER_VERSION, ROOT_PATH, \
    CHROME_OPTIONS


driver = webdriver.Chrome(
    ROOT_PATH / f'assets/chrome_drivers/{CHROMEDRIVER_VERSION}',
    options=CHROME_OPTIONS
)
driver.maximize_window()
driver.get(url)
driver.find_elements_by_css_selector('.stellenagebot')
# Out: []