Bs4-подход к странице википедии: получение информационного окна

в настоящее время я пытаюсь применить подход bs4 к странице википедии: результаты не сохраняются в df

из-за того, что парсинг в Википедии является очень распространенным методом, при котором мы можем использовать подходящий подход для работы со многими разными заданиями, у меня были некоторые проблемы с возвратом результатов и сохранением их в df.

ну, в качестве примера очень распространенного задания Wikipedia-bs4, мы можем взять вот это:

на этой странице у нас есть более 600 результатов - на подстраницах: url = "https://de.wikipedia.org/wikiListe_der_St%C3%A4dte_in_Deutschland#Liste_der_St%C3%A4dte_in_Deutschland"

Итак, чтобы создать первый экспериментальный сценарий, я следую следующим образом: сначала я очищаю таблицу со страницы Википедии, а затем конвертирую ее в DataFrame Pandas. Поэтому я сначала устанавливаю необходимые пакеты: убедитесь, что у вас установлены запросы, beautifulsoup4 и pandas. Вы можете установить их с помощью pip, если вы еще этого не сделали:

Pip запрашивает установку beautifulsoup4 pandas

а затем я делаю следующее: сначала я очищаю таблицу со страницы Википедии, а затем конвертирую ее в DataFrame Pandas.

import pandas as pd

# URL of the Wikipedia page
url = "https://de.wikipedia.org/wiki/Liste_der_St%C3%A4dte_in_Deutschland#Liste_der_St%C3%A4dte_in_Deutschland"
table = pd.read_html(url, extract_links='all')[1]
base_url = 'https://de.wikipedia.org'
table = table.apply(lambda col: [v[0] if v[1] is None else f'{base_url}{v[1]}' for v in  col])


links = list(table.iloc[:,0])

for link in links:
    print('\n',link)
    try:
        df = pd.read_html(link)[0]
        print(df)
    except Exception as e:
        print(e)

посмотрим, что я получу в ответ — всего две записи. вместо сотен. кстати; Я думаю, что лучший способ — собрать все в df. и &/или сохранить его

Document is empty

 https://de.wikipedia.org/wiki/Aach_(Hegau)
                                       Wappen  \
0                                         NaN   
1                                         NaN   
2                                  Basisdaten   
3                                Koordinaten:   
4                                 Bundesland:   
5                           Regierungsbezirk:   
6                                  Landkreis:   
7                                       Höhe:   
8                                     Fläche:   
9                                  Einwohner:   
10                        Bevölkerungsdichte:   
11                              Postleitzahl:   
12                                   Vorwahl:   
13                           Kfz-Kennzeichen:   
14                         Gemeindeschlüssel:   
15                                    LOCODE:   
16              Adresse der  Stadtverwaltung:   
17                                   Website:   
18                             Bürgermeister:   
19  Lage der Stadt Aach im Landkreis Konstanz   
20                                      Karte   

                                     Deutschlandkarte  
0                                                 NaN  
1                                                 NaN  
2                                          Basisdaten  
3   47° 51′ N, 8° 51′ OKoordinaten: 47° 51′ N, 8° ...  
4                                   Baden-Württemberg  
5                                            Freiburg  
6                                            Konstanz  
7                                        545 m ü. NHN  
8                                           10,68 km2  
9                             2384 (31. Dez. 2022)[1]  
10                               223 Einwohner je km2  
11                                              78267  
12                                              07774  
13                                            KN, STO  
14                                        08 3 35 001  
15                                             DE AAC  
16                         Hauptstraße 16  78267 Aach  
17                                        www.aach.de  
18                                     Manfred Ossola  
19          Lage der Stadt Aach im Landkreis Konstanz  
20                                              Karte 

примечание: у нас там несколько сотен записей:

см. информационное окно: я хочу получить данные информационного окна

обновление: на что направлено: - как получить полные результаты - которые хранятся в файле df. - и содержащий все данные - в поле info.. (см. изображение выше) - с контактной информацией и т. д.

обновление2:

обзор - страница: https://de.wikipedia.org/wiki/Liste_der_St%C3%A4dte_in_Deutschland#Liste_der_St%C3%A4dte_in_Deutschland

это приведет нас примерно к 1000 подстраницам: как показано ниже

Аах (Хегау): https://de.wikipedia.org/wiki/Aach_(Хегау) Ахен: https://de.wikipedia.org/wiki/Аахен Аален: https://de.wikipedia.org/wiki/Аален

увидеть результат так называемого «информационного окна»: https://de.wikipedia.org/wiki/Babenhausen_(Hessen) Бабенхаузен (Гессен)

+----------------------+--------------------------------------------------------------+
|                      |                                                              |
+----------------------+--------------------------------------------------------------+
| koordinaten:         | ♁49° 58′ N, 8° 57′ OKoordinaten: 49° 58′ N, 8° 57′ O | | OSM |
| Bundesland:          | Hessen                                                       |
| Regierungsbezirk:    | Darmstadt                                                    |
| Landkreis:           | Darmstadt-Dieburg                                            |
| Höhe:                | 124 m ü. NHN                                                 |
| Fläche:              | 66,85 km2                                                    |
| Einwohner:           | 17.579 (31. Dez. 2023)[1]                                    |
| Bevölkerungsdichte:  | 263 Einwohner je km2                                         |
| Postleitzahl:        | 64832                                                        |
| Vorwahl:             | 06073                                                        |
| Kfz-Kennzeichen:     | DA, DI                                                       |
| Gemeindeschlüssel:   | 06 4 32 002                                                  |
| Stadtgliederung:     | 6 Stadtteile                                                 |
| Adresse der          |                                                              |
| Stadtverwaltung:     | Rathaus                                                      |
| Marktplatz 2         |                                                              |
| 64832 Babenhausen    |                                                              |
| Website:             | www.babenhausen.de                                           |
| Bürgermeister:       | Dominik Stadler (parteilos)                                  |
+----------------------+--------------------------------------------------------------+

https://de.wikipedia.org/wiki/Bacharachhttps://de.wikipedia.org/wiki/Backnang

update3: если я запустил этот код, чтобы получить 300 записей. это работает хорошо - если я запущу это, чтобы получить 2400, это не удастся..

import requests
from bs4 import BeautifulSoup
import pandas as pd


def get_info(city_url: str) -> dict:
    info_data = {}
    response = requests.get(city_url)
    soup = BeautifulSoup(response.text, 'lxml')
    for x in soup.find('tbody').find_all(
            lambda tag: tag.name == 'tr' and tag.get('class') == ['hintergrundfarbe-basis']):
        if not x.get('style'):
            if 'Koordinaten' in x.get_text():
                info_data['Koordinaten'] = x.findNext('span', class_='coordinates').get_text()
            else:
                info_data[x.get_text(strip=True).split(':')[0]] = x.get_text(strip=True).split(':')[-1]
                info_data['Web site'] = soup.find('a', {'title':'Website'}).findNext('a').get('href')
    return info_data


cities = []
response = requests.get('https://de.wikipedia.org/wiki/Liste_der_St%C3%A4dte_in_Deutschland#Liste_der_St%C3%A4dte_in_Deutschland')
soup = BeautifulSoup(response.text, 'lxml')
for city in soup.find_all('dd')#[:2500]:
    city_url = 'https://de.wikipedia.org' + city.findNext('a').get('href')
    result = {'City': city.get_text(), 'URL': 'https://de.wikipedia.org' + city.findNext('a').get('href')}
    result |= get_info(city_url)
    cities.append(result)
df = pd.DataFrame(cities)
print(df.to_string())


------------------------------------

AttributeError                            Traceback (most recent call last)

<ipython-input-28-4391c852fd75> in <cell line: 24>()
     25     city_url = 'https://de.wikipedia.org' + city.findNext('a').get('href')
     26     result = {'City': city.get_text(), 'URL': 'https://de.wikipedia.org' + city.findNext('a').get('href')}
---> 27     result |= get_info(city_url)
     28     cities.append(result)
     29 df = pd.DataFrame(cities)

<ipython-input-28-4391c852fd75> in get_info(city_url)
     15             else:
     16                 info_data[x.get_text(strip=True).split(':')[0]] = x.get_text(strip=True).split(':')[-1]
---> 17                 info_data['Web site'] = soup.find('a', {'title':'Website'}).findNext('a').get('href')
     18     return info_data
     19 

AttributeError: 'NoneType' object has no attribute 'findNext'