Пытаюсь выяснить логику этой страницы: хранится около ++ 100 результатов и анализируется с помощью Python и BS4

Вам необходимо сделать запрос для каждого банка, но некоторые сайты размещены на raiffeisen.ch, а другие перенаправляются на другой сайт (например: lokalbank.ch). Эти сайты имеют совершенно разную структуру, поэтому для каждого типа сайтов вам нужна разная логика/стратегия.

Синхронный метод (медленный):

import requests
from bs4 import BeautifulSoup
from urllib.parse import urlparse
import json


def scrape_raiffeisen(html):
    data = BeautifulSoup(html, 'html.parser').select_one('meta[name=organisationData]')
    bank = {
        'name': data.get('data-organisation-name'), 
        'address': {
            'street': data.get('data-organisation-street'),
            'zip': data.get('data-organisation-zip'),
            'city': data.get('data-organisation-city')
        },
        'tel': data.get('data-organisation-phone'),
        'email': data.get('data-organisation-mail')
    }

    return bank


def scrape_lokalbank(html):
    script = BeautifulSoup(html, 'html.parser').find('script', type='application/ld+json')
    data = json.loads(script.text).get('@graph')[1]
    address = data.get('address', {})

    bank = {
        'name': data.get('name'), 
        'address': {
            'street': address.get('streetAddress'),
            'zip': address.get('postalCode'),
            'city': address.get('addressLocality')
        },
        'tel': data.get('telephone'),
        'email': data.get('email')
    }

    return bank

scrapers = {'www.raiffeisen.ch': scrape_raiffeisen, 'www.lokalbank.ch': scrape_lokalbank}


url = 'https://www.raiffeisen.ch/rch/de/ueber-uns/raiffeisen-gruppe/organisation/raiffeisenbanken/deutsche-schweiz.html'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
bank_links = [a.get('href') for a in soup.select('div.accordion__itemWrapper li > a')]

banks = []
for link in bank_links:
    response = requests.get(link)
    hostname = urlparse(response.url).netloc
    scraper = scrapers.get(hostname)

    if not scraper:
        print(f'Could not find scraper for `{response.url}`')
        continue

    banks.append(scraper(response.text))


print(banks)

Асинхронный метод:

Для более быстрого парсинга мы можем выполнять запросы асинхронно, используя такую ​​библиотеку, как aiohttp или httpx. Я использовал curl_cffi :

from bs4 import BeautifulSoup
from urllib.parse import urlparse
import json
import asyncio
from curl_cffi.requests import AsyncSession


def scrape_raiffeisen(html):
    data = BeautifulSoup(html, 'html.parser').select_one('meta[name=organisationData]')
    bank = {
        'name': data.get('data-organisation-name'), 
        'address': {
            'street': data.get('data-organisation-street'),
            'zip': data.get('data-organisation-zip'),
            'city': data.get('data-organisation-city')
        },
        'tel': data.get('data-organisation-phone'),
        'email': data.get('data-organisation-mail')
    }

    return bank


def scrape_lokalbank(html):
    script = BeautifulSoup(html, 'html.parser').find('script', type='application/ld+json')
    data = json.loads(script.text).get('@graph')[1]
    address = data.get('address', {})

    bank = {
        'name': data.get('name'), 
        'address': {
            'street': address.get('streetAddress'),
            'zip': address.get('postalCode'),
            'city': address.get('addressLocality')
        },
        'tel': data.get('telephone'),
        'email': data.get('email')
    }

    return bank

scrapers = {'www.raiffeisen.ch': scrape_raiffeisen, 'www.lokalbank.ch': scrape_lokalbank}



def get_banks():
    session = AsyncSession()

    async def scrape_bank(link):
        response = await session.get(link)
        hostname = urlparse(response.url).netloc
        scraper = scrapers.get(hostname)

        if not scraper:
            print(f'Could not find scraper for `{response.url}`')
            return

        return scraper(response.text)

    
    async def main():
        url = 'https://www.raiffeisen.ch/rch/de/ueber-uns/raiffeisen-gruppe/organisation/raiffeisenbanken/deutsche-schweiz.html'
        response = await session.get(url)
        soup = BeautifulSoup(response.text, 'html.parser')
        bank_links = [a.get('href') for a in soup.select('div.accordion__itemWrapper li > a')]

        tasks = [scrape_bank(link) for link in bank_links]
        banks = await asyncio.gather(*tasks)
        await session.close()
        return banks
    
    return asyncio.run(main())


banks = get_banks()
print(banks)