Я пытаюсь перейти на вторую страницу URL-адреса, чтобы получить названия улиц, но результаты все еще с первой страницы.
Когда я вручную просматриваю эту страницу, она дает мне вторую страницу URL-адреса, но при использовании кода он все еще переходит на первую страницу.
Мой код:
import requests
from bs4 import BeautifulSoup
page = requests.get('https://miqa.nl/woningen/koop/#page/2;')
soup = BeautifulSoup(page.text, 'html.parser')
title_div = soup.find_all('div', class_='title')
for streets in title_div :
street = streets.find('h2').text
print(street)
Кто-нибудь знает, почему это происходит?
Попробуй это:
import requests
from bs4 import BeautifulSoup
for page in range(1,4):
print("------", page, "---------")
r = requests.get(f'https://miqa.nl/woningen/koop/page/{page}/')
soup = BeautifulSoup(r.text, 'html.parser')
title_div = soup.find_all('div', class_='title')
for streets in title_div :
street = streets.find('h2').text
print(street)
Я пытался решить следующую навигацию по странице, извлекая данные. Вот мой код.
def miqa(url):
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
title_div = soup.find_all('div', class_='title')
for streets in title_div :
street = streets.find('h2').text
print(street)
try:
page = soup.select_one('a.next.page-numbers', href=True).get('href')
print('URL', page)
miqa(page)
except AttributeError:
print('There is no page to extract data. Finished.')
if __name__ == "__main__":
url = 'https://miqa.nl/woningen/koop/#q1YqqSxIVbJSys7PL1DSUcovSkktSqoECqQklpTmeuaV5acWWaWkFicr1QIA'
print('starting ...')
print(url)
miqa(url)