Использование Python для извлечения тегов href
пытаюсь вытащить href-ссылки для продуктов на этой веб-странице. Код извлекает все href, кроме продуктов, перечисленных на странице.
from bs4 import BeautifulSoup
import requests
url = "https://www.neb.com/search#t=_483FEC15-900D-4CF1-B514-1B921DD055BA&sort=%40ftitle51880%20ascending"
response = requests.get(url)
data = response.text
soup = BeautifulSoup(data, 'lxml')
tags = soup.find_all('a')
for tag in tags:
print(tag.get('href'))
Ответы 3
Попробуйте проверить, есть ли href продукта в полученном ответе. Я говорю вам сделать это, потому что, если часть продуктов динамически генерируется, например, с помощью ajax, простой доступ на главную страницу их не принесет.
Распечатайте ответ и проверьте, поступают ли товары в html
Продукты загружаются через rest API динамически, URL-адрес: https://international.neb.com/coveo/rest/v2/?sitecoreItemUri=sitecore%3A%2F%2Fweb%2F%7BA1D9D237-B272-4C5E-A23F-EC954EB71A26%7D%3Flang%3Den%26 Internationalver%3D=1&nebinsite
Загрузив этот ответ, вы получите URL-адреса.
В следующий раз проверьте свой сетевой инспектор, если какая-либо часть веб-страницы не загружается динамически (или используйте селен).
Я думаю, вам нужно что-то вроде этого:
from bs4 import BeautifulSoup
import urllib.request
for numb in ('1', '100'):
resp = urllib.request.urlopen("https://www.neb.com/search#first = " + numb + "&t=_483FEC15-900D-4CF1-B514-1B921DD055BA&sort=%40ftitle51880%20ascending")
soup = BeautifulSoup(resp, from_encoding=resp.info().get_param('charset'))
for link in soup.find_all('a', href=True):
print(link['href'])
Беглый взгляд на сетевой инспектор показывает, что в этом наборе 13323 записи. Кроме того, результаты форматируются на стороне клиента из полезной нагрузки json, поэтому я предполагаю, что вам гораздо больше повезет со структурированным форматом. В любом случае вам придется иметь дело с разбивкой на страницы.