Просмотр веб-сайта дает мне только 20 результатов, но их должно быть больше
я пытаюсь понять, почему мой soap.find_all возвращает только 20 результатов, хотя их должно быть больше.
#Site
url = 'https://www.fairprice.com.sg/promotions'
#requests
headers = {'user-agent': 'my-agent/1.0.1'}
r = requests.get(url, headers=headers)
#bs4
soup = BeautifulSoup(r.text,'html.parser')
mydivs = soup.find_all("div", {"class": "sc-1plwklf-10 jNMebL"})
len(mydivs)
Output: 40
Поискал по сайтам и понял, что это может быть связано с тем, что страница загружает продукты после прокрутки вниз. Есть ли обходной путь для этого? Цените помощь.
Ответы 1
Вы получаете 20 элементов в качестве вывода, потому что остальные данные динамически заполняются JavaScript как метод GET из API.
import requests
import pandas as pd
experiments = ('searchVariant-B,timerVariant-Z,inlineBanner-A,'
'substitutionBSVariant-A,gv-A,SPI-Z,SNLI-B,SC-B,'
'shelflife-C,A')
params = dict(experiments=experiments,
includeTagDetails='true',
orderType='DELIVERY',
pageType='promotion',
storeId=165,
)
url = 'https://website-api.omni.fairprice.com.sg/api/product/v2'
result=[]
for params['page'] in range(1, 6):
data = requests.get(url, params).json()
for item in data['data']['product']:
name = item['name']
result.append({"Product name": name})
df = pd.DataFrame(result)
print(df)
Выход:
Product name
0 Pasar Fresh Eggs
1 Meiji Fresh Milk - Regular
2 FairPrice DeluxSoft Bathroom Tissue (3ply)
3 Fresh Blueberries
4 UFC Refresh 100% Natural Coconut Water
.. ...
95 Magnum Mini Ice Cream - Almond
96 Clorox Toilet Bowl Cleaner Tablets - Tru Blu
97 Kleenex Facial Tissue Box - Floral (3ply)
98 Fairprice Scouring Sponge
99 Prego Pasta Sauce - Traditional Tomato
[100 rows x 1 columns]
Большое спасибо! Как человек, у которого нет опыта работы с html/css/js, не могли бы вы вкратце рассказать, как были получены эксперименты, URL и параметры?
Вы можете обрабатывать параметры запроса несколькими способами, в полезной нагрузке они отправляются парами ключ-значение, в URL-адресе они используются напрямую, эксперименты - это не что иное, как ключ параметров перемешивания запроса, редактор немного усложняет, я использовал прямой URL-адрес для немного больше сделать легко понять. Вы также можете использовать параметры строки запроса в качестве параметров, где находятся пары ключ-значение. Вы можете взять идеи об этом отсюда: indianpythonista.wordpress.com/2016/12/10/…
Благодарю вас! Наконец, где вы нашли прямой URL-адрес, который вы указали в своем решении? Через инструменты разработчика? Тот, который я использовал, был сайтом, ориентированным на клиента (Fairprice.com.sg).
@ user8729612, смотрите скриншот выше
проглядел ссылку, благодарю за помощь!
Надеюсь, вы не возражаете, но я отредактировал ваш очень хороший ответ, чтобы разбить параметры запроса на несколько более удобный способ.