LinkExtractor Scrapy не находит все ссылки на веб-странице
в настоящее время я пытаюсь запрограммировать свой собственный веб-краулер для поиска недвижимости в Вене. Для этого я использую класс CrawlSpider из Scrapy. Теперь, используя функцию Shell из scrapy, я обнаружил, что LinkExtractor не находит все ссылки на веб-странице. Как я мог это решить?
Спасибо, джемфлэк
PS: извините, если в моем объяснении не хватает деталей, я новичок в stackoverflow.
### I open the shell in the anaconda command prompt.
### The url is a overview page of several house listings.
scrapy shell https://www.willhaben.at/iad/immobilien/haus-kaufen/wien
### Import of the scrapy linkextractor:
from scrapy.linkextractors import LinkExtractor
### I create the linkextractor to search for listings.
### I found out that all listings have a 'd/haus-kaufen/wien' in their url
le = LinkExtractor(allow='d/haus-kaufen/wien')
### Extract all the links:
links = le.extract_links(response)
### Print out the links
for l in links:
...: print(l.url)
Выход:
https://www.willhaben.at/iad/immobilien/d/haus-kaufen/wien/wien-1110-simmering/einfamilienhaus-pool-140m2-keller-und-ca-243m2-garten-kamin-fussbodenheizung-2018-2019-eg-saniert-in-wenigen-minuten-simmering-u3-601664118/
https://www.willhaben.at/iad/immobilien/d/haus-kaufen/wien/wien-1220-donaustadt/tausch-reihenhaus-gegen-wohnung-663241383/
https://www.willhaben.at/iad/immobilien/d/haus-kaufen/wien/wien-1170-hernals/knusperhaeuschen-im-gruenen-diverse-obstbaeume-seele-baumeln-lassen-667128712/
https://www.willhaben.at/iad/immobilien/d/haus-kaufen/wien/wien-1130-hietzing/sonniges-einfamilienhaus-aus-familienbesitz-in-1130-wien-667121768/
Всего появляется 4 ссылки, но когда я смотрю на веб-страницу, их должно быть намного больше, около 20.
Ответы 1
Современные веб-сайты часто используют Javascript для динамической загрузки содержимого, которое не требуется мгновенно. Это улучшает начальную загрузку страницы, однако большинство парсеров не могут обрабатывать JS, а это означает, что этот контент для них невидим.
Сайт, на который вы ссылаетесь, делает именно это. Если вы посещаете страницу с блокировщиком Javascript, таким как NoScript, видны только первые 4-5 сообщений, так как остальные будут загружаться через Javascript.
На сайте Scrapy есть описание решения этой проблемы.
Интересная вещь об этом конкретном сайте заключается в том, что они фактически извлекают все записи с первоначальным запросом, а затем используют JS только для создания пользовательского интерфейса.
Вы можете увидеть это в необработанном HTML-коде веб-сайта:
<script type = "application/ld+json">
{
"@context": "https://schema.org",
"@type": "ItemList",
"itemListElement": [
{
"@type": "ListItem",
"position": 0,
"url": "/iad/immobilien/d/haus-kaufen/wien/wien-1110-simmering/kleingarten-in-simmering-667272230/"
},
...
],
"numberOfItems": 1236,
"name": "Haus kaufen in Wien - willhaben",
"description": "Haus kaufen oder verkaufen in Wien, finden Sie Ihr Einfamilienhaus, Reihenhaus unter 13.382 Häusern auf willhaben"
}
</script>
Таким образом, в этом конкретном случае вы можете просто извлечь этот объект JSON, содержащийся в HTML, чтобы получить результаты поискового запроса.
Возможный XPath: //*[@id = "skip-to-content"]/div/script
Надеюсь, это поможет!