Я пытаюсь очистить имена и ссылки университетов с этого веб-сайта: https://www.topuniversities.com/university-rankings/world-university-rankings/2021, и столкнулся с проблемой при работе с нумерацией страниц, так как href кнопки, которая ведет на следующую страницу, имеет вид javascript:void(0), поэтому я не мог перейти на следующую страницу с помощью scrapy.Request() или response.follow(), есть ли способ справиться с нумерацией страниц, как это?
URL-адрес этого веб-сайта не содержит параметров, и если нажать кнопку следующей страницы, URL-адрес останется неизменным, поэтому я не мог обрабатывать разбиение на страницы, изменяя URL-адрес.
Фрагмент кода ниже может получить только названия и ссылки университетов на первой и второй странице:
import scrapy
from scrapy_splash import SplashRequest
class UniSpider(scrapy.Spider):
name = 'uni'
allowed_domains = ['www.topuniversities.com']
script = """
function main(splash, args)
splash:set_user_agent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36")
splash.private_mode_enabled = false
assert(splash:go(args.url))
assert(splash:wait(3))
return {
html = splash:html()
}
end
"""
next_page = """
function main(splash, args)
splash:set_user_agent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36")
splash.private_mode_enabled = false
assert(splash:go(args.url))
assert(splash:wait(3))
local btn = assert(splash:jsfunc([[
function(){
document.querySelector("#alt-style-pagination a.page-link.next").click()
}
]]))
assert(splash:wait(2))
btn()
splash:set_viewport_full()
assert(splash:wait(3))
return {
html = splash:html()
}
end
"""
def start_requests(self):
yield SplashRequest(
url = "https://www.topuniversities.com/university-rankings/world-university-rankings/2021",
callback=self.parse, endpoint = "execute",
args = {"lua_source": self.script})
def parse(self, response):
for uni in response.css("a.uni-link"):
uni_link = response.urljoin(uni.css("::attr(href)").get())
yield {
"name": uni.css("::text").get(),
"link": uni_link
}
yield SplashRequest(
url=response.url,
callback=self.parse, endpoint = "execute",
args = {"lua_source": self.next_page}
)
Вам не нужен всплеск для этого простого веб-сайта.
Вместо этого попробуйте загрузить следующую ссылку:
https://www.topuniversities.com/sites/default/files/qs-rankings-data/en/2057712.txt
Это все университеты, веб-сайт загружает этот файл /json только один раз, а затем показывает информацию с разбиением на страницы.
Вот короткий код (без использования scrapy):
from requests import get
from json import loads, dumps
from lxml.html import fromstring
url = "https://www.topuniversities.com/sites/default/files/qs-rankings-data/en/2057712.txt"
html = get(url, stream=True)
## another approach for loading json
# jdata = loads(html.content.decode())
jdata = html.json()
for x in jdata['data']:
core_id = x['core_id']
country = x['country']
city = x['city']
guide = x['guide']
nid = x['nid']
title = x['title']
logo = x['logo']
score = x['score']
rank_display = x['rank_display']
region = x['region']
stars = x['stars']
recm = x['recm']
dagger = x['dagger']
## convert title to text
soup = fromstring(title)
title = soup.xpath(".//a/text()")[0]
print ( title )
Приведенный выше код печатает «название» отдельных университетов, попробуйте сохранить его в файле CSV/Excel вместе с другими доступными столбцами. Результат выглядит так:
Massachusetts Institute of Technology (MIT)
Stanford University
Harvard University
California Institute of Technology (Caltech)
University of Oxford
ETH Zurich - Swiss Federal Institute of Technology
University of Cambridge
Imperial College London
Предоставьте достаточно кода, чтобы другие могли лучше понять или воспроизвести проблему.