Захват ссылок из всплывающего окна Google Maps
Я пытаюсь получить ссылки со встроенной карты Google на карте цепочки поставок на здесь, чтобы очистить таблицу по ссылкам во всплывающих окнах, но я изо всех сил пытаюсь их найти. Кто-нибудь знает простой способ вытащить эти ссылки с этой страницы?
Пример этих ссылок из всплывающих окон:
https://www.musimmas.com/report/mikie-oleo-nabati-industri-bekasi-west-java-july-september-2020/
https://www.musimmas.com/report/mikie-oleo-nabati-industri-bekasi-west-java-april-june-2020/
Затем я хотел бы использовать bs4 для преобразования таблиц по этим ссылкам в pandasdataframe и экспортировать их в csv файл.
Эти множественные ссылки появляются во всплывающих окнах на карте на карте цепочки поставок здесь — musimmas.com/sustainability/traceability Поэтому я хочу сначала очистить эти ссылки, а затем таблицы, которые находятся в этих ссылках. Но моя проблема сейчас заключается в том, чтобы сначала попытаться получить эти ссылки с этой встроенной карты Google.
Ответы 1
Данные загружаются в формате JSON путем отправки запроса GET на
https://www.musimmas.com/presence/icof/
Вы можете извлечь данные только с помощью модуля requests, в BeautifulSoup нет необходимости.
import requests
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36",
"referer": "https://www.musimmas.com/sustainability/traceability/",
}
response = requests.get(
"https://www.musimmas.com/presence/icof/", headers=headers,
).json()
# To get all links try the following
for data in response:
if data["reports"]:
reports = data["reports"]
for links in reports:
print(links["link"])
print("-" * 20)
Частичный вывод:
https://www.musimmas.com/report/musim-mastika-oils-fats-johor-malaysia-july-september-2020/
/report/musim-mastika-oils-fats-johor-malaysia-april-june-2020/
/report/musim-mastika-oil-fats-johor-malaysia-january-march-2020/
/report/musim-mastika-oil-fats-johor-malaysia-october-december-2019/
/report/musim-mastika-oil-fats-johor-malaysia-july-september-2019/
--------------------
https://www.musimmas.com/report/musim-mas-pelalawan-riau-july-september-2020/
/report/musim-mas-pelalawan-riau-april-june-2020/
/report/musim-mas-pelalawan-riau-january-march-2020/
/report/musim-mas-pelalawan-riau-october-december-2019/
/report/musim-mas-pelalawan-riau-july-september-2019/
/supply-chain-map/summary-report/musim-mas-pelalawan-riau/period-april-june-2019.html
--------------------
Я не очень понимаю ваш вопрос. Что именно вы хотите поцарапать? вы дали несколько ссылок. Из ссылок вы хотите извлечь
Location,Address..?