Мне нужно очистить страницу, где:
Кнопки в каждой строке кажутся неразличимыми, поэтому путь к каждой кнопке следующий: //div[@class="btn generic-btn"]
Но это означает, что каждый раз, когда я нажимаю кнопку, я получаю данные только для первой строки. Он не рекурсивно проходит по строкам.
Есть идеи, как к этому подойти? Мне нужно нажимать на каждую кнопку, пока я работаю вниз по странице, но Octoparse, похоже, не хочет перебирать их и просто продолжает нажимать первую кнопку.
Вот страница, если она вам полезна (загрузка занимает 20 секунд, затем нажмите первую синюю кнопку) https://agent-counsellor-ukhub.britishcouncil.org/gal
заранее спасибо Дэн
Больше никаких http-запросов при нажатии кнопки для правильного отображения результатов, что означает, что данные были загружены до нажатия.
Ожидаемые данные, вероятно, находятся в этом файле: https://agent-counsellor-ukhub.britishcouncil.org/Content/AgentData/agents_2606202402.txt.gz
Спасибо! Хотя это не дало прямого ответа на мой вопрос, это именно те данные, которые мне были нужны. Где вы их нашли, позвольте спросить?
Нажмите F12, чтобы открыть инструменты разработчика, и перейдите на вкладку «Сеть». Затем откройте URL-адрес, будут отображены все запросы, включая запрос вышеуказанного файла. Кстати, вы могли бы принять мой ответ, спасибо.
создайте минимальный воспроизводимый пример.