Как показать живые данные JSON на сервере
Я новичок в веб-скрейпинге. Теперь я могу легко очищать данные. Теперь я хочу показать некоторые данные о полетах в реальном времени на моем веб-сайте. Это JSON данные. Как я могу это сделать, мне не нужен учебник, я просто хочу знать, что я должен использовать для этого?
@dcariotti Да. У меня есть скапер, я не понимаю, как очищенные данные в реальном времени должны быть отправлены на веб-сайт. Сайт отображает данные через запрос к URL-адресу, который заканчивается на php. Нужно ли мне post requests на этот URL. В основном, как данные в реальном времени передаются на веб-сайт. Скажем, не мой собственный, но кто-то просит меня отправить данные на их сайт. Спасибо за ваш ответ.
Ответы 1
Есть два разных пути решения вашей проблемы:
- сделать POST-запрос на ваш сайт и сохранить данные
- использовать публикацию/подписку
Реальный ответ: это зависит от вашего веб-сайта, потому что, если вы хотите использовать Point 1., вы должны написать на своем веб-сайте конечную точку для запроса данных формы и сохранения данных в базе данных.
Предположим, вы используете библиотеку запросов для выполнения HTTP-запросов к конечной точке с именем https://example.com/v1/flight_data, и у вас есть веб-приложение Flask на вашем веб-сайте:
# scraper
requests.post("https://example.com/v1/flight_data", data=<dictionary_with_data>)
# webapp
@app.route("v1/flight_data")
def post_flight_data():
data = request.json
# manipulate and save these data
Point 2. можно создать с помощью Redis, подробнее об этом читайте здесь.
Я предлагаю вам использовать Redis, если вы не хотите хранить данные в «обычной» базе данных, такой как Postgres или MySQL, но проверьте на мгновение и удалите их через очень короткое время.
Я получил некоторые детали. Мне нужно очистить его, разместить на своем собственном сервере, а затем другой сайт получит его оттуда. Итак, я предполагаю, что делюсь очищенными данными с Flask? а затем мне создать API или что-то еще, чтобы они могли соскоблить мой сайт?.. Это та часть, которую я не получаю
Нет, разделите его на два проекта: скребок всегда будет активен, верно? Парсер отправляет данные в приложение Flask. Веб-приложение всегда готово к ответу.
Я не понимаю, что вы имеете в виду под "полётными данными на моём сайте". У вас есть какой-либо веб-сервис, внутри которого находится ваш сайт? Вам нужен веб-скрейпер, который автоматически сохраняет данные на вашем сайте?