Как извлечь данные веб-страницы, созданные скриптом с использованием запросов Python
У меня есть этот html-код, который возвращает значение PI
<!DOCTYPE html>
<html>
<body>
<p>This example calls a function which returns the value of PI:</p>
<p id = "demo"></p>
<script>
function myFunction() {
return Math.PI;
}
document.getElementById("demo").innerHTML = myFunction();
</script>
</body>
</html>
Когда я использую python-запросы lib, я получаю только исходный код, как указано выше, но не значения Math.PI.
Я хочу извлечь только значения PI, и как мне это сделать с помощью Python?
Что вы используете для синтаксического анализа HTML?
Я использую Beautifulsoup, но не знаю, как получить данные динамически обрабатываемой функции в javascript.
Укажите строки кода, в которых вы используете requests и BeautifulSoup.
![Безумие обратных вызовов в javascript [JS]](https://i.imgur.com/WsjO6zJb.png)
Ответы 2
Вы можете использовать библиотеку js2py от Петра Дабковского.
Просто используйте синтаксический анализатор или регулярное выражение, чтобы получить нужную функцию, а затем:
#pip install js2py
import js2py
js = """
function myFunction() {
return Math.PI;
}
"""
myFunction = js2py.eval_js(js)
myFunction()
#Returns
3.141592653589793
спасибо, но как мне заставить его работать, если, например. значение PI постоянно обновляется сервером, а не статической функцией. В моем случае этот образец html-кода находится на сервере, и я использую запросы python для извлечения значения (PI), которое обновляется с сервера.
Лол, ты не просил об этом в своем вопросе, чувак. Просто сначала подтвердите этот, а затем измените свой вопрос или создайте еще один для своей проблемы.
Но единственное решение вашей проблемы - постоянно запускать ваш скрипт либо с помощью cronjob, либо с помощью цикла. Это зависит от вашей проблемы. Более того, функция Math.PI в Javascript является константой, поэтому значение PI не изменится. Не могли бы вы предоставить образец реального кода, если это не так, или что-то действительно близкое, иначе мы не сможем вам помочь.
Вам нужно посмотреть на html-код после того, как он был запущен в браузере. В этом случае будет работать безголовый браузер. Их много на выбор, например, activesoup
В этом посте есть информация о выполнении js с использованием python: Выполнение Javascript из Python