Python.exe перестал работать из-за ошибки при запуске jupyter
В настоящее время я пишу сценарий, который извлекает 10000 URL-адресов с веб-сайта, а затем обращается к каждой URL-ссылке для извлечения информации, такой как даты, коды стран и т. д. Программа отлично работает, когда я использую меньшее количество URL-адресов, но когда я повторяю ее для всех 10000 URL-адресов, я получаю сообщение об ошибке "python.exe перестал работать". Есть ли способ предотвратить это? P. S. Я использую для этой программы пакет bs4.
у меня действительно была такая же проблема на прошлой неделе. Это связано с памятью. Если вы просмотрите сообщение об ошибке, вы заметите, что оно содержит «ошибку памяти» как часть вывода. Вставьте полное сообщение об ошибке, чтобы мы могли его просмотреть.
@NielsHenkens Это обычно происходит при запуске скрипта, на полпути ...
Есть ли способ обойти это?
Что, если вы запишете свои данные в файл после каждого x URL и продолжите с новым / пустым списком / dataframe / ..?
По-прежнему возникают те же проблемы.
Это происходит во время работы или при запуске скрипта? Может ошибка / перегрузка памяти?