Сайт эмуляции Selenium, с которого вы пришли
Когда я открываю ссылку по ссылке https://kinoxor.pro/650-mir-druzhba-zhvachka-2024-05-06-19-54.html -- У меня ошибка - Internal Server Error
Но когда я вставляю ссылку в поисковик https://yandex.ru/search/?text=https%3A%2F%2Fkinoxor.pro%2F650-mir-druzhba-zhvachka-2024-05-06-19 -54.html&search_source=dzen_desktop_safe&lr=213
Могу открыть сайт (первый сайт в результатах)
Я открываю сайт с помощью селена
from selenium import webdriver
driver = webdriver.Chrome()
url = "https://kinoxor.pro/650-mir-druzhba-zhvachka-2024-05-06-19-54.html"
driver.get(url)
Я думаю, что мне следует подражать сайту, с которого я пришел (добавить несколько заголовков/метаинформации) Я имею в виду, что мне следует подражать тому, что мой предыдущий сайт был yandex.ru (я не хочу особо переходить на yandex)
Возможно ли это в Python?
Ответы 1
Я думаю, вместо этого можно попробовать селеновую проволоку.
https://pypi.org/project/selenium-wire/#intercepting-requests-and-responses
Установите его, используя pip install selenium-wire
Вы могли бы попробовать что-то вроде этого,
from seleniumwire import webdriver
driver = webdriver.Chrome()
def interceptor(request):
del request.headers['Referer']
request.headers['Referer'] = 'https://yandex.ru/'
driver.request_interceptor = interceptor
url = "https://kinoxor.pro/650-mir-druzhba-zhvachka-2024-05-06-19-54.html"
driver.get(url)
Если вы просто хотите использовать селен, вы можете попробовать это:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_options = Options()
referer = "https://www.yandex.ru"
chrome_options.add_argument(f"--referer = {referer}")
driver = webdriver.Chrome(options=chrome_options)
url = "https://kinoxor.pro/650-mir-druzhba-zhvachka-2024-05-06-19-54.html"
driver.get(url)
Однако это может не сработать, поскольку я не думаю, что в селене нет встроенной подмены реферера.
Спасибо, я ищу чистый раствор селена.
@mascai взгляни на мой ответ, я обновил его
Спасибо за обновление, но оно не работает
это потому, что в селене нет подмены реферера, прочитайте это stackoverflow.com/questions/20732463/…
Если вы нажмете на URL-адрес Яндекса, вы обнаружите, что он разрешается по другому URL-адресу:
https://10mot.kinoxor.pro/650-mir-druzhba-zhvachka-2024-05-12-20-31.html, а не по вашему исходному URL-адресу. Думаю, добавление10motв URL может сработать. Поскольку селен использует браузер, я не думаю, что вам нужно добавлять дополнительные заголовки.