Curl Scraper работает на локальном хосте, но не на онлайн-серверах
Я пытаюсь очистить https://www.gst.gov.in
echo $html = file_get_contents("https://www.gst.gov.in");
Этот код отлично работает на локальном хосте, но не на сервере. Я пробовал использовать разные подачи с различными методами завивки с настраиваемыми заголовками и ссылками, но не повезло. На сервере я получаю ошибку тайм-аута соединения.
Если я использую любой другой URL-адрес https или другой сайт, он работает нормально. проблема в том, что с этим конкретным URL-адресом может кто-нибудь помочь в очистке этой страницы, также если кто-нибудь может сказать, блокирует ли удаленный сервер запрос, а затем как это обойти.
Что вы получили, когда пинговали www.gst.gov.in?
@IdontDownVote, вероятно, это географическая блокировка, они блокируют все IP, кроме индийских, ваш IP не индийский
Ответы 2
Это правительственный веб-сайт - он, скорее всего, блокирует любые IP-адреса из географического региона, который не является местным.
то есть ваш сервер должен находиться в Индии или иметь индийский прокси, поскольку вы пытаетесь загрузить страницу правительства Индии.
почему он истекает по тайм-ауту и не возвращает 403 или другой ответ?
@IdontDownVote - это брандмауэр, который просто отбрасывает все пакеты с неиндийских IP-адресов, его проще настроить и он более устойчив к DDoS-атакам, просто отбрасывая все пакеты, по сравнению с фактическим возвратом любого типа ответа, такого как HTTP-ответ.
да, я думаю, что вы правы, поскольку я пытался получить доступ к веб-сайту с помощью прокси-сервера в Chrome, и он не работает. попробую использовать прокси-метод. - Благодарность
Убедитесь, что он работает, после удаления файлов конфигурации, таких как .htaccess. Если вы используете Html dom, то прячущиеся расширения могут вызвать проблемы (мое мнение). Например, приведенный ниже код вызывает проблемы с простым HTML-домом:
Options +FollowSymLinks -MultiViews
RewriteEngine On
RewriteBase /
RewriteCond %{THE_REQUEST} ^[A-Z]{3,}\s([^.]+)\.php [NC]
RewriteRule ^ %1 [R,L,NC]
RewriteCond %{REQUEST_FILENAME}.php -f
RewriteRule ^ %{REQUEST_URI}.php [L]
я получаю тайм-аут, пытаясь из моего браузера, похоже, что сайт немного нестабильный.