Можно ли использовать IP-адрес виртуальной машины / машины вместо прокси-сервера для Scrapy
У меня есть сканер Scrapy, и я хочу повернуть IP-адрес, чтобы мое приложение не было заблокировано. Я устанавливаю IP в scrapy с помощью request.meta['proxy'] = 'http://51.161.82.60:80', но это IP-адрес виртуальной машины. Мой вопрос: можно ли использовать виртуальную машину или IP-адрес машины для scrapy или мне нужен прокси-сервер?
В настоящее время я этим занимаюсь. Это не вызывает никаких ошибок, но когда я получаю ответ от http://checkip.dyndns.org, это мой собственный IP-адрес, а не обновленный IP-адрес, который я установил в мета. Вот почему я хочу знать, нужен ли мне прокси-сервер.
Ответы 2
Однозначно вам нужен прокси-сервер. метаданные - это только поле в HTTP-запросе. сторона сервера по-прежнему знает общедоступный IP-адрес, который действительно подключается с уровня соединения TCP.
Причина, по которой вы получаете собственный IP-адрес, заключается в том, что ваша виртуальная машина «прозрачна». Вам нужно будет перехватить ваш запрос на виртуальной машине, удалить заголовки отслеживания, такие как X-Forwarded-For, и ваш сервер должен знать, кому отвечать, когда он получит ответ от просматриваемого вами веб-сайта.
Однако самое простое решение - установить прокси-сервис на вашей виртуальной машине, например Кальмар, а затем настроить forwarded_for off, чтобы сделать его анонимным прокси-сервером. Могут быть другие параметры запроса, которые нужно настроить, чтобы сделать его действительно анонимным. Не забудьте защитить IP-адреса из белого списка с помощью http_access allow specialIP и acl specialIP src x.x.x.x в /etc/squid/squid.conf. Порт Squid по умолчанию - 3128.