Как извлечь данные с защищенного веб-сайта, такого как Bloomberg
Я пытаюсь очистить элемент по этому URL-адресу:
"https://www.bloomberg.com/news/articles/2019-05-30/tesla-dealt-another-blow-as-barclays-sees-it-as-niche-carmaker"
Я хотел получить только название и дату публикации, любой пример кода, который вы можете мне дать, даже всплеск и т. д.
пока что я пробовал это
def parse(self, response):
yield scrapy.Request('https://www.bloomberg.com/news/articles/2019-05-30/tesla-dealt-another-blow-as-barclays-sees-it-as-niche-carmaker -H x-crawlera-use-https:1',
headers = {'X-Crawlera-Session': create,
'X-Crawlera-Timeout': 40000,
'X-Crawlera-Max-Retries': 5,
'X-Crawlera-Cookies': disable,
'X-Crawlera-Session': self.session_id
},
callback=self.parse_sub,
)
def parse_sub(self, response):
response.xpath("//h1[@class = 'lede-text-v2__hed']").extract_first()
response.xpath("//meta[@property = 'og:title']/@content").extract_first()
response.xpath("//time[@class = 'article-timestamp']/@datetime").extract_first()
print(response.text)
Я тоже пользуюсь сканером, но он продолжает определять меня как робота
да, я буду @DebanjanB
Итак, вы хотите извлечь Tesla нанесла еще один удар, когда Barclays назвал ее «нишевым автопроизводителем» и 30 мая 2019 г., 17:26 GMT+5:30 Обновлено 30 мая 2019 г., 19:21 GMT+5:30 оба... не так ли?
Да, ты прав @DebanjanB
@DebanjanB Мне просто нужно только 30 мая 2019 г., 17:26 по Гринвичу + 5:30 «не обновлено», спасибо
попробуйте библиотеку python, сканирование веб-сайта с помощью http-запросов не будет работать github.com/msitt/blpapi-python. Вот для чего нужны API
Ответы 1
Используя только селен для извлечения заглавие, т.е. Tesla нанесла еще один удар, когда Barclays назвал ее «нишевым автопроизводителем», и дата публикации, т.е. 30 мая 2019 г., 17:26 GMT+5:30, вы должны вызвать WebDriverWait для visibility_of_element_located(), и вы можете использовать следующее решение:
Кодовый блок
from selenium import webdriver driver = webdriver.Firefox(executable_path=r'C:\Utility\BrowserDrivers\geckodriver.exe') driver.get('https://www.bloomberg.com/news/articles/2019-05-30/tesla-dealt-another-blow-as-barclays-sees-it-as-niche-carmaker') print(WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.XPATH, "//div[text()='markets']//following:: h1[1]"))).get_attribute("innerHTML")) print(WebDriverWait(driver, 10).until(EC.visibility_of_element_located((By.XPATH, "//div[text()='markets']//following:: h1[1]//following::div[@class='lede-text-v2__times']/time[@itemprop='datePublished']"))).get_attribute("innerHTML")) driver.quit()Выход консоли:
Tesla Dealt Another Blow When Barclays Calls It a ‘Niche Carmaker’ May 30, 2019, 5:26 PM GMT+5:30Примечание: Вы должны добавить следующие импорты:
from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC
Я пробую ваш код, но у меня ошибка «WebDriverWait» не определена
Привет, @debanjanB все еще имеет «имя ошибки« драйвер »не определено», я не знаю, почему
@ChristianRead Проверьте обновление ответа и сообщите мне статус
Привет @debanjanB, на самом деле я пробую это на скрап-шелле, я не знаю, сработает ли оно там. Я попытался поместить ваш код в «def parse (self, response):» без ответа на печать. и если я не положу его внутрь, у меня возникнет ошибка.
@ChristianRead Я не думаю, что вы можете выполнить блок кода в оболочке scrapy. Это чистый Селен с Питон
Где я могу протестировать ваш код? Извините, я действительно новичок в селене
Любая оболочка Python после установки пакетов Selenium.
Я не знаю, почему я получаю эту ошибку «Сообщение: исполняемый файл geckodriver должен находиться в PATH». Я добавил весь импорт, который вы предложили
Попробовав поработать над вашим кодом, я запустил его, спасибо, @debanjanB.
Не могли бы вы принять ответ, используя только Селен?