Сканирование списка URL-адресов поиска Google с помощью Python
Я хотел бы очистить URL-адрес результата поиска Google с помощью python.
Вот мой код
import requests
from bs4 import BeautifulSoup
def search(keyword):
html = requests.get('https://www.google.co.kr/search?q = {}&num=100&sourceid=chrome&ie=UTF-8'.format(keyword)).text
soup = BeautifulSoup(html, 'html.parser')
result = []
for i in soup.find_all('h3', {'class':'r'}):
result.append(i.find('a', href = True) ['href'][7:])
return result
search('computer')
Тогда я могу получить результат. Первым URL-адресом в списке является wikipedia.com, то есть
'https://en.wikipedia.org/wiki/Computer&sa=U&ved=0ahUKEwixyfu7q5HdAhWR3lQKHUfoDcsQFggTMAA&usg=AOvVaw2nvT-2sO4iJenW_fkyCS3i', '? q = компьютер & num = 100 & ie = UTF-8 & prmd = ivnsbp & tbm = isch & tbo = u & source = univ & sa = X & ved = 0ahUKEwixyfu7q5HdAhWR3lQKHUfoDcsQsAQIHg'
Я хочу получить чистый URL-адрес, который в данном случае будет «https://en.wikipedia.org/wiki/Computer», включая все остальные результаты поиска.
Как я могу изменить свои коды?
Отредактировано: как вы видите изображение ниже, я хочу получить реальный URL-адрес (отмечен желтым), а не беспорядочный и длинный URL-адрес выше.
Ответы 2
Как насчет добавления
.split('&')[0]
в ваш код таким образом, чтобы он стал:
import requests
from bs4 import BeautifulSoup
def search(keyword):
html = requests.get('https://www.google.co.kr/search?q = {}&num=100&sourceid=chrome&ie=UTF-8'.format(keyword)).text
soup = BeautifulSoup(html, 'html.parser')
result = []
for i in soup.find_all('h3', {'class':'r'}):
result.append(i.find('a', href = True) ['href'][7:].split('&')[0])
return result
search('computer')
[РЕДАКТИРОВАТЬ]
Возьмем для примера https://en.wikipedia.org/wiki/Computer:
Благодаря инструментам разработчика Chrome URL-адрес выглядит чистым.
Поскольку он принадлежит <h3 class = "r">, ваш код должен работать нормально и возвращать чистый URL-адрес.
Вместо этого, если вы замените
result.append(i.find('a', href = True) ['href'][7:])
с
print i
то в моем терминале он возвращает следующее для указанной выше ссылки:
/url?q=https://en.wikipedia.org/wiki/Computer&sa=U&ved=0ahUKEwinqcqdypHdAhVhKH0KHVWIBEUQFggfMAU&usg=AOvVaw1pduIWw_TSCJUxtP9W_kHJ
вы можете видеть, что /url?q= добавлен, а &sa=U&ved=0ahUKEwinqcqdypHdAhVhKH0KHVWIBEUQFggfMAU&usg=AOvVaw1pduIWw_TSCJUxtP9W_kHJ
добавлен.
Посмотрев также и на другие ссылки, я заметил, что добавленная часть всегда выглядит как /url?q=, а добавленная часть всегда начинается с &.
Поэтому я считаю, что мой первоначальный ответ должен сработать:
result.append(i.find('a', href = True) ['href'][7:].split('&')[0])
[7:] удаляет добавленную строку, а split('&')[0] - добавленную строку.
@JosephSeungJaeDollar Верно, мне нужен универсальный метод, применяемый к каждому собранному URL.
@JosephSeungJaeDollar Я почти уверен, что он не выйдет из строя, ссылка останется такой, как есть, если она не содержит амперсанда.
Ссылки @WookeunLee + обычно делают «нечистыми» & и ?, поэтому вы можете просто продолжать добавлять соответствующие условия (например, .split('?')[0]), пока не получите желаемый результат. Мои результаты выглядят хорошо с одним разделением амперсанда.
@ wookiekim Я изменил свой вопрос, проверьте его еще раз.
@WookeunLee отредактировал мой ответ, хотя код остался прежним. Я по-прежнему считаю, что он должен работать, но вы все равно можете отказаться от него. ++ некоторые нерелевантные ссылки могут попасть в результаты, но вы можете отфильтровать их позже.
Я нашел решение.
Данная модификация в функции поиска работает.
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36'}
html = requests.get('https://www.google.co.kr/search?q = {}&num=100&sourceid=chrome&ie=UTF-8'.format(keyword), headers = headers).text
Это возможно только для одной ссылки, от которой он отказался. Произойдет сбой, если есть ссылка, не содержащая амперсанда.