Эквивалентное регулярное выражение для извлечения ссылки с помощью Beautiful Soup
Я пытаюсь случайным образом исследовать Webscraping через python. У меня есть ссылка на страницу результатов поиска Google. Я использовал url lib для извлечения всех ссылок, присутствующих на СТРАНИЦЕ РЕЗУЛЬТАТОВ ПОИСКА GOOGLE. Из этой проанализированной страницы Google я извлекаю все возможные теги привязки с помощью библиотеки Beautiful Soup. Теперь у меня много ссылок. Среди них я хочу выбрать выбранные ссылки, которые соответствуют моему требуемому шаблону. Пример Я хочу выбрать все такие строки: Это одна из многих ссылок, которые были проанализированы. Но я хочу сузить результат таких ссылок
/url?q=http://avadl.uploadt.com/DL4/Film/&sa=U&ved=0ahUKEwiYwOKe1r7hAhWUf30KHcHUBkMQFggUMAA&usg=AOvVaw39cIJ0T8_CAQMY8EkSWZJl
И среди таких пикировок мне нужно извлечь только эту часть
http://avadl.uploadt.com/DL4/Film/
Я пробовал это и это
possible_websites.append(re.findall('/url?q=(\S+)',links))
possible_websites.append(re.findall('/url?q=(\S+^&)',links))
Вот мой код
soup = BeautifulSoup(webpage, 'html.parser')
tags = soup('a')
possible_websites=[]
for tag in tags:
links = tag.get('href', None)
possible_websites.append(re.findall('/url?q=(\S+)',links))
Я хочу использовать регулярное выражение для извлечения необходимой текстовой части. Я использую модуль «Красивый суп» для извлечения данных HTML. Короче говоря, это большая часть проблемы с регулярными выражениями.
Как получить avadl.uploadt.com/DL4/Фильм из /url?q=avadl.uploadt.com/DL4/Фильм/… через регулярное выражение
Пожалуйста, прочитайте вопрос более внимательно, чтобы вы могли понять
Возможный дубликат Параметры запроса URL для диктовки python
Ответы 2
Это не регулярное выражение, но я бы использовал urllib:
from urllib.parse import parse_qs, urlparse
url = urlparse('/url?q=http://avadl.uploadt.com/DL4/Film/&sa=U&ved=0ahUKEwiYwOKe1r7hAhWUf30KHcHUBkMQFggUMAA&usg=AOvVaw39cIJ0T8_CAQMY8EkSWZJl')
qs = parse_qs(url.query)
print(qs['q'][0])
Вы наверное не читали вопрос. Я уже разобрал свою ссылку. Вот как я получил эту ссылку
@EXODIA: вы проанализировали свой HTML-код, чтобы получить URL-адрес. Это анализирует URL-адрес, чтобы получить значение параметра q. Попробуйте запустить его.
@QHarr: я неправильно вставил, извините. Должно быть qs['q'], а не qs.q.
Если вам действительно нужно регулярное выражение, используйте q=(.*/)&, иначе используйте Ry- ответ, т.е.:
import re
u = "/url?q=http://avadl.uploadt.com/DL4/Film/&sa=U&ved=0ahUKEwiYwOKe1r7hAhWUf30KHcHUBkMQFggUMAA&usg=AOvVaw39cIJ0T8_CAQMY8EkSWZJl"
m = re.findall("q=(.*/)&", u)
if m:
print(m[0])
# http://avadl.uploadt.com/DL4/Film/
Да, это работает, и я понимаю, как, но не могли бы вы рассказать, что не так с Possible_websites.append(re.findall('/url?q=(\S+^&)',links))
или возможных_веб-сайтов.append(re.findall('/url?q=(\S+)',ссылки))
? — это специальный символ в регулярном выражении. Вам нужно избежать его, если вы хотите буквальный вопросительный знак, например: \?. Также re.findall принимает в качестве второго аргумента одну строку, а не список строк.
Какой у Вас вопрос?