Очистка данных Instagram с помощью запросов и BS (НОВИНКА)
во-первых, я хочу, чтобы не было сообщений о том, как сделать это по-старому, используя метатеги, но по какой-то причине метатеги больше не будут работать, и я видел, как использование json может как-то работать, но я не очень хорошо знаком с json. Вроде вообще. Я как бы изменил то, что мне нужно было для этого сделать, но все равно ничего. Цель состоит в том, чтобы просто получить количество подписчиков учетной записи (пользователя).
def follower_amt(self, user):
time.sleep(6)
# old method deprecated
# now requires using json file
html = requests.get(f'https://www.instagram.com/{user}/?__a=1')
soup = BeautifulSoup(html.text, 'lxml')
data = soup.findAll('span', {'class':'g47SY'})
text = data[0].get('content').split()
user = '%s %s %s' % (text[-3], text[-2], text[-1])
followers = text[0]
Любая помощь приветствуется!
@QHarr Instagram давно устарел от своего API, поэтому мы должны прибегнуть к этому. Пример URL-адреса — просто instagram.com/brandonator24, а добавленный «?__a=1» взят из того, что я читал об использовании json, с которым я опять-таки не знаком. Он должен возвращать строку байтов с количеством подписчиков, однако это то, что у меня было, но это может измениться.
Ответы 2
(ПРИМЕЧАНИЕ: не тестировалось, так как допускается соскребание сомнений)
Я вижу это значение в исходном коде страницы в теге script, что означает, что вы можете использовать регулярное выражение следующим образом:
import requests, re
r = requests.get('https://www.instagram.com/brandonator24/', headers = {'User-Agent':'Mozilla/5.0').text
print(int(re.search('"edge_follow":{"count":(\d+)}', r).groups(0)[0]))
Это, конечно, широкое предположение, что другие страницы имеют аналогичную настройку.
Значение регулярного выражения:
Он говорит, что ожидал строку или байты, подобные объекту? Также я вижу, что регулярное выражение работает, но хотел бы заставить его работать, используя красивый суп, если это возможно. Я дошел до этого момента, который, я думаю, должен работать, но не
soup = BeautifulSoup(r.content, 'html.parser')stuff = soup.find_all('meta', name='description')Не следует говорить, что нужны байты, такие как объект, поскольку запрос относится к строковому URL-адресу, а из объекта ответа я беру .text, который является строкой. Попробуйте добавить заголовок, как в редактировании.
Хорошо, добавление заголовков сработало! Можете ли вы кратко объяснить, что такое заголовки и как запрос работал без них раньше, а не до недавнего времени?
Я предполагаю, что сервер теперь настроен на поиск определенных заголовков в полученных запросах. Это довольно распространено. Читайте о заголовках: developer.mozilla.org/en-US/docs/Web/HTTP/Headers
Согласно ApiUrl, который вы дали.
Ты можешь получить то, что хочешь, верно?
import requests
headers = {
'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36'}
res = requests.get(f'https://www.instagram.com/{user}/?__a=1', headers=headers)
print(res.json()['graphql']['user']['username'])
print(res.json()['graphql']['user']['edge_followed_by']['count'])
Я запустил это, и это дало мне JSONDecodeError: Expecting value: line 1 column 1 (char 0) И у меня действительно не было опыта работы с json до сегодняшнего дня, поэтому я потерялся. Я хотел бы использовать красивый суп, если это возможно, как раньше.
Но моя операция в порядке, вы можете дать мне UserID?
да это брендонатор24
Вероятно, вас заблокировал Instagram. Существуют API-интерфейсы для парсинга, которые используют прокси для отправки запросов и предотвращения блокировки. Вот один из них, в котором есть хороший учебник по парсингу Instagram: scrapingfish.com/blog/scraping-instagram.
Может ли эта информация не поступать из API? Кроме того, можете ли вы привести пример полного URL-адреса и ожидаемого возвращаемого значения