Загрузите данные с Yahoo! Финансы
Привет, я недавно занялся проектом по анализу биткойнов, и мне нужно загрузить финансовые данные с Yahoo! Финансы через Python. Я попробовал fix_yahoo_finance и pandas datareader, но, похоже, на веб-сайте есть ошибка при загрузке файлов. Он всегда пропускает несколько дней. Поэтому я решил использовать красивый суп, код такой:
import requests
import time
import pandas as pd
from bs4 import BeautifulSoup
def time_convert(dt):
time.strptime(dt,'%Y-%m-%d %H:%M:%S')
s = time.mktime(time.strptime(dt,'%Y-%m-%d %H:%M:%S'))
return str(int(s))
s = requests.Session()
start = time_convert("2016-02-15 00:00:00")
end = time_convert("2018-02-15 00:00:00")
r = s.get("https://uk.finance.yahoo.com/quote/BTC-USD/history?period1 = "+start+"&period2 = "+end+"&interval=1d&filter=history&frequency=1d"
soup = BeautifulSoup(r.text, 'lxml')
tables = soup.select('table')
df_list = []
for table in tables:
df_list.append(pd.concat(pd.read_html(table.prettify())))
df = pd.concat(df_list)
df.to_excel("E:\PythonData\price_"+'.xlsx')
Он работает, но данные не полные, потому что веб-сайт загружает данные, когда ваша мышь прокручивается до конца страницы, но коды этого не делают. Как я могу это исправить?
Ответы 2
У Yahoo был финансовый API, с тех пор они его закрыли, но есть обходной путь.
Раньше я успешно использовал это, возможно, вы захотите взглянуть на него.
запустите сценарий установки, как и для любой другой библиотеки python, импортируйте его и используйте функцию load_yahoo_quote, тикер - это некоторая строка, в вашем случае, вероятно, «BTC-USD», beginindate и enddate не требуют пояснений.
Сработало, функция называется load_yahoo_quote. Но загруженные данные представляют собой серию списков, вы можете мне сказать, как перенести их в фрейм данных? Большое спасибо!
idk, что вы хотите, но Google - ваш лучший друг здесь, если вам просто нужен файл excel, csv работает достаточно хорошо stackoverflow.com/questions/14037540/…
на самом деле это список строк, и каждая строка представляет собой строку со всеми данными, включая цены и даты, разделенные ",". Интересно, есть ли способ передать данные в фрейм данных ....
Вероятно, вы можете просто записать их в виде строк в файл (something.csv), а затем вы можете легко импортировать его практически в любую программу базы данных (даже в Excel).
Вы пробовали использовать Yahoo Financials? Он действительно хорошо построен и не отбрасывает веб-страницы. Он хеширует нужные данные из объекта ["context"] ["dispatcher"] ["store"]. Он довольно быстрый и действительно хорошо собран.
$ pip install yahoofinancials
Примеры использования:
from yahoofinancials import YahooFinancials
tech_stocks = ['AAPL', 'MSFT', 'INTC']
bank_stocks = ['WFC', 'BAC', 'C']
yahoo_financials_tech = YahooFinancials(tech_stocks)
yahoo_financials_banks = YahooFinancials(bank_stocks)
tech_cash_flow_data_an = yahoo_financials_tech.get_financial_stmts('annual', 'cash')
bank_cash_flow_data_an = yahoo_financials_banks.get_financial_stmts('annual', 'cash')
banks_net_ebit = yahoo_financials_banks.get_ebit()
tech_stock_price_data = tech_cash_flow_data.get_stock_price_data()
daily_bank_stock_prices = yahoo_financials_banks.get_historical_stock_data('2008-09-15', '2017-09-15', 'daily')
Пример вывода:
yahoo_financials = YahooFinancials('WFC')
print(yahoo_financials.get_historical_stock_data("2017-09-10", "2017-10-10", "monthly"))
возвращается
{
"WFC": {
"prices": [
{
"volume": 260271600,
"formatted_date": "2017-09-30",
"high": 55.77000045776367,
"adjclose": 54.91999816894531,
"low": 52.84000015258789,
"date": 1506830400,
"close": 54.91999816894531,
"open": 55.15999984741211
}
],
"eventsData": [],
"firstTradeDate": {
"date": 76233600,
"formatted_date": "1972-06-01"
},
"isPending": false,
"timeZone": {
"gmtOffset": -14400
},
"id": "1mo15050196001507611600"
}
}
Спасибо прежде всего. Я скачал этот пакет, но не понимаю, как вызывать его функции. Вы можете привести какой-нибудь пример?