Данные не получены Web.DataReader Panda

Скрапинг из Википедии возвращает «MMM/n» в файл рассола.

Добавлять

ticker = ticker[:-1]

к

for row in table.findAll('tr')[1:]: 
    ticker = row.findAll('td')[0].text
    ticker = ticker[:-1]
    tickers.append(ticker)

и повторно сгенерируйте файл рассола.

Это должно оставить тикеры как «МММ», а не «МММ/n».

Существуют различные устаревшие участки кода. Решение, которое я нашел, требовало установки fix_yahoo_finance и yfinance с помощью:

pip install yfinance
pip install fix_yahoo_finance

Кажется, это сработало для меня, полный код ниже.

import bs4 as bs
import datetime as dt
import os
from pandas_datareader import data as pdr
import pickle
import requests
import fix_yahoo_finance as yf

yf.pdr_override()

def save_sp500_tickers():
    resp = requests.get('http://en.wikipedia.org/wiki/List_of_S%26P_500_companies')
    soup = bs.BeautifulSoup(resp.text, 'lxml')
    table = soup.find('table', {'class': 'wikitable sortable'})
    tickers = []
    for row in table.findAll('tr')[1:]:
        ticker = row.findAll('td')[0].text.replace('.', '-')
        ticker = ticker[:-1]
        tickers.append(ticker)
    with open("sp500tickers.pickle", "wb") as f:
        pickle.dump(tickers, f)
    return tickers


# save_sp500_tickers()
def get_data_from_yahoo(reload_sp500=False):
    if reload_sp500:
        tickers = save_sp500_tickers()
    else:
        with open("sp500tickers.pickle", "rb") as f:
            tickers = pickle.load(f)
    if not os.path.exists('stock_dfs'):
        os.makedirs('stock_dfs')
    start = dt.datetime(2019, 6, 8)
    end = dt.datetime.now()
    for ticker in tickers:
        print(ticker)
        if not os.path.exists('stock_dfs/{}.csv'.format(ticker)):
            df = pdr.get_data_yahoo(ticker, start, end)
            df.reset_index(inplace=True)
            df.set_index("Date", inplace=True)
            df.to_csv('stock_dfs/{}.csv'.format(ticker))
        else:
            print('Already have {}'.format(ticker))


save_sp500_tickers()
get_data_from_yahoo()

Вам нужно будет рассмотреть компании, которые больше не существуют, временную шкалу, которая не работает с вашими начальными и конечными параметрами или не распознается модулем Yahoo. Это хорошо сработало для меня

failed = []
passed = []
data = pd.DataFrame()
for x in s&p_symbols:
    try:
    data[x] = web.DataReader(x, data_source= "yahoo", start = "2019-1-1")["Adj Close"]
    passed.append(x)
except (IOError, KeyError):
    msg = 'Failed to read symbol: {0!r}, replacing with NaN.'
    failed.append(x)

Если та же ошибка возникает даже после того, как вы отредактировали свой код на основе ответа Люка Маккатчеона, вам просто нужно запустить ту же функцию get_data_from_yahoo() через определенное время. Я считаю, что это происходит потому, что Yahoo Finance ограничивает количество запросов, которые вы можете отправить.

Я использую этот код для его решения:

failed=[]
passed=[]

def collect_data(data):
  mydata = pd.DataFrame()
  for t in data:
    try:
      mydata[t] = wb.DataReader(t,data_source='yahoo',start='01-10-2019')['Adj Close']
      passed.append(t)
    except (IOError, KeyError):
      msg= 'NaN'
      failed.append(t)

  print(mydata)
  return mydata