Я пытаюсь изолировать первую строку в таблице с помощью python и bs4. В первой строке я хотел бы извлечь данные и записать их в файл csv с указанием времени и даты.
import bs4
from urllib.request import urlopen as u_req
from bs4 import BeautifulSoup as soup
import requests
import csv
my_url = 'http://mis.ercot.com/misapp/GetReports.do?reportTypeId=11485&reportTitle=LMPs%20by%20Electrical%20Bus&showHTMLView=&mimicKey/'
#opening up connection, grabbing the page
uClient = u_req(my_url)
page_html = uClient.read()
uClient.close()
page_soup = soup(page_html, "html.parser")
#find rows in ercot 5 min historical data
ercot_row_saved = ""
for record in page_soup.findAll('tr'):
print(record.text)
Новая ссылка загружается на сайт каждые пять минут, в конечном итоге я бы хотел, чтобы программа запускалась каждые пять минут для сбора данных в файле csv. приведенный выше код дает мне доступ ко всем данным в текстовом файле. Любая помощь будет оценена по достоинству.
Таким образом, csv-ссылка указывает на цену одного мегаватта в любом электрическом автобусе в Техасе. Цены обновляются каждые пять минут, и каждый раз, когда они обновляются, они сохраняются и загружаются на указанный выше сайт. Я пытаюсь написать программу, которая будет извлекать первую ссылку csv каждые пять минут. Поскольку сайт обновляется каждые 5 минут, будут извлечены новые 5-минутные данные. Программа извлечет ссылку csv и сохранит ее на моем жестком диске. Очистите данные и снова запустите. На самом деле я не хочу, чтобы на все это были даны ответы, просто несколько предложений или толчок в правильном направлении.
Кажется, что URL-адрес в примере не работает. Это в прямом эфире?
Я упрощаю его, чтобы найти первую ссылку на странице с xpath:
import requests
from lxml import etree
from io import StringIO
r = requests.get('http://mis.ercot.com/misapp/GetReports.do?reportTypeId=11485&reportTitle=LMPs%20by%20Electrical%20Bus&showHTMLView=&mimicKey/')
htmlparser = etree.HTMLParser()
tree = etree.parse(StringIO(r.text), htmlparser)
tree.xpath("//a/@href")[0]
Затем проверьте Скачивание и разархивирование файла .zip без записи на диск
Привет, добро пожаловать на переполнение стека. Объясните свой вопрос поподробнее.