Pandas - зацикливание и запись в несколько строк

Прямо сейчас цикл в моем коде перезаписывает ту же строку. Как перейти к следующему ряду?

желаемый результат: для каждой ссылки, введенной пользователем, данные будут записаны в уникальную строку

from bs4 import BeautifulSoup
import urllib.request
import pandas as pd


def get_bullets(urls):
    urls = urls.split(",")
    for url in urls:
          page = urllib.request.urlopen(url)
          soup = BeautifulSoup(page,'lxml')
          sku = url.split('/')[5]
          content = soup.find('div', class_='js-productHighlights product-highlights c28 fs14 js-close')
          bullets = content.find_all('li', class_='top-section-list-item')        
          bullets_text = '\n'.join([ bullet.text for bullet in bullets ])

          temp_df = pd.DataFrame([[sku, bullets_text]], columns = ['sku','bullets'])
          temp_df.to_csv('book2.csv', index=False)

get_bullets(input('enter urls'))

пользовательский ввод: https://www.bhphotovideo.com/c/product/1473086-REG/canon_3453c001_eos_rebel_sl3_dslr.html,https://www.bhphotovideo.com/c/product/1346734-REG/canon_eos_6d_mark_ii.html

Спасибо!

python pandas for-loop

10.04.2019 19:09

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы перезаписываете данные в csv каждого цикла. Возможно, сохранить результат каждого цикла в списке, а затем объединить результаты перед записью на диск?

def get_bullets(urls):
    urls = urls.split(",")
    dfs = []
    for url in urls:
        # do loop stuff
        temp_df = ...
        dfs.append(temp_df)
    df = pd.concat(dfs, ignore_index=True)
    df.to_csv('book2.csv', index=False)

мне трудно объединить результат, не могли бы вы написать более подробный ответ - я действительно ценю это

— 10.04.2019 22:10

Больше особо нечего сказать. Concat работает так: dfA = pd.DataFrame({'a': [1,2,3]}); dfB = pd.DataFrame({'a': [4,5,6]}); dfs = [dfA, dfB]; df = pd.concat(dfs). Попробуйте этот простой пример

— 10.04.2019 22:11

вот документы панд: pandas.pydata.org/pandas-docs/stable/reference/api/…

— 10.04.2019 22:13

10.04.2019 19:13