Python, как заставить вложенный цикл работать с файлами csv с несколькими столбцами?
Я новичок в Python, я хочу, чтобы функция работала, используя данные из файлов CSV с несколькими столбцами, одну строку за одной строкой с некоторой задержкой между каждым запуском.
Это то, чего я хочу достичь:
Чтение из первого CSV-файла в диапазоне (например, от строки 0 до строки 3)
Используйте данные одной строки, чтобы поместить в правый раздел параметров внутри функции некоторую задержку и сделайте то же самое со следующей строкой.
некоторая задержка, затем он переходит к следующему файлу CSV, до последнего файла CSV.
Я попробовал следующий код, но не работает. Следующий код отлично работает с файлом CSV с одним столбцом.
есть 4 параметра, которые я хочу заполнить данными из файла CSV, используя то же имя заголовка столбца, что и имя параметра внутри функции.
образец CSV-файла:
img_path,desc_1 title_1,link_1
site.com/image22.jpg,someTitle,description1,site1.com
site.com/image32.jpg,someTitle,description2,site2.com
site.com/image44.jpg,someTitle,description3,site3.com
from abc.zzz import xyz
path_id_map = [
{'path':'file1.csv', 'id': '12345678'},
{'path':'file2.csv', 'id': '44556677'}
{'path':'file3.csv', 'id': '33377799'}
{'path':'file4.csv', 'id': '66221144'}]
s_id = None
for pair in path_id_map:
with open(pair['path'], 'r') as f:
for i in range(0, 3):
zzz.func1(img_path=f.readline().rstrip(','), title_1=f.readline().rstrip(','),
desc_1=f.readline().rstrip(','), link_1=f.readline().rstrip(','), B_id=pair['id'],
s_id=s_id)
return zzz.func1(img_file=img_path, title_1=title_1, desc_1=desc_1,
link_1=link_1, B_id=B_id, s_id=s_id)
time.sleep(25)
Цените вашу помощь, чтобы заставить его работать.
Ответы 1
- Каждый раз, когда вы звоните
readline(), вы переходите на следующую строку. Поэтому сначала сохраните эту строку в переменной, а затем обработайте ее. - rstrip удаляет символы только с краев строки. Поскольку у вас нет завершающих запятых, использование rstrip в вашем коде не имеет никакого эффекта. Похоже, вы хотели использовать метод split вместо того, чтобы брать разные части, разделенные запятыми.
for pair in path_id_map:
with open(pair['path'], 'r') as f:
next(f) # skip first header line
for _ in range(0, 3):
line = next(f)
img_path, desc_1, title_1, link_1 = map(str.strip, line.split(','))
zzz.func1(img_path=img_path, title_1=title_1, desc_1=desc_1,
link_1=link_1, B_id=pair['id'], s_id=s_id)
Но нет необходимости анализировать CSV-файлы вручную. Вместо этого вы можете использовать встроенный модуль csv , который имеет DictReader , который считывает каждую строку в словарь, где ключами являются заголовки, а значениями являются значения каждого столбца с этим заголовком. Это позволит вам просто распаковать строку в вызов функции:
import csv
for pair in path_id_map:
with open(pair['path'], 'r') as f:
reader = csv.DictReader(f)
for _ in range(0, 3):
line = next(reader)
zzz.func1(B_id=pair['id'], s_id=s_id, **line)
спасибо за ответ, я попробовал оба кода, я получаю ошибку при «возврате» Return outside function если я передвигаю строку возврата (отступ), я получаю unexpected indent
Это потому, что return может быть только в функции... Что вы ожидаете от него вне функции?
спасибо, мой плохой, я попробовал верхний код, теперь я получаю ошибку: FileNotFoundError: [Errno 2] No such file or directory: "'img_path '" поэтому я проверяю, что не так.
Ну, здесь есть несколько проблем. Первая строка — это заголовок, поэтому нам нужно ее пропустить, также кажется, что там есть пробелы. Проверьте исправленный код. Но в любом случае, почему вы не используете второй? Это намного проще и уже автоматически пропускает заголовок...
большое спасибо за помощь, я использовал не тот файл с другим заголовком, мой плохой, теперь я изменил заголовок, и я попробовал ваш отредактированный верхний код, я получаю эту ошибку: image_path, description, title, link = map(str.strip, line.split(',')) ValueError: too many values to unpack (expected 4) заголовок и параметры теперь: image_file=image_path, title=title, description=description, link=link
Пробовал второй код, получаю TypeError got an unexpected keyword argument ''image_path ''
спасибо за ваш код и помощь, теперь код работает нормально, второй код не работал, потому что он пропускает заголовок, в результате я получил ошибку Variable notdefined, запуск первого кода дал мне ошибку слишком много значений для распаковать, потому что в описании моего CSV-файла было несколько запятых, разделитель также был запятой, поэтому я изменил разделитель на полузапятую, и проблема была решена.
@Dave99 Хорошо! Рад помочь и что вы можете решить эту небольшую проблему. Я просто думаю, что было бы намного лучше использовать вторую версию. Что плохого в том, чтобы пропустить заголовок? Вам действительно не нужно его анализировать... Первый код также пропускает заголовок...
Спасибо, я пытался заставить работать 2-й, но я не мог заставить его работать из-за ошибки определения переменной, в первом коде эта строка: img_path, desc_1, title_1, link_1 = map(str.strip, line.split(',')) помогает определение переменных. Я работаю над тем, как сохранить номер индекса последнего запуска в текстовом файле, я хочу запускать файл по расписанию, поэтому каждый раз, когда файл запускается, он считывает этот номер индекса и использует данные в строке, которая остановилась, или может быть, следующая строка. и в конце запишите последний порядковый номер используемой строки в тот же текстовый файл. Если вы дадите мне подсказку, я благодарен, может быть, я опубликую новый.
@Dave99 не уверен, что полностью понимаю, но эти переменные всегда будут содержать данные последней строки. Во второй версии это есть в словаре line. Так что вместо того, чтобы делать img_path, вы можете делать line['img_path']. Это как-то помогает?
Взгляните на CSV-модуль Python, он облегчит вам работу с CSV-файлами. Вот учебник; realpython.com/python-csv