Вставить разрыв строки в файл python после фиксированного количества элементов для разделения столбцов в файле csv

Первое, что я бы попробовал, это просто разделить строку на запятые и написать записи, используя csv.writer, вызывая .writerow() с двенадцатью элементами за раз. Я заметил, что у вас есть двойная кавычка в начале, но не позже, поэтому этот подход может быть достаточно хорошим, вам просто нужно удалить эту двойную кавычку. Конечно, если в тексте какого-либо поля в вашем файле есть запятые, мое предложение будет ошибочным, но это то место, с которого стоит начать, поскольку вы, похоже, пытаетесь исправить один конкретный файл, а не решить общую проблему.

Вот моя реализация этого предложения:

import csv

out_f = open("fixed-csv.txt", mode="w")
writer = csv.writer(out_f)
with open("bad-csv.txt") as in_f:
    for line in in_f:
        fields = line.strip("\n\r").split(",")
        for position in range(0, len(fields), 12):
            writer.writerow(fields[position:position+12])

Теперь я заметил, что при запуске этого кода у вас на самом деле не ровно 12 столбцов в строке, это больше похоже на 10 или 11, и это не константа.

Вот вариант, который ищет D276 и делает его первым столбцом каждой строки:

import csv

out_f = open("fixed-csv-2.txt", mode="w")
writer = csv.writer(out_f)
with open("bad-csv.txt") as in_f:
    for line in in_f:
        fields = line.strip("\n\r").split(",")
        d276_positions = [
            i
            for i, value in enumerate(fields)
            if i == 0 or value == "D276"
        ]
        d276_positions.append(len(fields))
        for start, end in zip(d276_positions, d276_positions[1:]):
            writer.writerow(fields[start:end])

Я не думаю, что все ваши данные будут иметь D276 в качестве первого значения в строке, поэтому вам, возможно, придется изменить if i == 0 or value == "D276" на что-то, что в более общем смысле находит поле, которое помечает новую строку, но этот код должен настроить вас на это. нужно решить вашу проблему, предполагая, как я сказал в начале, что у вас нет запятых внутри каких-либо полей во всем вашем файле данных.

Если у вас есть запятые в некоторых из ваших полей, я бы вручную отредактировал выходной файл с помощью текстового редактора и исправил проблемы вручную. Если их не слишком много, это не должно быть много работы.

Вот подход pandas + numpy.

import io
import numpy as np
import pandas as pd
data =""""
D276",31386,10610,12122021 00:00:47840 85,...
"""

df = pd.read_csv(io.StringIO(data), delimiter=",", quoting=3, header=None)

# resize array to multiple of cols
cols = 11
remainder = cols - df.shape[1] % cols
values = np.append(df.to_numpy(), np.empty((1,remainder)))

df_reshaped = pd.DataFrame(values.reshape((-1,cols)))

Выход:

0   1   2   3   4   5   6   7   8   9   10
0   D276"   31386   10610   12122021 00:00:47840 85 0.00+842646 M000395708109323    ACTIVE CARD CHECK   844-6593879 NY  59655   840 6511011091718056
1   D276    31386   10610   12122021 00:00:59840Y00 5.36-842647 M527021000201360    Etsy.com - TheCraftyCa Brooklyn NY  56995   840 6511011091718056    D276
2   86495   29807   12122021 00:08:22840N51 11.99-842648    M248747000103177    GOOGLE *YouTubePremium g.co/helppay# CA 78295   840 6511016547548056    D276    29969   10038

Обратите внимание, что разрыв после столбцов cols работает только для первых двух строк. Возможно, вы захотите рассмотреть другие критерии e. грамм. 'D276', как в ответе Джоаниса.