Проблемы с чтением CSV-файла с запятыми в Pandas

Один из способов сделать это - иметь " для четкого разделения ваших данных -

Name,Age,Address,Phone,Qualification
Suresh,28,Texas,3334567892,B.Tech
Ramesh,24,"NewYork, NY","8978974040,9991111234",Ph.D
Mukesh,26,Dallas,4547892345,Ph.D

Если этого нет, pandas будет изо всех сил пытаться его правильно прочитать.

Скопируйте приведенные выше данные, сделайте pd.read_clipboard(sep=','), и он даст -

     Name  Age      Address                  Phone Qualification
0  Suresh   28        Texas             3334567892        B.Tech
1  Ramesh   24  NewYork, NY  8978974040,9991111234          Ph.D
2  Mukesh   26       Dallas             4547892345          Ph.D

Если изменение исходных данных в целом вам не по силам -

Практический подход - сделать обычный read_csv с error_bad_lines=False. После этого просмотрите журналы и обратите внимание на строки, которые pandas пытается прочитать, и соответствующим образом измените только эти строки.

Надеюсь это поможет.

Ваши данные кажутся фиксированными для первых двух столбцов, а также для последнего, поэтому их можно удалить, а оставшиеся значения можно обработать с помощью itertools.groupby(), чтобы сгруппировать оставшиеся столбцы в числовые или нечисловые группы. Полученные данные затем можно загрузить в pandas:

import pandas as pd
from itertools import groupby
import csv

data = []

with open('input.csv', newline='') as f_input:
    csv_input = csv.reader(f_input)
    header = next(csv_input)

    for row in csv_input:
        addr_phone = [','.join(g) for k, g in groupby(row[2:-1], lambda x: x.isdigit())]
        data.append(row[:2] + addr_phone + [row[-1]])

df = pd.DataFrame(data, columns=header)        
print(df)

Даю вам:

     Name Age      Address                  Phone Qualification
0  Suresh  28        Texas             3334567892        B.Tech
1  Ramesh  24  NewYork, NY  8978974040,9991111234          Ph.D
2  Mukesh  26       Dallas             4547892345          Ph.D

Чтобы работать со вторым примером, вам нужно решить, как разделить два столбца. Я предлагаю вам составить список возможных квалификаций. Когда есть матч, вы можете разделиться в этот момент. Например:

import pandas as pd
import csv

def find_split(data):
    for index, v in enumerate(data):
        if v.lower() in ['b.tech', 'ph.d']:
            return [', '.join(data[:index]), ', '.join(data[index:])]
    return [', '.join(data), '']

data = []

with open('input.csv', newline='') as f_input:
    csv_input = csv.reader(f_input, skipinitialspace=True)
    header = next(csv_input)

    for row in csv_input:
        data.append(row[:2] + find_split(row[2:-1]) + [row[-1]])

df = pd.DataFrame(data, columns=header)        
print(df)

Даю вам:

     Name Age      Address Qualification Grade
0  Suresh  28        Texas  B.Tech, Ph.D     A
1  Ramesh  24  NewYork, NY        B.Tech    A+
2  Mukesh  26       Dallas  B.Tech, Ph.D     A

Вы можете создать список квалификаций, сначала создав set() на основе содержимого row[2] (в нижнем регистре). Распечатайте содержимое набора, затем добавьте его в сценарий и перезапустите его.