Добавление ведущих нулей в столбцы данных при загрузке из файлов CSV с помощью pandas

Вот один из подходов:

• Поменяйте порядок строк вашего dfs с помощью [::-1] и примените df.reset_index с drop=True
• Примените pd.concat к axis=1 и снова поменяйте местами + reset_index.
• Наконец, примените df.fillna

import pandas as pd
from io import StringIO

def load_data(filename):
    
    headers_0 = ['a', 'b', 'c']
    headers_1 = ['d', 'e']

    # using StringIO for mre 
    # + `sep = "\s+"` for `delim_whitespace=True` (deprecated since 2.2.0)
    data_0 = pd.read_csv(StringIO(c_0), header=None, sep = "\s+")
    data_0.columns = headers_0[0:data_0.shape[1]]

    data_1 = pd.read_csv(StringIO(c_1), header=None, sep = "\s+")
    data_1.columns = headers_1[0:data_1.shape[1]]

    data = (
        pd.concat(
            [df[::-1].reset_index(drop=True) for df in [data_0, data_1]], 
            axis=1
        )[::-1]
        .reset_index(drop=True)
        .fillna(0)
    )

    return data

c_0 = """0 1 2
3 4 5
6 7 8"""

c_1 = """A B
C D
"""

load_data('c')

   a  b  c  d  e
0  0  1  2  0  0
1  3  4  5  A  B
2  6  7  8  C  D

Будет работать независимо от того, какой из них длиннее.

Другой вариант — использовать df.shift с fill_value:

def load_data2(filename):
    
    # `data_0` and `data_1` same as above

    diff = len(data_0) - len(data_1)
    
    data = pd.concat([data_0, data_1], axis=1)
    if diff > 0:
        data[data_1.columns] = data[data_1.columns].shift(diff, fill_value=0)
    elif diff < 0:
        data[data_0.columns] = data[data_0.columns].shift(abs(diff), fill_value=0)
    
    return data

Преимущество этой опции в том, что она заполняет только значения NaN в смещенной области. Например.:

c_0 = """0 1 2
3 4 5
6 7 8"""

c_1 = """A B
C 
"""

load_data2('c')

   a  b  c  d    e
0  0  1  2  0    0
1  3  4  5  A    B
2  6  7  8  C  NaN # with my `load_data` above, this `NaN` gets filled too!

Конечно, если вы все равно хотите, чтобы все значения NaN были заполнены, просто используйте fillna и здесь.

Я не особо разбираюсь в пандах, мне удалось найти решение по-своему:

import pandas as pd
from pathlib import Path

def load_data(filename):
    headers_0 = ['a', 'b', 'c']
    headers_1 = ['d', 'e']

    data_0 = pd.read_csv(str(filename.with_suffix('')) + '_0.csv', header=None, delim_whitespace=True)
    data_0.columns = headers_0[0:data_0.shape[1]]

    data_1 = pd.read_csv(str(filename.with_suffix('')) + '_1.csv', header=None, delim_whitespace=True)
    data_1.columns = headers_1[0:data_1.shape[1]]

    len_0 = len(data_0)
    len_1 = len(data_1)

    if len_0 > len_1:
        zeros_to_prepend = pd.DataFrame(0, index=range(len_0 - len_1), columns=data_1.columns)
        data_1 = pd.concat([zeros_to_prepend, data_1], ignore_index=True)

    data = data_0.join(data_1)
    return data

filename = Path('filename/') # I didn't really understand what this was for, so just entered filename
data = load_data(filename)
print(data)

Это был мой результат:

    a   b   c    d    e
0   1   2   3    0    0
1   4   5   6    0    0
2   7   8   9  100  200
3  10  11  12  300  400

При использовании pandas у меня также было несколько предупреждений. В нем говорилось, что ключевое слово, используемое в пандах, устарело. Я использую Linux, поэтому с моей стороны могут возникнуть проблемы!