Python pandas read_sas с параметром размера фрагмента завершается с ошибкой из-за несоответствия индекса
У меня есть очень большой файл SAS, который не помещается в памяти моего сервера. Мне просто нужно преобразовать файл в формате паркета. Для этого я читаю его по частям, используя опцию chunksize метода read_sas в pandas. В основном он работает/выполняет свою работу. За исключением того, что через некоторое время происходит сбой со следующей ошибкой.
Этот конкретный файл SAS содержит 79422642 строки данных. Непонятно, почему он терпит неудачу в середине.
import pandas as pd
filename = 'mysasfile.sas7bdat'
SAS_CHUNK_SIZE = 2000000
sas_chunks = pd.read_sas(filename, chunksize = SAS_CHUNK_SIZE, iterator = True)
for sasDf in sas_chunks:
print(sasDf.shape)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
(2000000, 184)
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/opt/anaconda3/lib/python3.10/site-packages/pandas/io/sas/sas7bdat.py", line 340, in __next__
da = self.read(nrows=self.chunksize or 1)
File "/opt/anaconda3/lib/python3.10/site-packages/pandas/io/sas/sas7bdat.py", line 742, in read
rslt = self._chunk_to_dataframe()
File "/opt/anaconda3/lib/python3.10/site-packages/pandas/io/sas/sas7bdat.py", line 795, in _chunk_to_dataframe
rslt[name] = pd.Series(self._string_chunk[js, :], index=ix)
File "/opt/anaconda3/lib/python3.10/site-packages/pandas/core/series.py", line 461, in __init__
com.require_length_match(data, index)
File "/opt/anaconda3/lib/python3.10/site-packages/pandas/core/common.py", line 571, in require_length_match
raise ValueError(
ValueError: Length of values (2000000) does not match length of index (1179974)
Я только что протестировал ту же логику кода в меньшем файле SAS с меньшим количеством строк, используя меньший размер фрагмента, как показано ниже, и, похоже, он работает нормально без каких-либо ошибок, а также обрабатывает последний оставшийся фрагмент, который меньше параметра размера фрагмента. :
filename = 'mysmallersasfile.sas7bdat'
SAS_CHUNK_SIZE = 1000
sas_chunks = pd.read_sas(filename, chunksize = SAS_CHUNK_SIZE, iterator = True)
for sasDf in sas_chunks:
print(sasDf.shape)
(1000, 5)
(1000, 5)
(1000, 5)
(1000, 5)
(983, 5)
Есть ли в наборе данных удаленные наблюдения?
Нет.
Ответы 1
Возможно, попробуйте этот код:
import pandas as pd
import pyarrow as pa
import pyarrow.parquet as pq
filename = 'mysasfile.sas7bdat'
output_filename = 'output.parquet'
SAS_CHUNK_SIZE = 2000000
writer = None # initialize writer
sas_chunks = pd.read_sas(filename, chunksize=SAS_CHUNK_SIZE, iterator=True)
for i, sasDf in enumerate(sas_chunks):
print(f"Processing chunk {i+1} with shape {sasDf.shape}")
table = pa.Table.from_pandas(sasDf) # convert pandas DF to Arrow table
if writer is None:
# Create new Parquet file with 1st chunk
writer = pq.ParquetWriter(output_filename, table.schema)
writer.write_table(table) # write Arrow Table to Parquet file
if writer:
writer.close()`
- Он читает кусками, используя функцию pd.read_sas.
- pyarrow.parquet.ParquetWriter записывает данные в файл Parquet, позволяя добавлять данные частями, что подходит для таких больших наборов данных.
- Каждый чанк преобразуется в pyarrow.Table и записывается в файл Parquet.
На втором фрагменте произошел сбой из-за несоответствия схемы. ` Обработка фрагмента 1 с формой (2000000, 184) Обработка фрагмента 2 с формой (2000000, 184) Traceback (последний вызов): файл "test.py", строка 23, в <module> write_table(table) # записать таблицу стрелок в файл паркета Файл «/opt/anaconda3/lib/python3.10/site-packages/pyarrow/parquet/core.py», строка 1094, в write_table поднять ValueError(msg) ValueError: схема таблицы не соответствует схема, используемая для создания файла: `
Похоже, что в одном фрагменте есть данные, а в другом — только нули для столбца. Хммм... думаю, в таких случаях нужно разбираться индивидуально. 146c146 <какое-то имя: двоичное ---> какое-то имя: ноль
Принято и назначено вознаграждение, несмотря на другие проблемы, с которыми я столкнулся. Сам подход действенный и работоспособный.
Работает ли набор данных при чтении SAS?