Как указать dtype для всех столбцов при чтении CSV-файла с помощью pyarrow?

Модуль набора данных Pyarrow считывает CSV-файлы порциями (я думаю, по умолчанию это 1 МБ) и обрабатывает эти порции параллельно. Это делает вывод столбца немного сложным, и он справляется с этим, используя первый фрагмент для вывода типов данных. Таким образом, ошибка, которую вы получаете, очень распространена, когда в первом фрагменте файла есть столбец, который выглядит целым, но в будущих фрагментах столбец имеет десятичные значения.

Если вы заранее знаете имена столбцов, вы можете указать типы данных столбцов:

import pyarrow as pa
import pyarrow.csv as csv
import pyarrow.dataset as ds

column_types = {'a': pa.float64(), 'b': pa.float64(), 'c': pa.float64()}
convert_options = csv.ConvertOptions(column_types=column_types)
custom_csv_format = ds.CsvFileFormat(convert_options=convert_options)
dataset = ds.dataset('/tmp/foo.csv', format=custom_csv_format)

Если вы не знаете имена столбцов, все немного сложнее. Тем не менее, похоже, что ВСЕ столбцы float64. В этом случае, поскольку у вас есть только один файл, вы, вероятно, можете сделать что-то вроде этого в качестве обходного пути:

dataset = ds.dataset('/tmp/foo.csv', format='csv')
column_types = {}
for field in dataset.schema:
  column_types[field.name] = pa.float64()
# Now use column_types as above

Это работает, потому что мы вызываем pa.dataset(...) дважды, и это будет иметь небольшие накладные расходы. Это связано с тем, что каждый раз, когда мы вызываем pa.dataset(...), pyarrow будет открывать первую часть первого файла в наборе данных, чтобы определить схему (вот почему мы можем использовать dataset.schema).

Если у вас есть несколько файлов с разными столбцами, этот подход не сработает. В этом случае я бы порекомендовал написать в список рассылки Arrow user@, и мы могли бы провести более общую дискуссию о различных способах решения проблемы.