Python Polars: как получить количество строк в DataFrame?
У меня есть CSV-файл размером 70 ГБ. Я хочу загрузить DF и подсчитать количество строк в ленивом режиме. Как лучше всего это сделать?
Насколько я могу судить, согласно документации, в ленивом режиме нет такой функции, как форма. Я нашел этот ответ, который предлагает решение, не основанное на Polars, но мне интересно, можно ли сделать это и в Polars.
Зачем вам решение "на основе поляров"? Здесь вы привязаны к вводу-выводу с точки зрения производительности (без операций с интенсивными вычислениями), поэтому я сомневаюсь, что вы получите какую-либо выгоду от использования кода на основе Rust... по крайней мере, я попытался бы сначала измерить, если это узкое место производительности.
@SaaruLindestøkke Веб-поиск по запросу «поляры лениво подсчитывают количество строк» не дает подходящего результата.
@FObersteiner Ответ, который я приложил к исходному сообщению, предоставил решение. — спрашиваю из любопытства. Я обновил пост, чтобы прояснить это. Спасибо за ответ
Разве это не помогает? pola-rs.github.io/polars/py-polars/html/reference/lazyframe/api/…
Спасибо @SaaruLindestøkke за ваш ответ, но предложение Дина МакГрегора больше соответствует моим требованиям. К сожалению, with_row_count добавляет столбец в DF, что не входило в мои намерения, и при таком подходе возникали проблемы с производительностью.
Если это правильный ответ для вас, пожалуйста, нажмите на галочку
Ответы 1
Чтобы получить количество строк, используя поляры.
Сначала загрузите его в ленивый фрейм...
lzdf=pl.scan_csv("mybigfile.csv")
Затем подсчитайте строки и верните результат
lzdf.select(pl.count()).collect()
Если в результате вам просто нужен скаляр python, а не таблица, просто подмножьте его.
lzdf.select(pl.count()).collect()[0,0]
Мне любопытно, могут ли поляры считать строки быстрее, чем общий метод Python, учитывая, что вы почти наверняка просто привязаны к вводу-выводу.
Вы можете использовать .item() вместо [0, 0] (если вы еще не в курсе)
Что вы нашли, когда выполнили поиск в Интернете по запросу «полярные счетчики ленивы»? Было ли что-то применимо к вашему случаю? Если нет, то почему это не сработало?