Pandas DataFrame определенно более эффективен с точки зрения памяти, чем обычные списки Python.
Вы должны использовать Pandas.
Посмотрите слайды выступления Джеффри Тратнер Панды под капотом
Я просто сравниваю несколько ключевых моментов между использованием панд и подходов со списками:
- DataFrames имеют гибкий интерфейс. Если вы выбрали простой подход со списком Pythons, вам нужно будет создать необходимые функции самостоятельно.
- Многие процедуры обработки чисел в пандах реализованы на C или с использованием специализированных числовых библиотек (Numpy), которые всегда будут быстрее, чем код, который вы напишете в своих списках.
- Решение использовать списки также будет означать, что с большими списками данных макет памяти будет снижать производительность, в отличие от Dataframe, где данные разделены на блоки одного и того же типа.
- Pandas Dataframe имеет индексы, которые помогают вам легко искать / комбинировать / разделять данные в зависимости от выбранных вами условий. Индексы реализованы на C и специализированы для каждого типа данных.
- Pandas может легко читать / записывать данные в разные форматы
Есть гораздо больше преимуществ, о которых я, вероятно, даже не знаю. Ключевой момент: Не изобретайте велосипед, используйте правильные инструменты, если они у вас есть