Pandas Dataframe для огромного набора данных

0

У меня есть сценарий, который вычисляет конкретное значение из нескольких столбцов в фрейме данных pandas. Мне нужно добавить вывод в новый столбец для каждой строки. Моя проблема в том, что в наборе данных более 100 миллионов строк. Как мне максимально эффективно загрузить эти данные в новый столбец фрейма данных?

Новый участник
Playground is a new contributor to this site. Take care in asking for clarification, commenting, and answering. Check out our Code of Conduct.
1
  • Dask - это пакет, специально разработанный для эмуляции Pandas, но ему не нужно хранить весь фрейм данных в памяти, поэтому он ограничен только объемом памяти вне кристалла и скоростью чтения-записи. Вы обнаружите, что он очень близко отражает Панд.
    Bill
    50 минут назад