Можно ли использовать tqdm для операции слияния панд?

Я мог найти примеры индикатора выполнения tqdm, используемого для группировки и других операций pandas. Но ничего не нашел по слиянию или присоединению.

Можно ли использовать tqdm на пандах для слияния?

@johny Mudly Я уже видел этот вопрос. Ни в одном из ответов нет примера операции слияния/объединения pandas.

rahul 22.05.2019 14:55
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения постов в Twitter с помощью Python, Tweepy и Flair
Анализ настроения текстовых сообщений может быть настолько сложным или простым, насколько вы его сделаете. Как и в любом ML-проекте, вы можете выбрать...
7 лайфхаков для начинающих Python-программистов
7 лайфхаков для начинающих Python-программистов
В этой статье мы расскажем о хитростях и советах по Python, которые должны быть известны разработчику Python.
Установка Apache Cassandra на Mac OS
Установка Apache Cassandra на Mac OS
Это краткое руководство по установке Apache Cassandra.
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
Сертификатная программа "Кванты Python": Бэктестер ансамблевых методов на основе ООП
В одном из недавних постов я рассказал о том, как я использую навыки количественных исследований, которые я совершенствую в рамках программы TPQ...
Создание персонального файлового хранилища
Создание персонального файлового хранилища
Вы когда-нибудь хотели поделиться с кем-то файлом, но он содержал конфиденциальную информацию? Многие думают, что электронная почта безопасна, но это...
Создание приборной панели для анализа данных на GCP - часть I
Создание приборной панели для анализа данных на GCP - часть I
Недавно я столкнулся с интересной бизнес-задачей - визуализацией сбоев в цепочке поставок лекарств, которую могут просматривать врачи и...
3
1
2 158
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

tqdm поддерживает pandas и различные операции внутри него. Для объединения двух больших фреймов данных и отображения прогресса вы можете сделать это следующим образом:

import pandas as pd
from tqdm import tqdm

df1 = pd.DataFrame({'lkey': 1000*['a', 'b', 'c', 'd'],'lvalue': np.random.randint(0,int(1e8),4000)})
df2 = pd.DataFrame({'rkey': 1000*['a', 'b', 'c', 'd'],'rvalue': np.random.randint(0, int(1e8),4000)})

#this is how you activate the pandas features in tqdm
tqdm.pandas()
#call the progress_apply feature with a dummy lambda 
df1.merge(df2, left_on='lkey', right_on='rkey').progress_apply(lambda x: x)

Более подробная информация доступна в этой теме: Индикатор прогресса во время операций pandas (python)

Я думаю, это просто показывает ход выполнения функции применения, а не фактическую операцию слияния.

Kapil 25.02.2020 10:38

Единственный возможный способ, который я нашел, описан здесь (он использует Dask в качестве обходного пути): stackoverflow.com/a/68936833/3921758

Vanko 26.08.2021 12:40

Другие вопросы по теме