Как проверить, какой фрейм данных вычисляется с помощью dask

Я применяю словари на двух датафреймах dask, а затем объединяю их между собой — это делается без compute().
Позже я использую to_csv, которая является единственной точкой, где вычисляются мои кадры данных.
Я хочу иметь возможность обнаруживать KeyErrors и вести их журнал - отдельные журналы для двух фреймов данных.

Есть ли способ, какой фрейм данных в настоящее время вычисляется?

Суть моего кода

def convert(identifier):
    try:
        return alias_dict[str(identifier)]
    except KeyError as err:
        if current_df_converting == 'pileup':
            conversion_error_handler(err.args[0], 'pileup_log')
        elif current_df_converting == 'lists':
            conversion_error_handler(err.args[0], 'lists_log')
        return identifier


pileup_df = dd.read_csv(pileup, sep='\t', header=None, quoting=csv.QUOTE_NONE, encoding='utf-8')
lists_df = dd.read_csv(lists, sep='\t', header=None, quoting=csv.QUOTE_NONE, encoding='utf-8')

pileup_df['identifier'] = pileup_df.identifier.map(convert, meta=('identifier', str))
lists_df['identifier'] = lists_df.identifier.map(convert, meta=('identifier', str))

intersection_df = pileup_df.merge(lists_df, on=['identifier', 'position'])

dd.to_csv(intersection_df, output, header=None, index=None, single_file=True, sep='\t')
Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
1
0
113
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы можете использовать partial из functools

from functools import partial


def convert(identifier, current_df_converting):
    ...


conv1 = partial(convert, current_df_converting='pileup')
conv2 = partial(convert, current_df_converting='lists')


...


pileup_df['identifier'] = pileup_df.identifier.map(conv1, meta=('identifier', str))
lists_df['identifier'] = lists_df.identifier.map(conv2, meta=('identifier', str))


...

Другие вопросы по теме