Панды конвертируют формат datatime

У меня есть фреймворк pandas со столбцом объекта datetime со следующим форматом:

df['TIME_M']=pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f')

Однако в то же время мне также нужен столбец datetime в следующем формате (без% f):

%Y%m%d %H:%M:%S

Могу ли я быстро перейти от объекта datetime %s к объекту без %s?

В настоящее время я использую следующий код:

df['TIME_S']=df.TIME_M.map(lambda t:t.strftime('%Y%m%d %H:%M:%S'))

Однако кажется, что преобразование в строку - довольно медленная операция для панд. Мне было интересно, есть ли быстрый способ выполнить преобразование, сохранив вывод преобразования в виде объекта datetime?

P.S. Предположим, что у меня уже есть df['TIME_M'] в формате %Y%m%d %H:%M:%S.%f

python pandas datetime

08.07.2018 15:53

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Во-первых, если нужен формат даты и времени, это bif, отличный от необходимости - YYYY-MM-DD HH:MM:SS.

Если нужны даты без %f, добавьте floor:

df['TIME_M'] = pd.to_datetime(df['TIME_M'], format='%Y%m%d %H:%M:%S.%f').dt.floor('s')
#if datetimes column
#df['TIME_M'] = df['TIME_M'].dt.floor('s')

Или преобразовать в numpy значения и затем секунды:

df['TIME_M'] = pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f').values.astype('datetime64[s]')
#if datetimes column
#df['TIME_M'] = df['TIME_M'].values.astype('datetime64[s]')

Или разделите понимание списка:

df['TIME_M'] = pd.to_datetime([x.split('.')[0] for x in df['TIME_M']], format='%Y%m%d %H:%M:%S')

Сроки в образцах данных:

N = 100000
df = pd.DataFrame({'TIME_M':['20190913 04:04:20'] * N})
df['TIME_M'] +=  ['.{}'.format(x) for x in range(1, len(df)+1)] 


df['TIME_M1'] = pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f').dt.floor('s')
df['TIME_M2'] = pd.to_datetime([x.split('.')[0] for x in df['TIME_M']], format='%Y%m%d %H:%M:%S')
df['TIME_M3'] = pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f').values.astype('datetime64[s]')

#print (df)

In [180]: %timeit df['TIME_M3'] = pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f').values.astype('datetime64[s]')
28.2 ms ± 358 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [181]: %timeit df['TIME_M1'] = pd.to_datetime(df['TIME_M'],format='%Y%m%d %H:%M:%S.%f').dt.floor('s')
28.7 ms ± 208 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [182]: %timeit df['TIME_M2'] = pd.to_datetime([x.split('.')[0] for x in df['TIME_M']], format='%Y%m%d %H:%M:%S')
69 ms ± 1.81 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

Спасибо за еще 2 решения, @Anton vBR:

In [187]: %timeit df['TIME_M4'] = pd.to_datetime(df['TIME_M'].str[:17], format='%Y%m%d %H:%M:%S')
58 ms ± 709 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

In [188]: %timeit df['TIME_M5'] = pd.to_datetime([x[:17] for x in df['TIME_M']], format='%Y%m%d %H:%M:%S')
45.6 ms ± 536 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

Я думаю, вы неправильно поняли. Кажется, у OP уже есть объекты datetime, и в этом случае: df['TIME_M'] = df['TIME_M'].dt.floor('s') будет достаточно. Хотя не уверен на 100%.

— 08.07.2018 17:21

08.07.2018 15:57