Я пытаюсь скопировать данные в снежинку на AWS Lambda. Сейчас у меня ситуация, когда у меня есть фрейм данных, в котором нет дубликатов. Я проверяю это, проверяя свой фрейм данных следующим образом:
df.duplicated().any()
и убедитесь, что он возвращается False
Затем я дважды проверяю, фильтруя по тому, что должно быть уникальным значением в фрейме данных.
df[df["myColumn"] == "uniqueValue"]
и я получаю 1 результат.
Затем я запускаю следующее:
write_pandas(
conn=con,
df=df,
table_name=table_name,
database=database,
schema=schema,
chunk_size=chunk_size,
quote_identifiers=False,
)
а затем, когда данные попадают в таблицу Snowflake и я запрашиваю их, в базе данных SF есть по 5 строк каждой строки.
Я проверил, что эта функция также запускается только один раз.
Почему я получаю 5 дубликатов?
РЕДАКТИРОВАТЬ Хорошо, я понял, что это не связано с этим пакетом. Проблема в том, что через 1 минуту лямбда срабатывает снова, а затем снова через 1 минуту и т. д., пока она не сработает 5 раз.
Понятия не имею, почему он запускается несколько раз, потому что все выполнения в конечном итоге завершаются успешно, но 5 из них выполняются до того, как первое фактически завершится.
ОБНОВЛЯТЬ
Проверено, что это не проблема с памятью и не проблема с тайм-аутом.
Я заметил, что когда выполняется вызов API для получения некоторых внешних данных, кажется, что срабатывает следующая лямбда. Не знаю, почему это играет роль, но, похоже, это влияет.
Кроме того, он не установлен на 5 раз, он просто будет перезапускаться каждую минуту, пока не завершится первое выполнение лямбда-выражения. Я вижу, что журналы останавливаются при запуске вызова API, и именно на этой же отметке журнала я вижу начало следующего выполнения лямбда-выражения.
Я не уверен, является ли это конкретной проблемой Дженкинса или нет, но я обнаружил, что вызывал функцию синхронно, и через 1 минуту, если лямбда не ответила, она запускала ее снова... работает с опция invoke-async
cli вместо invoke
приводит к остановке дублирования.