Snowflake-connector-python[pandas] write_pandas создает повторяющиеся записи в таблице

Я пытаюсь скопировать данные в снежинку на AWS Lambda. Сейчас у меня ситуация, когда у меня есть фрейм данных, в котором нет дубликатов. Я проверяю это, проверяя свой фрейм данных следующим образом:

df.duplicated().any() и убедитесь, что он возвращается False

Затем я дважды проверяю, фильтруя по тому, что должно быть уникальным значением в фрейме данных.

df[df["myColumn"] == "uniqueValue"] и я получаю 1 результат.

Затем я запускаю следующее:

write_pandas(
            conn=con,
            df=df,
            table_name=table_name,
            database=database,
            schema=schema,
            chunk_size=chunk_size,
            quote_identifiers=False,
        )

а затем, когда данные попадают в таблицу Snowflake и я запрашиваю их, в базе данных SF есть по 5 строк каждой строки.

Я проверил, что эта функция также запускается только один раз.

Почему я получаю 5 дубликатов?

РЕДАКТИРОВАТЬ Хорошо, я понял, что это не связано с этим пакетом. Проблема в том, что через 1 минуту лямбда срабатывает снова, а затем снова через 1 минуту и ​​т. д., пока она не сработает 5 раз.

Понятия не имею, почему он запускается несколько раз, потому что все выполнения в конечном итоге завершаются успешно, но 5 из них выполняются до того, как первое фактически завершится.

ОБНОВЛЯТЬ

Проверено, что это не проблема с памятью и не проблема с тайм-аутом.

Я заметил, что когда выполняется вызов API для получения некоторых внешних данных, кажется, что срабатывает следующая лямбда. Не знаю, почему это играет роль, но, похоже, это влияет.

Кроме того, он не установлен на 5 раз, он просто будет перезапускаться каждую минуту, пока не завершится первое выполнение лямбда-выражения. Я вижу, что журналы останавливаются при запуске вызова API, и именно на этой же отметке журнала я вижу начало следующего выполнения лямбда-выражения.

Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
0
0
419
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Я не уверен, является ли это конкретной проблемой Дженкинса или нет, но я обнаружил, что вызывал функцию синхронно, и через 1 минуту, если лямбда не ответила, она запускала ее снова... работает с опция invoke-async cli вместо invoke приводит к остановке дублирования.

Другие вопросы по теме