Почему я получаю переполнение буфера кучи в leetcode?

Похоже, вам просто нужно завершить строку результата перед ее печатью. Просто измените calloc(length, ... на calloc(length + 1, ....

Опубликованный код не выдаст ошибку, указанную в вопросе. В опубликованном коде нет доступа за пределы.

Другими словами, ошибка возникает из-за кода, который не опубликован. Возможно/вероятно, вызывающая сторона longestPalindrome использует возвращенный указатель ans таким образом, что это вызывает опубликованную ошибку.

Ключ здесь:

...возвращение самого длинного палиндрома в строке.

Ваш код не возвращает строку стиля C. Выделенная память не содержит символ завершения строки (завершение NUL). (примечание: в настоящее время даже нет места для завершения в выделенной памяти)

Итак, если caller сделать что-то вроде:

...
char* str = longestPalindrome(someString);
if (str) puts(str);

вызов puts будет обращаться к памяти за пределами границ.

Решение: убедитесь, что ans указывает на память, содержащую символ завершения.

Также код не обрабатывает случай, когда ввод является пустой строкой. Это также может привести к ошибкам.

Кстати: будьте осторожны с использованием VLA, таких как char c[len];. Если входная строка очень большая, это может привести к переполнению стека.

В коде есть несколько проблем:

• вы должны выделить один дополнительный байт для совпадения и сохранить нулевой терминатор в конце блока, чтобы сделать его правильной строкой C:

    char *ans = calloc(length + 1, sizeof(char));
    for (int i = 0; i < length; i++) {
        ans[i] = s[st + i];
    }
    ans[length] = '\0';
    return ans;  
  

  обратите внимание, что вы также можете использовать strndup() и заменить весь блок кода на

    return strndup(st + i, length);
  

  без ограничителя null вызывающий код вызовет доступ за пределы, поскольку он пытается найти конец строки, например, при ее печати.

• Алгоритм не находит встроенные палиндромы в строке аргумента, он находит подстроки, которые имеют обратную версию, встроенную где-то в строку аргумента. Например, for "a dog has no god" вернет "dog ", что не является палиндромом.

Вот модифицированная версия:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

char *longestPalindrome(const char *s) {
    size_t len = strlen(s);
    size_t st = 0;
    size_t length = 0;
    size_t i, n, k;
    for (i = 0; i + length < len; i++) {
        for (n = length + 1; i + n < len; n++) {
            for (k = 0; k < n; k++) {
                if (s[i + k] != s[i + n - 1 - k])
                    break;
            }
            if (k == n) {
                /* found a palindrome of length n */
                length = n;
                st = i;
            }
        }
    }
    return strndup(s + st, length);
}

int main(int argc, char *argv[]) {
    for (int i = 1; i < argc; i++) {
        char *p = longestPalindrome(argv[i]);
        printf("'%s' -> '%s'\n", argv[i], p);
        free(p);
    }
    return 0;
}

Функции strdup и strndup долгое время были частью стандарта POSIX, и, наконец, они были включены в новый стандарт C23. Если strndup() недоступен в вашей системе, его можно записать так:

#include <stdlib.h>
#include <string.h>

char *strndup(const char *s, size_t n) {
    char *p = malloc(n + 1);
    if (p != NULL) {
        memcpy(p, s, n);
        p[n] = '\0';
    }
    return p;
}