Ошибка сегментации многомерных массивов, размер которых определяется во время выполнения

Как отмечалось в комментариях, вам действительно следует повысить уровень предупреждений в флагах компилятора. Это то, что вы можете получить, если сделаете это. Предупреждающие сообщения ясно указывают на проблему,

<source>: In function 'main':
<source>:8:5: warning: 'n' is used uninitialized [-Wuninitialized]
    8 |     int matrix1[n][n][n], matrix2[n][n][n], result_matrix[n][n][n];
      |     ^~~
<source>:5:9: note: 'n' declared here
    5 |     int n;
      |         ^

Использование неинициализированной переменной создает неопределенное значение, что само по себе не является неопределенным поведением, но использование неопределенного значения для объявления массива (в частности, VLA, подробнее об этом позже) может привести к неопределенному поведению, поскольку предварительное условие, выражение размера должно иметь значение больше нуля, что может быть нарушено. Когда это действительно приводит к неопределенному поведению, может случиться что угодно, и сегментная ошибка является одним из многих возможных результатов. Неопределенное поведение или нет, но использование неопределенного значения для объявления массива семантически неверно и определенно является тем, чего вы хотите достичь.

Итак, первая попытка исправить будет:

    int n;

    /* ... */

    fread(&n, sizeof(int), 1, file1);
    
    /* ... */

    int matrix1[n][n][n], matrix2[n][n][n], result_matrix[n][n][n];

Когда вы объявляете массив типа matrix1[n][n][n], где экстенты измерений не являются целочисленными константными выражениями , вы используете функцию языка C, которая называется массивами переменной длины (сокращенно VLA). Эта функция не обязательно должна поддерживаться компилятором C, соответствующим стандарту, и ваша программа по определению не очень переносима. Имея это в виду и предполагая, что вы точно знаете, что ваш компилятор поддерживает VLA, а начиная с C23, это также подразумевает поддержку изменяемых типов (VM), давайте подробнее рассмотрим другие проблемы вашего кода.

Предполагая, что ваша реализация использует стек, решение о том, помещать ли VLA в стек, зависит от реализации. В типичных реализациях размер стека ограничен, и если вы попытаетесь использовать VLA, занимающий слишком много места, стек взорвется и снова приведет к сбою сегмента. Поскольку мы уже предположили, что ваша реализация поддерживает виртуальные машины, вместо этого вам следует использовать malloc, чтобы выделить память для VLA в бесплатном хранилище. Воспользовавшись поддержкой VM, вы сможете сделать это, не теряя при этом удобства синтаксиса доступа к многомерным массивам. Чтобы упростить задачу, мы можем использовать typedef. Я также изменил код, чтобы проверить возвращаемое значение fread, чтобы защититься от пустого файла. Вам также следует всегда проверять возвращаемое значение других функций стандартной библиотеки в вашей программе, если они доступны.

    int n;

    /* ... */

    if (fread(&n, sizeof(int), 1, file1) != 1){
        fputs("Failed to read matrix dimension.\n", stderr);
        return EXIT_FAILURE;
    }
    
    /* ... */
    typedef int (*matrix_t)[n][n][n]; //A variably-modified type
    matrix_t matrix1 = malloc(sizeof *matrix1);
    if (!matrix1){
         fputs("Malloc failed: matrix1.\n", stderr);
         return EXIT_FAILURE;
    }
    matrix_t matrix2 = malloc(sizeof *matrix2);
    /* ... */

Затем внутри циклов вы можете разыменовать указатель для выполнения фактического вычисления:

    for (int i = 0; i < n; ++i) {
        for (int j = 0; j < n; ++j) {
            for (int k = 0; k < n; ++k) {
                (*result_matrix)[i][j][k] = 0;

                for (int l = 0; l < n; l++) {
                    (*result_matrix)[i][j][k] += (*matrix1)[i][j][l] * (*matrix2)[l][j][k];
                }
            }
        }
    }

В конце функции не забудьте free выделить выделенные воспоминания,

    free(matrix1);
    free(matrix2);
    free(result_matrix);
    return EXIT_SUCCESS;