Ошибка сегментации shmat() с 2d-массивом

Segfault — это ошибка времени выполнения, но ваш код даже не должен компилироваться, посмотрите на этот оператор (круглые скобки отсутствуют):

if ( ( addressArray = ( int** ) shmat ( shm_id, NULL, 0 ) == ( int** ) -1 )

А если это задание провалится? Завершает ли perror процесс? Нет. Но вы по-прежнему получаете доступ к массиву ниже. Скорее всего источник ошибки seg.

Как указал МЧ:

// i is not declared
for(i = 0; i < X; i++){
    // j is not declared, after j < Y, use semicolon instead of comma
    for(j = 0; j < Y, j++){
        // if the result is not zero you're doing an assignment
        if (i % 2 != 0)
            addressArray[i][j] = -1;
        // but immediately after you assign a zero, 
        // previous statement -> useless
        // 'else' is missing here
        addressArray[i][j] = 0;
    }
}

Ваша проблема заключается в - (вашем?) - непонимании разницы истинного 2D-массива и указателя → указателя → косвенного значения.

Когда вы определяете int **a, это интерпретируется как указатель на другой указатель, который затем ссылается на int. Присвоение указателя, полученного из функции распределения, такой как malloc или shmat, такому двойному указателю, то, что касается семантики C, он ожидает, что это выделение памяти будет содержать дополнительные указатели. Поэтому, если вы выполняете двойное разыменование и там нет действительного указателя, он рухнет на лицо.

Этому недоразумению способствует тот факт, что в C вы можете правильно написать int a[X][Y]; и разыменовать его с помощью a[i][j]. Ключевым моментом для понимания этого является то, что первая «половина», то есть та, что с массивом, определенным таким образом, a[i]… распадается на int* указатель, который указывает на 0-й элемент в i «столбце». Другая половина …[j] затем разыменовывает этот неявно «появляющийся» указатель.

Многомерные массивы в C обманчивы, и я настоятельно не рекомендую их использовать таким образом. Кроме того, вам будет трудно правильно реализовать определенные отступы и выравнивание строк с ними, не прыгая с какой-то действительно раздражающей арифметики.

Гораздо проще просто явно записать вычисления, с дополнительным преимуществом точного контроля заполнения и выравнивания.

Предположим, мы хотим создать 2D-массив int, который должен быть выровнен по размерам long long.

size_t const array_height = ...;
size_t const array_width = ...;
size_t const alignment = sizeof(long long);
size_t const row_size   = array_width * sizeof(int);
size_t const row_stride =
        alignment * ((row_size + alignment-1) / alignment);
size_t const array_size = array_height * row_stride;

int const shm_id = shmget(KEYSM, array_size, IPC_CREAT | 0666);
if ( 0 > shm_id ){
    perror("shmget");
    exit(-1);
}

int *const array = shmat(shm_id, NULL, 0);
if ( (void*)-1 == array ){
    perror("shmat");
    exit(-1);
}

for(size_t j = 0; j < array_height; ++j){
    int *const row = array + j * row_stride;
    for(size_t i = 0; i < array_width;  ++i){
        row[i] = (i % 2) ? -1 : 0;
    }
}