Как документировать аргумент функции, которая сама является функцией с аргументами в JavaScript?

Из документации JSDoc:

Функции обратного вызова

Если параметр принимает функцию обратного вызова, вы можете использовать @callback тег для определения типа обратного вызова, а затем включить тип обратного вызова в тег @param.

Параметры, которые принимают обратный вызов

/**
 * This callback type is called `secondFunction` and is displayed as a global symbol.
 *
 * @callback secondFunction
 * @param {number} a
 */

/**
 * executes secondFunction
 * @param {secondFunction} secondFunction - The callback
 */
function firstFunction(secondFunction) {
    const a = 1;
    secondFunction(a);
};

Вы можете определить тип параметра как сигнатуру функции, которую вы ожидаете передать:

/** Calls second function with 1
 * @param {(a:number)=>void} secondFunction
 */
function firstFunction(secondFunction) {
    const a = 1;
    secondFunction(a);
};