Итак, я портирую приложение с Windows на Mac, и часть приложения занимается созданием файлов фильмов. В Windows есть группа функций, таких как ICOpen и ICConfigure, которые указывают драйверу сжатия видео, чтобы открыть окно конфигурации для выбранного кодека. Есть ли что-нибудь подобное для QuickTime на Mac?

Для этого вам нужно будет использовать прямые вызовы Quicktime-C, но нужная функция называется MovieExportDoUserDialog.
См. Статью QTMovieExportSettings на CocoaDev для получения полной информации.
Жаль, я ограничен QTKit и 64-битной версией. Тем не менее, спасибо за ответ.