Я использую Flink SQL API с клиентом sql. Я хотел бы знать, есть ли справочное руководство по всем доступным свойствам таблицы для определенного типа/формата?
Например, я хочу определить исходную таблицу CSV, а в документации написано, что есть опция format.allow-comments' = 'true
, но потом клиент выдает ошибку, что опция недоступна.
Другой пример, погуглив, я нашел вариант ìgnore-first-line
, но его нет в документе.
Похоже, что ваш ссылочный документ является устаревшим, на самом деле все свойства соединителя таблиц и свойства формата должны быть доступны на веб-сайте документа:
свойства соединителя таблицы: https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/#table-sql-connectors
свойства формата таблицы: https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/formats/
Например, свойства формата CSV находятся здесь: https://ci.apache.org/projects/flink/flink-docs-release-1.12/dev/table/connectors/formats/csv.html#format-options
Надеюсь, эта информация поможет вам.
Я думаю, что это нелегко пропустить, потому что текущая реализация десериализует каждую запись, а формат CSV можно использовать с Kafka/FileSystem, поэтому мы не знаем, какая запись первая. Обходной путь с использованием ignore-parse-errors
имеет проанализированный вами недостаток. Но я думаю, что требование имеет смысл, мы можем создать проблему, чтобы поддержать это.
Хорошо спасибо. Но с текущей комбинацией файловой системы/csv: можно ли пропустить заголовок файла CSV? Или это единственный возможный вариант игнорировать ошибки синтаксического анализа, но с недостатком отсутствия реальных ошибок синтаксического анализа в строках данных?