Лучший способ читать таблицу BigQuery

Чтение из BigQuery и фильтрация данных, у меня есть 2 способа

1. Чтение из BigQuery в потоке данных (с использованием BigqueryIO.readTableRow.from (ValueProvider)) целых данных, а затем фильтрация на основе условий, таких как максимальная дата

2. Чтение из BigQuery в потоке данных с использованием NestedValueProvider путем выполнения запроса, который будет извлекать только требуемые данные, намного медленнее.

Так как возникнет проблема, если я прочитаю данные целиком, а моя таблица находится в режиме добавления, что увеличит время чтения данных по мере прохождения дня.

Но если я читаю только данные с конкретной датой, которые сделают время чтения моего конвейера согласованным.

Но для 200 записей поставщик вложенных значений занимает гораздо больше времени, чем чтение целых данных с помощью BigqueryIO.readTableRow.from (ValueProvider).

Что я скучаю, кто-нибудь может помочь?

Мой фрагмент ниже, пожалуйста, найдите.

Snippet:

PCollection<TableRow> targetTable = input.apply("Read TRUSTED_LAYER_TABLE_DESCRIPTION", BigQueryIO
                    .readTableRows()
                    .withoutValidation()
                    .withTemplateCompatibility()
                    .fromQuery(NestedValueProvider.of(options.get(Constants.TABLE_DESCRIPTION.toString())
                            , new QueryTranslator(options.get(Constants.ETL_BATCH_ID.toString())))).usingStandardSql());

Фрагмент класса поставщика вложенных значений:

public class QueryTranslator implements SerializableFunction{

    /**
     * Read data with max etlbatchid from query
     */

    ValueProvider<String> etlbatchid;
    public QueryTranslator(ValueProvider<String> etlbatchid){
        this.etlbatchid = etlbatchid;
    }

    private static final long serialVersionUID = -2754362391392873056L;

    @Override
    public String apply(String input) {
        String batchId = this.etlbatchid.get();
        if (batchId.equals("-1"))
            return String.format("SELECT * from `%s`", input);
        else
            return String.format("SELECT * from `%s` where etlbatchid = %s;", input,batchId);
    }
}