В настоящее время я использую sparklyr. Я могу подключиться к нашему кластеру, но по умолчанию используется Hive вместо Impala. Есть ли возможность установить схему по умолчанию для другой схемы, кроме схемы по умолчанию?
Подключается с помощью этого метода. Но когда я пытаюсь выполнить представление, которое имеет такую функцию, как strleft, split_part или isnull, оно выдает ошибку и не запускается. Похоже, он все еще бежит из Улья, а не из Импалы. Работает ли Spark с Impala?
Spark использует Hive только как хранилище метаданных, а не как механизм выполнения. Даже если вы подключитесь к хранилищу метаданных Impala, вся обработка будет выполняться Spark, а не Impala. Так что в этом смысле Spark не работает с Impala.
Возможный дубликат Таблица доступа в схеме, отличной от схемы по умолчанию (база данных) от Sparklyr