Чтение данных из bigquery с помощью spark scala

Я пытаюсь прочитать данные из bigquery и распечатать их. Вот что я пробовал,

// Initialize Spark session
val spark = SparkSession
  .builder
  .master("local")
  .appName("Word Count")
  .config("fs.gs.project.id", "bigquery-public-data")
  .config("google.cloud.auth.service.account.enable", "true")
  .config("fs.gs.auth.service.account.json.keyfile", "<key_file>")
  .getOrCreate()

val macbeth = spark.sql("SELECT * FROM shakespeare WHERE corpus = 'macbeth'").persist()
macbeth.show(100)

Но это дает мне ошибку следующим образом,

Exception in thread "main" org.apache.spark.sql.AnalysisException: Table or view not found: shakespeare; line 1 pos 14

Caused by: org.apache.spark.sql.catalyst.analysis.NoSuchTableException: Table or view 'shakespeare' not found in database 'default';

Я не мог найти способ исправить это. Пожалуйста, помогите мне прочитать данные из этого набора данных.