Фильтрация набора данных улья на основе списка Python

Я довольно новичок в ульях и искрах, но то, что я хочу сделать, кажется, должно быть простым. По сути, я хочу взять список из Python, а затем извлекать только записи из улья, у которых есть ключ в этом списке. Так:

my_list=['a','b','c','d']
new_dataset = 
    spark.sql(
    select * 
    from hive_dataset 
    where variable_name in my_list)

Я был бы даже в порядке, если бы обработал его после оператора sql. Так:

my_list=['a','b','c','d']
new_dataset = 
    spark.sql(
    select * 
    from hive_dataset)

new_dataset=new_dataset(new_dataset[variable_name] in my_list)

Я знаю, что это довольно общий вопрос, но как мне это сделать? Это вообще возможно?