Назначить год и месяц выполнения в качестве аргумента в Pyspark

Я использую Python версии 2.4 с Pyspark.

У меня проблема с тем, как передать параметр, чтобы получить год и месяц выполнения внутри файла where.

Как я могу сделать?

import pyspark
from datetime import datetime, timedelta 
from os.path import expanduser, join, abspath
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.sql import HiveContext
import datetime
import sys, os, logging, getopt

sc = SparkContext()
hc = HiveContext(sc)
sql = SQLContext(sc)

hc.sql(""" SELECT *  FROM bd_raw_data.table_iop WHERE pt_year = 2022 AND pt_month = 1 """).registerTempTable("temp_df_table_iop")

Есть ли место, откуда вы получаете значения year и month?

DKNY 16.03.2022 16:00

@DKNY Еще нет, мне нужно передать значение года-месяца в параметре, например: pt_year = <<parm_year>> И pt_month = <<parm_month>>

Felipe 16.03.2022 16:06

Добавил мой ответ, посмотрите, поможет ли это!

DKNY 16.03.2022 16:10

@anky, пост помечен python-2.4

David דודו Markovitz 16.03.2022 19:29
Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
0
4
37
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Вы хотите передать параметр внутри запроса?

hc.sql(""" SELECT * FROM bd_raw_data.table_iop WHERE pt_year = 2022 AND pt_month = 1 """).registerTempTable("temp_df_table_iop")

Правильно @Aquiles

Felipe 16.03.2022 15:52
Ответ принят как подходящий

Вы можете просто использовать strings в этом случае, как показано ниже:

year = <your year>
month = <your month>

hc.sql("""SELECT *  FROM bd_raw_data.table_iop WHERE pt_year = {year} AND pt_month = {month}""".format(year=year,month=month)).registerTempTable("temp_df_table_iop")

Другие вопросы по теме