Как вывести zip-файл в Luigi Task?

Это нормально для zip-файлов output(), таких как:

def output(self):
    date_path = self.search['date_path']
    zip_fn = "data/%s/%s.zip" % (date_path, date_path)
    return luigi.LocalTarget(zip_fn)

Но как вставить этот zip в метод run()?

class ZeroTask(luigi.Task):
    path_in = luigi.Parameter()
    textfiles = []
    path_to_zip = ''

    def requires(self):
        return []

    def run(self):

       # Get a bunch of text files
       # Do some manipulations with textfiles
       # Create a result.zip
       # self.path_to_zip = '~/Project/result.zip'

    def output(self):
        zip_fn = self.path_to_result.zip
        return luigi.LocalTarget(zip_fn)

Что делать в методе run()?

python pipeline luigi

16.11.2018 18:15

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

259

Ответы 1

Вы должны иметь возможность использовать zipfile для сборки файла, как хотите.

class MyTask(luigi.Task):
    def output(self):
      date_path = self.search['date_path']
      zip_fn = "data/%s/%s.zip" % (date_path, date_path)
      return luigi.LocalTarget(zip_fn)

     def run(self):
        ztemp = tempfile.NamedTemporaryFile(mode='wb')
        z = zipfile.ZipFile(ztemp, 'w')

        #  build the zip file

        z.close()
        os.rename(ztemp.name, self.output().path)

От документы на FileSystemTarget,

16.11.2018 18:59

Другие вопросы по теме

Azure - Фабрика данных - Создан новый конвейер

Каждый шаг в конвейере scikit-learn переоборудован для каждой конфигурации гиперпараметров с поиском по сетке?

Powershell: почему Rename-Item не работает как конвейерная команда?

Совместное использование переменных между модулями в конвейере

Как обнаружить ошибку в начале конвейера?

OpenCV 3.4.3 - GStream не вызывается при записи видео

Как я могу обработать содержимое CSV-файла как ввод конвейера в командлете Powershell

Преобразование искрового конвейера в фрейм данных

Конвейер агрегации addToSet, возвращающий набор массивов во вложенных записях массива вместо одного массива

Ошибка выпуска Azure DevOps - версия удаленной отладки, неверный запрос

Как вывести zip-файл в Luigi Task?

Ответы 1

Другие вопросы по теме

Похожие вопросы