Как передать параметр скрипту Python в Nifi

Думаю, я понимаю ваш вопрос, но он несколько неоднозначен в отношении вашего потока. Я отвечаю на несколько возможных сценариев.

1. У вас есть процессор, который получает данные из источника (например, FetchFTP) и подключен к процессору ExecuteScript, который содержит скрипт Python для преобразования этих значений. В этом случае сценарий Python может работать с атрибутами и содержимым потокового файла напрямую, используя стандартный API. См. В Блог Мэтта Берджесса множество примеров написания пользовательских сценариев для работы с данными.
2. У вас есть процессор, который получает данные из источника и подключен к процессору ExecuteStreamCommand, который вызывает внешний скрипт Python с помощью такой команды, как python my_external_script.py arg1 arg2 .... В этом случае содержимое потокового файла передается в STDIN процессором ExecuteStreamCommand, поэтому ваш сценарий должен использовать его таким образом. Этот ответ объясняет больше об использовании ExecuteStreamCommand со скриптами Python.
3. У вас есть собственный процессор, который внутренне вызывает отдельный процесс Python. Это плохая идея, и ее следует переделать на одну из других моделей. Это нарушает разделение задач, теряет поддержку жизненного цикла процессора, скрывает обработку потоков и синхронизацию, не обеспечивает видимости происхождения и идет вразрез с моделью разработки NiFi.

Если ваш сценарий Python очень прост, вы можете поместить его в ScriptedRecordWriter и использовать его для одновременной обработки нескольких «записей», чтобы получить преимущества в производительности. Это может быть расширено для вашего варианта использования, в зависимости от того, как выглядит ваш поток и входящие данные.

Обновление 2018-10-03 10:50

Попробуйте использовать этот скрипт в теле ExecuteScript:

import json
import java.io
from org.apache.commons.io import IOUtils
from java.nio.charset import StandardCharsets
from org.apache.nifi.processor.io import StreamCallback

class PyStreamCallback(StreamCallback):
    def __init__(self):
        pass
    def process(self, inputStream, outputStream):
        text = IOUtils.toString(inputStream, StandardCharsets.UTF_8)
        result = parse_zap(text)

        outputStream.write(bytearray(result.encode('utf-8')))

flowFile = session.get()
if (flowFile != None):
    flowFile = session.write(flowFile,PyStreamCallback())
    flowFile = session.putAttribute(flowFile, "parsed_zap", "true")
    session.transfer(flowFile, REL_SUCCESS)

// Your parse_zap() method here, with the signature changed to just accept a single string
...

Взгляните на этот сценарий:

import json
import java.io
from org.apache.commons.io import IOUtils
from java.nio.charset import StandardCharsets
from org.apache.nifi.processor.io import StreamCallback

class PyStreamCallback(StreamCallback):
  def __init__(self):
        pass
  def process(self, inputStream, outputStream):
    text = IOUtils.readLines(inputStream, StandardCharsets.UTF_8)
    for line in text[1:]:
        outputStream.write(line + "\n") 

flowFile = session.get()
if (flowFile != None):
  flowFile = session.write(flowFile,PyStreamCallback())
  flowFile = session.putAttribute(flowFile, "filename", flowFile.getAttribute('filename').split('.')[0]+'_translated.json')
  session.transfer(flowFile, REL_SUCCESS)

Требуется от свойства количество строк, которые нужно удалить из потокового файла, а затем взять потоковый файл и записать его снова без этих строк, это простой и хороший пример того, как использовать свойства и как использовать потоковый файл. .

Основываясь на обновленном коде, ваш код должен выглядеть так:

import datetime
import hashlib
from urlparse import urlparse, parse_qs
import sys
from urlparse import urlparse, parse_qs
from datetime import *
import json
import java.io
from org.apache.commons.io import IOUtils
from java.nio.charset import StandardCharsets
from org.apache.nifi.processor.io import StreamCallback
from time import time


class PyStreamCallback(StreamCallback):
  def __init__(self):
        pass
  def process(self, inputStream, outputStream):
    data = inputStream
    buf = (hashlib.sha256(bytearray.fromhex(data)).hexdigest())
    buf = int(buf, 16)
    buf_check = str(buf)
    if buf_check[17] == 2:
        pass
    datetime_now = datetime.now()
    log_date = datetime_now.isoformat()
    try:
        mac = buf_check[7:14].upper()
        ams_id = buf_check[8:]
        action = buf_check[3:4]
        time_a = int(time())
        dict_test = {
        "user": {
            "guruq" : 'false'
        },
        "device" : {
            "type" : "siolbox",
            "mac": mac
        },
        "event" : {
            "origin" : "iptv",
            "timestamp": time_a,
            "type": "zap",
            "product-type" : "tv-channel",
            "channel": {
                "id" : 'channel_id',
                "ams-id": ams_id
            },
            "content": {
                "action": action
            }
        }
        }
        return dict_test
    except Exception as e:
        print('%s nod PARSE 500 \"%s\"' % (log_date, e))

flowFile = session.get()
if (flowFile != None):
  flowFile = session.write(flowFile,PyStreamCallback())
  flowFile = session.putAttribute(flowFile, "filename", flowFile.getAttribute('filename').split('.')[0]+'_translated.json')
  session.transfer(flowFile, REL_SUCCESS)