Зависимости библиотеки для `TFNerDLGraphBuilder()` для Spark с Scala
Кто-нибудь может сказать, что такое libraryDependencies для TFNerDLGraphBuilder() для Spark со Scala? Выдает ошибку, Cannot resolve symbol TFNerDLGraphBuilder
Я вижу, что это работает для ноутбука, как указано ниже
https://github.com/JohnSnowLabs/spark-nlp-workshop/blob/master/tutorials/Certification_Trainings/Public/4.NERDL_Training.ipynb
Ответы 1
Графики TensorFlow в Spark NLP строятся с использованием TF Python API. Насколько мне известно, java-версия для создания графа Conv1D/BiLSTM/CRC не включена.
Итак, вам нужно сначала создать его, следуя инструкциям в:
https://nlp.johnsnowlabs.com/docs/en/training#tensorflow-graphs
Это создаст файл pb TensorFlow, который вы должны включить в аннотатор NerDLApproach. Например:
val nerTagger = new NerDLApproach()
.setInputCols("sentence", "token", "embeddings")
.setOutputCol("ner")
.setLabelColumn("label")
.setMaxEpochs(100)
.setRandomSeed(0)
.setPo(0.03f)
.setLr(0.2f)
.setDropout(0.5f)
.setBatchSize(100)
.setVerbose(Verbose.Epochs)
.setGraphFolder(TfGrpahPath)
Обратите внимание, что вы должны сначала включить аннотацию для внедрения, и что процесс обучения будет выполняться в драйвере. Он не распространяется, как это могло бы быть с BigDL.