NodeJS запускает несколько потоков чтения параллельно

Мне интересно, как правильно обрабатывать несколько потоков чтения асинхронно, чтобы я мог объединить результаты в один файл. Потоки чтения поступают из файлов на сервере SFTP, для чтения я использую библиотеку ssh2-sftp-client.

Это то, чем я хочу заниматься.

const fs = require('fs');
const Client = require('ssh2-sftp-client');
const concat = require('concat-stream');

const sftp = new Client();
sftp.connect(configObj).then(() => {

  const fileNames = ['file1', 'file2'];
  const streamPromiseArr = [];

  // Loop through the files
  for (fileName of fileNames) {

    // Collect the promises (each promise resolves to a final buffer)
    const streamPromise = new Promise((resolve, reject) => {
      sftp.get(fileName, true, 'utf8').then((stream) => {
        stream
          .pipe(decrypt)
          .pipe(unzipper.Parse())
          .pipe(selectFile)
          .pipe(filterArray)
          .pipe(concat(res => resolve(res)))
      })
    });
    streamPromiseArr.push(streamPromise);
  }

  // Collect all the buffers and write them to a file
  Promise.all(streamPromiseArr).then((buffArr) => {
    const finalBuff = Buffer.concat(buffArr);
    fs.writeFile('consolidate_file.csv', finalBuff, ((err) => {
      if (err) console.info(err);
    }));
  }).then(() => sftp.end());
})

Это дает мне ошибку:

TypeError: cb is not a function
    at afterWrite (_stream_writable.js:454:3)
    at onwrite (_stream_writable.js:445:7)
    at /Users/jonlamb/projects/node-test/node_modules/unzipper/lib/PullStream.js:59:60
    at afterWrite (_stream_writable.js:454:3)
    at _combinedTickCallback (internal/process/next_tick.js:144:20)
    at process._tickCallback (internal/process/next_tick.js:180:9)

Я считаю, что это связано с тем, когда я звоню в sftp.end(). Я не знаю, почему это так, но если я привяжу sftp.end() к концу обещания sftp.get(), я не получу ошибки, но затем соединение будет закрыто для второго цикла, так что это не удастся.

Не похоже, что вы передаете обратный вызов fs.writeFile(). И вы не возвращаете обещание в этом then(), что означает, что sftp.end() будет вызван до завершения fs.writeFile. Вам нужен способ узнать, когда вы закончите писать файлы.

Mark 04.10.2018 18:12
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Улучшение производительности загрузки с помощью Google Tag Manager и атрибута Defer
Улучшение производительности загрузки с помощью Google Tag Manager и атрибута Defer
В настоящее время производительность загрузки веб-сайта имеет решающее значение не только для удобства пользователей, но и для ранжирования в...
Безумие обратных вызовов в javascript [JS]
Безумие обратных вызовов в javascript [JS]
Здравствуйте! Юный падаван 🚀. Присоединяйся ко мне, чтобы разобраться в одной из самых запутанных концепций, когда вы начинаете изучать мир...
Система управления парковками с использованием HTML, CSS и JavaScript
Система управления парковками с использованием HTML, CSS и JavaScript
Веб-сайт по управлению парковками был создан с использованием HTML, CSS и JavaScript. Это простой сайт, ничего вычурного. Основная цель -...
JavaScript Вопросы с множественным выбором и ответы
JavaScript Вопросы с множественным выбором и ответы
Если вы ищете платформу, которая предоставляет вам бесплатный тест JavaScript MCQ (Multiple Choice Questions With Answers) для оценки ваших знаний,...
1
1
457
0

Другие вопросы по теме