Загрузка файла AWS SDK в S3 через Node/Express с использованием потока PassThrough — файл всегда поврежден

Насколько я могу судить, Postman ведет себя так, как должен — «вставка текста» на самом деле является веб-стандартом, используемым для идентификации/разграничения файлов при загрузке. Пожалуйста, ознакомьтесь с этим веб-документом MDN , а также этим, чтобы понять почему.

На самом деле эта часть внедряется независимо от типа файла:

let streamPass = new stream.PassThrough();
// adding this
const chunks = [];
streamPass.on('data', (chunk) => chunks.push(chunk) );
streamPass.on("end", () => {
    body = Buffer.concat(chunks).toString();
    console.info(chunks, chunks.length)
    console.info("finished", body);  // <-- see it here
});

Я попробовал несколько методов, чтобы контролировать/изменить это, но не повезло с простым методом - со стороны Postman, я не думаю, что это параметр, который можно изменить, и со стороны NodeJS... Я имею в виду, что это возможно, но решение, скорее всего, будет неуклюжим/сложным, что, как я подозреваю, вам не нужно. (хотя могу ошибаться...)

Учитывая вышеизложенное, я присоединяюсь к @relief.melone и рекомендую multer как простое решение.

Если вы хотите использовать multer с streams, попробуйте следующее: (я указал, где я внес изменения в ваш код):

// const uploadStream = (key) => {
const uploadStream = (key, mime_type) => {      // <- adding the mimetype

    let streamPass = new stream.PassThrough();
    
    let params = {
        Bucket: BUCKET_NAME,
        Key: key,
        Body: streamPass,
        ACL: 'public-read', // <- you can remove this
        ContentType: mime_type  // <- adding the mimetype
    };
    let streamPromise = s3.upload(params, (err, data) => {
        if (err) {
            console.error("ERROR: uploadStream:", err);
        } else {
            console.info("INFO: uploadStream:", data);
        }
    }).promise();
    
    return {
        streamPass: streamPass,
        streamPromise: streamPromise
    };
};

// router.post("/upload", async (req, res) => {
router.post("/upload", multer().single('file'), async (req, res) => {      // <- we're adding multer
    try {
        
        let key = req.query.file_name;
        // === change starts here 

            // console.info(req.file); // <- if you want to see, uncomment this file

            let { streamPass, streamPromise } = uploadStream(key, req.file.mimetype);   // adding the mimetype

            var bufferStream = new stream.PassThrough();

            bufferStream.end(req.file.buffer);

            bufferStream.pipe(streamPass); // no longer req.pipe(streamPass);

        // === change ends here 
        await streamPromise;
        
        res.status(200).send({ result: "Success!" });
    } catch (e) {
        console.info(e)
        res.status(500).send({ result: "Fail!" });
    }
});

Мультер - это то, что нужно.

Он предоставляет несколько различных режимов, но, насколько я могу судить, вам нужно написать собственный обработчик хранилища, чтобы получить доступ к базовому потоку, иначе он будет буферизовать все данные в памяти и выполнять обратный вызов только после того, как это будет сделано. .

Если вы отметите req.file в своем обработчике маршрута, Multer обычно предоставляет буфер под полем buffer, но его больше нет, так как я ничего не передаю в обратном вызове, поэтому я достаточно уверен, что поток идет так, как ожидалось.

Ниже приведено рабочее решение.

Примечание: parse.single('image') передается в обработчик маршрута. Это относится к имени поля из нескольких частей, которое я использовал.

const aws = require('aws-sdk');
const stream = require('stream');
const express = require('express');
const router = express.Router();
const multer = require('multer')

const AWS_ACCESS_KEY_ID = "XXXXXXXXXXXXXXXXXXXX";
const AWS_SECRET_ACCESS_KEY = "superSecretAccessKey";
const BUCKET_NAME = "my-bucket";
const BUCKET_REGION = "us-east-1";

const s3 = new aws.S3({
    region: BUCKET_REGION,
    accessKeyId: AWS_ACCESS_KEY_ID,
    secretAccessKey: AWS_SECRET_ACCESS_KEY
});

const uploadStream = key => {
    let streamPass = new stream.PassThrough();
    let params = {
        Bucket: BUCKET_NAME,
        Key: key,
        Body: streamPass
    };
    let streamPromise = s3.upload(params, (err, data) => {
        if (err) {
            console.error('ERROR: uploadStream:', err);
        } else {
            console.info('INFO: uploadStream:', data);
        }
    }).promise();
    return {
        streamPass: streamPass,
        streamPromise: streamPromise
    };
};

class CustomStorage {
    _handleFile(req, file, cb) {
        let key = req.query.file_name;
        let { streamPass, streamPromise } = uploadStream(key);
        file.stream.pipe(streamPass)
        streamPromise.then(() => cb(null, {}))
    }
}

const storage = new CustomStorage();
const parse = multer({storage});

router.post('/upload', parse.single('image'), async (req, res) => {
    try {
        res.status(200).send({ result: 'Success!' });
    } catch (e) {
        console.info(e)
        res.status(500).send({ result: 'Fail!' });
    }
});

module.exports = router;

Обновление: лучшее решение

Решение на основе Multer , которое я представил выше, немного хакерское. Поэтому я заглянул под капот, чтобы увидеть как это работает . Это решение просто использует Busboy для анализа и потоковой передачи файла. Multer на самом деле является просто оболочкой для этого с некоторыми удобными функциями дискового ввода-вывода.

const aws = require('aws-sdk');
const express = require('express');
const Busboy = require('busboy');
const router = express.Router();

const AWS_ACCESS_KEY_ID = "XXXXXXXXXXXXXXXXXXXX";
const AWS_SECRET_ACCESS_KEY = "superSecretAccessKey";
const BUCKET_NAME = "my-bucket";
const BUCKET_REGION = "us-east-1";

const s3 = new aws.S3({
    region: BUCKET_REGION,
    accessKeyId: AWS_ACCESS_KEY_ID,
    secretAccessKey: AWS_SECRET_ACCESS_KEY
});

function multipart(request){
    return new Promise(async (resolve, reject) => {
        const headers = request.headers;
        const busboy = new Busboy({ headers });
        // you may need to add cleanup logic using 'busboy.on' events
        busboy.on('error', err => reject(err))
        busboy.on('file', function (fieldName, fileStream, fileName, encoding, mimeType) {
            const params = {
                Bucket: BUCKET_NAME,
                Key: fileName,
                Body: fileStream
            };
            s3.upload(params).promise().then(() => resolve());
        })
        request.pipe(busboy)
    })
}

router.post('/upload', async (req, res) => {
    try {
        await multipart(req)
        res.status(200).send({ result: 'Success!' });
    } catch (e) {
        console.info(e)
        res.status(500).send({ result: 'Fail!' });
    }
});

module.exports = router;