Запись данных в несколько файлов в цикле for с использованием Node.js
В моем текущем проекте я читаю данные через API, и я хотел бы иметь несколько файлов для каждого устройства (у меня около 100 устройств), и для каждого устройства я хотел бы создать файл .csv, записать несколько строк в файл (используя node csv-write-stream package) и закройте файл. Точно так же я хотел бы проделать одну и ту же операцию для каждых 100 устройств. Я пробовал следующий код, но получаю сообщение об ошибке:
writing after end
var csvWriter = require('csv-write-stream');
var writer = csvWriter({ headers: ["TimeStamp", "Gas","gw_temp","rh","abrasion","sensor_temp"]});
for(let j=0;j<data.length;j++){
// Create file for each devices
await writer.pipe(fs.createWriteStream(data[j][0] + '.csv',{flags:"a"}));
// Get data through API
await axios.get([API CALL URL].join('/'), getConfig)
.then(async (response) => {
let res = await response.data;
if (res.length!=0){
for (let i = 0; i < res.length; i++) {
// Write data to csv file
await writer.write(res[i]);
}
}
})
.catch((error) => {
if (error.response) {
console.info("Error in response", error.message);
} else {
console.info("Other error", error.message);
}
});
await writer.end();
await console.info("File writing done",data[j][0]);
}
}
Похоже, я упустил какую-то мелочь, но не смог ее распознать.
Также ссылаюсь на эту ссылку: "Ошибка: запись после завершения" с помощью csv-write-stream
Обновлено
Если я удалю блок catch, он выдаст следующую ошибку:
(node:13264) UnhandledPromiseRejectionWarning: Error: write after end at writeAfterEnd (_stream_writable.js:236:12) at CsvWriteStream.Writable.write (_stream_writable.js:287:5)
async/await должен получить выполнение обещания, а catch должен поймать ошибку от API.
Дело в том, что вы вообще пользуетесь одним из другого, а не комбинируете их. async / await - это синтаксис для использования обещаний с синхронно выглядящим кодом, обычно вам не нужны .then или .catch (в функции async, .then => await, .catch => try / catch). Предложите какой-нибудь чтение. :-)
Наконец: что такое writer в этом коде? Вы уверены, что сможете использовать его в таком виде? (Учитывая ошибку, я думаю, что вы, вероятно, не сможете.)
Я обновил код. Не могли бы вы проверить это еще раз? Да, мне нужно повторно использовать writer для каждого устройства.
@ T.J.Crowder: Если я удалю блок catch, это произойдет из-за ошибки, как указано в обновленном вопросе.
Я никогда не говорил Удалить обработчик ошибок. Как я сказал выше: в функции async.catch => try / catch. Пожалуйста, еще раз найдите время, чтобы прочитать страница MDN о функциях async.
Позвольте нам продолжить обсуждение в чате.
Я думаю, что лучше просто оставить вас в покое. Удачного кодирования.
@ T.J. Crowder: Наконец, я нашел решение.
![Безумие обратных вызовов в javascript [JS]](https://i.imgur.com/WsjO6zJb.png)
Ответы 1
Наконец, я нашел решение. Мне нужно инициализировать переменную writer каждый раз перед записью данных в файл, поскольку он заканчивается на writer.end(). Я делюсь кодом:
// Get sensor measurement data for each devices
for(let j=0;j<data.length;j++){
// Intialize the writer everytime before creating a file
var writer = csvWriter({ headers: ["TimeStamp", "Gas","gw_temp","rh","abrasion","sensor_temp"]});
await writer.pipe(fs.createWriteStream(data[j][0] + '.csv'));
await axios.get([API CALL URL].join('/'), getConfig)
.then(async (response) => {
let res = await response.data;
//console.info(res.length);
if (res.length!=0){
for (let i = 0; i < res.length; i++) {
await writer.write(res[i]);
}
}
await console.info("File writing done",data[j][0]);
await writer.end();
})
.catch((error) => {
if (error.response) {
console.info("Error in response", error.message);
} else {
console.info("Other error", error.message);
}
});
}
Почему вы комбинируете
async/awaitи.then/.catch? Аналогично, в строкеlet res = await response.data;, является лиresponse.dataВ самом деле обещанием?