Как (быстро) загрузить огромные объемы данных в Firebase?
Я отправляю данные в Firestore с частотой 33 Гц. Это означает, что со временем сохраняется много данных.
Мне нужно иметь возможность загрузить эти данные. Для этого я создал функцию Http в firebase, которая получает идентификатор пользователя, серийный номер устройства, дату/время начала и дату/время окончания. Затем функция проверяет, существует ли пользователь, а также есть ли у него серийный номер. Затем он запрашивает firestore и добавляет данные в объект JSON, который в конечном итоге отправляется в качестве ответа.
Но, в зависимости от того, как долго был сделан запрос, время ожидания функции истечет. Это работает на короткие промежутки времени.
Что мне сделать, чтобы функция работала быстрее? Я использую неправильный инструмент?
[...]
const nD1 = db.collection('grind-bit').doc(req.query.serial).collection('history').where('date', '>=', startdate).where('date', '<=', enddate).get().then(snapshot => {
snapshot.forEach(doc => {
elem = {};
elem.date = doc.data().date;
elem.rms0 = doc.data().rms0;
elem.rms1 = doc.data().rms1;
elem.rms2 = doc.data().rms2;
data[key].push(elem);
});
if (data[key].length) {
let csv = json2csv(data[key]);
csv = JSON.stringify(csv);
res.set("Content-Type", "text/csv");
return promises.push(res.status(200).send(csv));
} else {
return promises.push(res.status(401).send('No data has been found in this interval.'));
}
[...]
Я сделал это уже. Время тратится в основном на forEach(). Я также пытался увеличить время ожидания, но это не ускоряет работу. Кроме того, я заметил, что эти запросы являются дорогостоящими. Я ищу альтернативу.
Можете ли вы детализировать часть «во время forEach()»? Какая конкретная инструкция там занимает время? Потому что на первый взгляд все кажется довольно простым. Также: сколько элементов вы обрабатываете в этом цикле, когда это становится проблемой? Десятки? Тысячи? Сотни тысяч?
Я ошибался. Я запросил около 10 тысяч документов (по 4 поля в каждом). Это заняло 7,7 секунды до конца .get() и 0,084 секунды во время forEach(). Я хочу иметь возможность получить не менее 200 тыс. документов (или больше). Спасибо за ваше время кстати.
В ПОРЯДКЕ. Поэтому чтение документов не занимает большую часть времени. Но обработка 200 000 документов всегда будет занимать значительное время, а 200 000 * 0,084 с = 16 800 секунд, что намного превышает максимальное время в 60–540 секунд, которое может выполнять облачная функция. Поэтому, если вы не сможете найти способ значительно ускорить обработку каждого документа (кажется маловероятным), вам придется делать то, что я ответил, и обрабатывать данные по частям.
![Безумие обратных вызовов в javascript [JS]](https://i.imgur.com/WsjO6zJb.png)
Ответы 1
Если время ожидания вызвано тем, что вы пытаетесь прочитать/вернуть слишком много данных за один раз, вы можете рассмотреть возможность ограничения объема возвращаемых данных. Добавив в свой запрос предложение limit(), вы можете ограничить максимальное количество данных, которое он возвращает.
const nD1 = db.collection('grind-bit').doc(req.query.serial).collection('history')
.where('date', '>=', startdate).where('date', '<=', enddate)
.limit(100)
.get().then(snapshot => {
snapshot.forEach(doc => {
...
Это, конечно, означает, что вам, возможно, придется вызывать функцию HTTP несколько раз, чтобы убедиться, что вы обрабатываете все данные. Самый простой подход для этого: если вы получаете 100 результатов (или любое ограничение, которое вы укажете), попробуйте еще раз после их обработки.
Также см:
- Документация Firebase по ограничение результатов запроса
Я реализовал это, и это сработало. Во время реализации у меня возникла идея асинхронно разделить запрос на серию более мелких запросов. Тогда ответ придется сортировать, но гораздо быстрее. Спасибо за ваш ответ!
Возможно, вы захотите добавить в свой код несколько операторов журнала, чтобы увидеть, куда идет время. Тайм-аут по умолчанию для облачных функций составляет 60 секунд, поэтому, если вы пройдете этот период, его можно будет найти с помощью простых операторов журнала.