Превышен предел скорости пользователя с API Google Drive

403: Превышен предел скорости пользователя - защита от флуда. Пользователь может делать только определенное количество запросов за раз. к сожалению, ограничение скорости пользователя не отображается на графике, на который вы смотрите. Этот график действительно плохо показывает, что на самом деле происходит. Google тестирует в фоновом режиме и выдает ошибку, если вы превышаете свой лимит. Они не обязаны показывать нам, что на графике

403: User Rate Limit Exceeded

The per-user limit has been reached. This may be the limit from the Developer Console or a limit from the Drive backend.

{ "error": { "errors": [ { "domain": "usageLimits", "reason": "userRateLimitExceeded", "message": "User Rate Limit Exceeded" } ], "code": 403, "message": "User Rate Limit Exceeded" } }

Suggested actions:

• Raise the per-user quota in the Developer Console project.
• If one user is making a lot of requests on behalf of many users of a G Suite domain, consider a Service Account with authority delegation (setting the quotaUser parameter).
• Use exponential backoff.

ИМО, главное, что нужно сделать, когда вы начнете сталкиваться с этим сообщением об ошибке, - это реализовать экспоненциальный откат, чтобы ваше приложение могло замедлиться и снова сделать запрос.

В моем случае я параллельно просматривал папки Google Диска и получал эту ошибку. Я решил проблему, реализовав ограничение скорости на стороне клиента с помощью библиотеки Узкое место с задержкой 110 мс между запросами:

const limiter = new Bottleneck({
    // Google allows 1000 requests per 100 seconds per user,
    // which is 100ms per request on average. Adding a delay
    // of 100ms still triggers "rate limit exceeded" errors,
    // so going with 110ms.
    minTime: 110,
});

// Wrap every API request with the rate limiter
await limiter.schedule(() => drive.files.list({
    // Params...
}));

Я использовал библиотеку ограничитель, чтобы установить ограничение «1000 запросов в 100 секунд», но все равно получал 403 ошибки. Наконец я наткнулся на страницу это, где упоминается, что:

In the API Console, there is a similar quota referred to as Requests per 100 seconds per user. By default, it is set to 100 requests per 100 seconds per user and can be adjusted to a maximum value of 1,000. But the number of requests to the API is restricted to a maximum of 10 requests per second per user.

Поэтому я обновил библиотеку ограничителей, чтобы разрешать только 10 запросов в секунду вместо 1000 каждые 100 секунд, и это работало как шарм.

const RateLimiter = require('limiter').RateLimiter;

const limiter = new RateLimiter(10, 1000);

Вы можете использовать созданную мной библиотеку с нулевой зависимостью под названием Очередь с ограничением скорости, чтобы ограничить скорость выполнения задач в очереди.

Ограничение 10 запросов в секунду может быть достигнуто следующим образом:

const createQueue = require("rate-limited-queue");

const queue = createQueue(
  1000 /* time based sliding window */,
  10 /* max concurrent tasks in the sliding window */);

const results = await queue([
  () => { /* a request code goes here */ },
  () => { /* another request code goes here */ }
  // ...
]);

Вы можете скачать любой конкретный файл с Google Диска в свой колаб .. использовать

! gdown https://drive.google.com/uc?id=14ikT5VererdfeOnQtIJREINKSDN

где значение идентификатора сообщения - это то, что вы получите, когда нажмете ссылку для общего доступа к файлу на диске