Javascript - сохранить regEx в заданном объекте?

Я сделал простой краулер на simplecrawler: D

Его конструктор имеет объект набора, который содержит посещенные URL-адреса:

this.visited = new Set();

Сюда будет добавлен любой недопустимый URL:

this.visited.add(url);

В настоящее время, когда в очередь добавляется новый URL, я проверяю, посещается ли он:

if (this.visited.has(newURL))

Могу ли я иметь regEx в этом заданном объекте, чтобы заблокировать URL-адрес с определенного сайта, который будет использоваться, как показано ниже?

// to block www.xxx.com/123, www.xxx.com/456, www.xxx.com/789
this.visited.add('/www\.xxx\.com/\d/g');

if (this.visited.has(givenURL))
  // do not visit
else
  // visit

Если это можно сделать, как лучше всего это сделать?

Я бы сделал это, вероятно, получив имя домена из url-адреса с помощью регулярного выражения, а затем добавив его в Set. Затем всякий раз, когда вы проверяете посещенный URL-адрес, а не полный URL-адрес, вы можете проверить, посещался ли домен.

— 27.04.2018 05:18

javascript node.js regex

27.04.2018 05:07

Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией

В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.

Концепция локализации и ее применение в приложениях React ⚡️

Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...

Улучшение производительности загрузки с помощью Google Tag Manager и атрибута Defer

В настоящее время производительность загрузки веб-сайта имеет решающее значение не только для удобства пользователей, но и для ранжирования в...

Безумие обратных вызовов в javascript [JS]

Здравствуйте! Юный падаван 🚀. Присоединяйся ко мне, чтобы разобраться в одной из самых запутанных концепций, когда вы начинаете изучать мир...

Система управления парковками с использованием HTML, CSS и JavaScript

Веб-сайт по управлению парковками был создан с использованием HTML, CSS и JavaScript. Это простой сайт, ничего вычурного. Основная цель -...

JavaScript Вопросы с множественным выбором и ответы

Если вы ищете платформу, которая предоставляет вам бесплатный тест JavaScript MCQ (Multiple Choice Questions With Answers) для оценки ваших знаний,...

340

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вы можете перебрать Set и проверить, соответствует ли URL элементу в наборе:

this.visited = new Set();
var BreakException = {};
this.visited.add('www\\.xxx\\.com/\\d+');
this.visited.add('www.xxx.com/123')
try {
    this.visited.forEach(function(x) {
        if ('www.xxx.com/123'.match(new RegExp(x))) {
            var visited = true;
            throw BreakException;
        }
    });
} catch (e) {
    // do not visit
}
if (visited) {
    // visit
}

Обратите внимание на URL-адрес, который я добавил в набор. Тот, который вы использовали в вопросе, не сработает.

Вы должны вызвать исключение, чтобы разорвать цикл, поскольку Array.forEach не поддерживает break;.

27.04.2018 09:19