Как выполнить фоновую загрузку и очистку страницы с помощью расширения XUL / Firefox

Из привилегированного JavaScript, то есть JS в расширении, вы можете создавать скрытые iframe; загрузка указанной страницы так же проста, как установка местоположения на этом фрейме.

Если вы открываете простую статическую страницу, которой владеете, set_timeout подойдет. Но в таком случае почему бы не использовать XHR?

Если вы просматриваете произвольные страницы с динамическими элементами или большим количеством контента, я бы рекомендовал запускать очистку страницы с помощью обработчиков событий Document.onload. Это намного надежнее, и вы можете сообразить, как очистить страницу как можно раньше, но когда вы знаете, что необходимый контент есть.

Я не думаю, что есть специальный учебник по этому поводу, но Центр разработчиков Mozilla, который, я уверен, вы уже нашли, абсолютно превосходен - на мой взгляд, лучшая онлайн-техническая документация!

Я не уверен, полностью ли понял вопрос, но постараюсь ответить на несколько очевидных альтернативных вопросов:

Если вы ищете парсинг статических веб-страниц, BeautifulSoup (Python) - один из лучших и самых простых.

Если вы ищете изменения на странице на основе Ajax, которые со временем меняются, вам придется продолжать запускать код в бесконечном цикле. Но не опрашивайте сайт слишком часто, он обнаружит потребление полосы пропускания и может заблокировать ваш IP, поэтому опрашивайте через некоторый интервал.

Если вы хотите очистить некоторые отрисованные javascript тикеры или что-то в этом роде, это невозможно сделать, пока страница не будет отрисована, следовательно, это невозможно с одним BeautifulSoup. вам придется использовать безголовый браузер, такой как Лом - Similie (использует XULRunner), который отображает содержимое javascript в безголовом браузере, и вывод этого визуализированного содержимого может использоваться в качестве входных данных для парсера BeautifulSoup.

Взгляните на XMLHttpRequest, должно вас начать.

В случае XUL / Firefox вам понадобится интерфейс nsIIOService, который можно получить следующим образом:

var mIOS = Components.classes["@mozilla.org/network/io-service;1"].
   getService(Components.interfaces.nsIIOService);

Затем вам нужно создать канал и открыть асинхронную ссылку:

var channel = mIOS.newChannel(urlToOpen, 0, null);
channel.asyncOpen(new StreamListener(), channel);

Ключевым моментом здесь является объект StreamListener:

var StreamListener = function() {
    return {
        QueryInterface: function(aIID) {
            if (aIID.equals(Components.interfaces.nsIStreamListener) ||
                aIID.equals(Components.interfaces.nsISupportsWeakReference) ||
                aIID.equals(Components.interfaces.nsISupports))
                return this;
            throw Components.results.NS_NOINTERFACE;

        onStartRequest: function(aRequest, aContext)
           { return 0; },

        onStopRequest: function(aRequest, aChannel /* aContext */, aStatusCode)
           { return 9; },

        onDataAvailable: function(aRequest, aContext, aStream, aOffset, aCount)
           { return 0; }
    };
}

Вы должны заполнить детали в функциях onStartRequest, onStopRequest, onDataAvailable, но этого должно быть достаточно, чтобы вы начали. Вы можете посмотреть, как я использовал этот интерфейс в своем расширении Firefox (он называется IdentFavIcon, и его можно найти на сайте надстроек Mozilla).

Часть, в которой я не уверен, - это то, как вы можете время от времени запускать этот запрос страницы, хотя set_timeout(), вероятно, должен работать.

Редактировать:

1. См. Пример здесь (см. Раздел Загрузка изображений) для примера того, как собрать загруженные данные в одну переменную; а также
2. См. эта страница о том, как преобразовать источник HTML в дерево DOM.

HTH.