Очистка веб-страницы javascript с помощью phantomJS

Я пытаюсь очистить динамическую веб-страницу с помощью phantomJS. Ниже приведен код и URL-адрес, который я пытаюсь очистить. Код работает для других URL-адресов, но этот всегда возвращается как пустой HTML-документ. Кто-нибудь знает, как это исправить?

Я не очень хорошо знаком с javascript, поэтому этот код был скопирован откуда-то еще. Я увеличил время ожидания с 2,5 до 30 секунд, и это не имело значения.

var url ='https://www.amazon.com/gp/profile/amzn1.account.AFJ6MBZ5CSY4R6K4USNMQ7JWEQCA/';
var page = new WebPage()
var fs = require('fs');


page.open(url, function (status) {
        just_wait();
});

function just_wait() {
    setTimeout(function() {
            fs.write('page.html', page.content, 'w');
        phantom.exit();
    }, 30000);
}
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
Поведение ключевого слова "this" в стрелочной функции в сравнении с нормальной функцией
В JavaScript одним из самых запутанных понятий является поведение ключевого слова "this" в стрелочной и обычной функциях.
Концепция локализации и ее применение в приложениях React ⚡️
Концепция локализации и ее применение в приложениях React ⚡️
Локализация - это процесс адаптации приложения к различным языкам и культурным требованиям. Это позволяет пользователям получить опыт, соответствующий...
Улучшение производительности загрузки с помощью Google Tag Manager и атрибута Defer
Улучшение производительности загрузки с помощью Google Tag Manager и атрибута Defer
В настоящее время производительность загрузки веб-сайта имеет решающее значение не только для удобства пользователей, но и для ранжирования в...
Безумие обратных вызовов в javascript [JS]
Безумие обратных вызовов в javascript [JS]
Здравствуйте! Юный падаван 🚀. Присоединяйся ко мне, чтобы разобраться в одной из самых запутанных концепций, когда вы начинаете изучать мир...
Система управления парковками с использованием HTML, CSS и JavaScript
Система управления парковками с использованием HTML, CSS и JavaScript
Веб-сайт по управлению парковками был создан с использованием HTML, CSS и JavaScript. Это простой сайт, ничего вычурного. Основная цель -...
JavaScript Вопросы с множественным выбором и ответы
JavaScript Вопросы с множественным выбором и ответы
Если вы ищете платформу, которая предоставляет вам бесплатный тест JavaScript MCQ (Multiple Choice Questions With Answers) для оценки ваших знаний,...
0
0
872
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вот как я решил такие вопросы.

app.js

var url ='https://www.amazon.com/gp/profile/amzn1.account.AFJ6MBZ5CSY4R6K4USNMQ7JWEQCA/';
var steps=[];
var testindex = 0;
var loadInProgress = false;

//This is set to true when a page is still loading
/*********SETTINGS*********************/
var settings   = require('./settings');
var webPage = require('webpage');
var page = webPage.create();
var fs = require('fs');
page.settings.userAgent = settings.userAgents.desktop;
page.settings.javascriptEnabled = true;
page.settings.loadImages = false;
//Script is much faster with this field set to false
phantom.cookiesEnabled = true;
phantom.javascriptEnabled = true;

page.viewportSize = {
  width: settings.viewport.desktop.width,
  height: settings.viewport.desktop.height
};

/*********SETTINGS END*****************/
console.info('All settings Loaded, Start With Execution');
/**********DEFINE STEPS THAT PHANTOM SHOULD DO***********************/
steps = [
    function(){
      console.info("Step 1 - Load Page => "+url);
      page.open(url, function(status){
        if (status === 'success'){
          console.info('Loaded');
        }else{
          console.info('Error Loading Page. Try Logging In Again');
          phantom.exit(0);
        }
      });
    },
    function(){
      page.render('./test.png');
    },
];

/**********END STEPS THAT PHANTOM SHOULD DO***********************/
interval = setInterval(executeRequestsStepByStep, 3000);
function executeRequestsStepByStep(){
  if (loadInProgress == false && typeof steps[testindex] == "function") {
    steps[testindex]();
    testindex++;
    return;
  }

  if (typeof steps[testindex] != "function") {
    console.info("Quiting");
    fs.write('page.html', page.content, 'w');
    phantom.exit(0);
  }
}
/*
 * These listeners are very important in order to phantom work properly.
 * Using these listeners, we control loadInProgress marker which controls, weather a page is fully loaded.
 * Without this, we will get content of the page, even a page is not fully loaded.
 */

page.onLoadStarted = function() {
    loadInProgress = true;
};
page.onLoadFinished = function() {
    loadInProgress = false;
};
page.onConsoleMessage = function(msg) {
    // console.info(msg);
};

phantom.onError = function(msg, trace) {
  var msgStack = ['PHANTOM ERROR: ' + msg];
  if (trace && trace.length) {
    msgStack.push('TRACE:');
    trace.forEach(function(t) {
      msgStack.push(' -> ' + (t.file || t.sourceURL) + ': ' + t.line + (t.function ? ' (in function ' + t.function +')' : ''));
    });
  }
  console.error(msgStack.join('\n'));
  phantom.exit(1);
};

settings.js

module.exports = {
  viewport: {
    desktop: {
      height: 663,
      width: 1200
    }
  },
  userAgents: {
    desktop: 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'
  }
};

Я тестировал это, и это отлично работает.

ОК. Таким образом, загружается веб-страница, но не содержимое раздела «Действия сообщества», который я пытаюсь очистить. Это определенно ближе, чем я был раньше.

Shawn Mengel 15.05.2018 13:59

interval = setInterval (executeRequestsStepByStep, 3000); увеличьте время в этой строке, скажем, 20000 Итак, все содержимое загружается.

Muhammad Zubair Saleem 15.05.2018 14:00

если вы попытаетесь выполнить поиск в HTML-странице, вы найдете там все, но из-за чего-то данные скрыты.

Muhammad Zubair Saleem 15.05.2018 14:08

Теперь я это вижу. Спасибо!

Shawn Mengel 15.05.2018 17:04

Спасибо, если это решит вашу проблему, пожалуйста, проголосуйте за эти ответы, чтобы другие тоже могли получить пользу. С наилучшими пожеланиями

Muhammad Zubair Saleem 15.05.2018 17:05

Другие вопросы по теме