Получение общего количества просмотров страниц из (французской) Википедии по страницам

Вы можете скачать дампы всех просмотров страниц отсюда: https://dumps.wikimedia.org/other/pageviews/

Нашел это: https://dumps.wikimedia.org/other/pagecounts-ez/merged/, который представляет собой объединенные дампы просмотров страниц. Задокументировано здесь: https://wikitech.wikimedia.org/wiki/Analytics/Data_Lake/Traffic/Просмотры страниц

Вот пример скрипта Python, который тривиально печатает каждую строку одного из файлов.

import csv
import bz2
from pprint import pprint

with bz2.open("pagecounts-2011-12-views-ge-5-totals.bz2", "rt", errors = "replace") as fichier:
    for line in fichier:
        text = line.split()
        if (text[0] == "fr"):
            pprint(text)

С такими файлами, по одному в месяц, стало легко настроить такой рабочий процесс: отфильтровать залоговые права, которые мне действительно нужны (французская вики), ЗАГРУЗИТЬ ДАННЫЕ INFILE в базу данных MySQL и снова запросить их с помощью Python.

API Википедии является мощным, например, это может получить просмотр страницы Apollo_10 французской Википедии. Сделать скрипт на основе этого не так уж и сложно.

Если вы считаете, что использовать API для запросов ко всем сайтам тяжело, вы можете использовать google bigquery. У него есть данные о просмотрах страниц в открытом наборе данных. Об этом есть руководство.

Вот мой пример:

1. Получите доступ к консоли bigqery.
2. Введите содержимое ниже в ответ.

select * from `bigquery-public-data.wikipedia.pageviews_2015` where datehour = '2015-07-12 18:00:00 UTC';

3. И вы получите таблицу, содержащую все данные о просмотрах страниц на данный момент.

Если вы хотите получить конкретную страницу французской вики, вы можете указать «wiki=fr» и «title = xxx». Поскольку я новичок в bigquery, я не знаю, как запрашивать данные через таблицу и экспортировать. Но это возможно из-за моего плохого знания SQL. Вы можете агрегировать данные по заголовку и экспортировать результат.

Единственная проблема в том, что bigquery платный. Например, запрос выше стоил 6 ГБ. Запросы (по требованию) бесплатны для первого 1 ТБ и 5 долларов за ТБ после. Bigquery будет взимать плату в соответствии с данными, обработанными в выбранных вами столбцах, даже если вы используете «лимит». Так что это может стоить дорого.