Преобразование DistributedMatrix в массив Scipy sparse или Numpy

Как мне преобразовать некоторый DistributedMatrix обратно в массив Numpy или разреженный массив Scipy?

Очевидно, это не то, что я хочу делать с большим массивом, но это полезно для отладки и тестирования кода перед его запуском на действительно больших данных.

python numpy apache-spark scipy pyspark

08.01.2019 02:01

Почему в Python есть оператор "pass"?

Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.

Некоторые методы, о которых вы не знали, что они существуют в Python

Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...

Основы Python Часть I

Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?

LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа

Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:

Оптимизация кода с помощью тернарного оператора Python

И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это

Советы по эффективной веб-разработке с помощью Python

Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.

109

Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Вот наивное преобразование IndexedRowMatrix в разреженную матрицу Scipy:

from scipy.sparse import lil_matrix

def indexedrowmatrix_to_array(x):
    output = lil_matrix((x.numRows(), x.numCols())
    for indexed_row in x.rows.collect():
        output[indexed_row.index] = indexed_row.vector
    return output

и для CoordinateMatrix:

from scipy.sparse import dok_matrix

def coordinatematrix_to_array(x):
    output = dok_matrix((x.numRows(), x.numCols())
    for matrix_entry in x.entries.collect():
        output[matrix_entry.i, matrix_entry.j] = matrix_entry.value
    return output

Вы можете сделать что-то подобное для BlockMatrix, перебирая атрибут blocks и назначая его по частям, используя атрибуты rowsPerBlock и colsPerBlock.

coo не выполняет индексацию.

— 08.01.2019 04:15

@hpaulj ты прав, это должен быть dok_matrix. Я отредактировал ответ.

— 02.07.2021 05:23

08.01.2019 02:10