Scipy sparse: получить значения, присутствующие в обеих матрицах
У меня есть две матрицы sparse, которые я хочу сравнить поэлементно:
from scipy import sparse as sp
t1 = sp.random(10, 10, 0.5)
t2 = sp.random(10, 10, 0.5)
В частности, я хотел бы сделать диаграмму рассеяния для тех элементов, которые присутствуют (т.е. ненулевые) в обеих матрицах, но пока единственный способ, который я мог придумать, - это преобразовать их в плотный формат:
import matplotlib.pyplot as plt
plt.plot(t1.todense().flatten(),
t2.todense().flatten(),
'ko',
alpha=0.1)
Что ужасно работает при очень больших матрицах. Есть ли более эффективный способ сделать это?
Ответы 1
In [256]: t1
Out[256]:
<10x10 sparse matrix of type '<class 'numpy.float64'>'
with 50 stored elements in COOrdinate format>
In [257]: t2
Out[257]:
<10x10 sparse matrix of type '<class 'numpy.float64'>'
with 50 stored elements in COOrdinate format>
При построении t1.todense().flatten() вы наносите точки данных для всех элементов t1, независимо от того, нулевые они или нет. В этом случае 100 баллов.
Один из способов «отсеять» нулевые элементы:
In [258]: t3 = t1.multiply(t2)
In [259]: t3
Out[259]:
<10x10 sparse matrix of type '<class 'numpy.float64'>'
with 28 stored elements in Compressed Sparse Row format>
In [260]: t11 = t3.astype(bool).multiply(t1)
In [261]: t21 = t3.astype(bool).multiply(t2)
In [262]: t11
Out[262]:
<10x10 sparse matrix of type '<class 'numpy.float64'>'
with 28 stored elements in Compressed Sparse Row format>
t3 имеет ненулевые значения, тогда как t1 и t2 ненулевые. t11 имеет соответствующие элементы t1 (числа с плавающей запятой t3 становятся логическими True и неявно 1 при умножении). Разреженное multiply относительно эффективно (может быть не таким большим, как соответствующее плотное умножение или даже разреженное матричное умножение).
Мы могли бы построить график t11.todense.ravel() и т. д. Это было бы то же самое, за исключением концентрации значений как (0,0, 0,0). Но атрибут data имеет ненулевые значения, а разреженность t11 и t21 одинакова, поэтому мы можем просто построить их график - в данном случае только 28 значений:
plt.plot(t11.data,
t21.data,
'ko',
alpha=0.1);
Могут быть и другие способы получения матриц t11 и t21, но основная идея все еще применима - получить две матрицы с одинаковой разреженностью и построить только их значения data.
Как показано на графике, у вас есть маркер (Line2D) для каждого элемента плотного массива (100).
t3=t1.multiply(t2)будет иметь ненулевые значения, где оба также ненулевые. Я могу представить, как использовать эту информацию для выбора элементов как изt1, так и изt2, но не проработал детали. Я не думаю, что есть что-то готовое, что сделает это за вас, поскольку это довольно специализированный сюжет (не все хотят делать это с разреженными матрицами).