NumPy Broadcasting — объяснение замыкающих осей

Вопрос

Пожалуйста, уточните ответ в правила трансляции массива Numpy в 2012 году и уточните, что такое конечные оси, поскольку я не уверен, к какой «связанной странице документации» относится ответ. Возможно, он изменился за последние 8 лет.

Поскольку оси в trailing axes во множественном числе, размеры хотя бы двух последних осей должны совпадать (кроме единственного числа)? Если да, то почему хотя бы два?

Дан ответ:

Что ж, смысл замыкающих осей объясняется по ссылке страница документации. Если у вас есть два массива с разными размерами номер, скажем один 1х2х3 а другой 2х3, то вы сравниваете только замыкающие общие размеры, в данном случае 2x3. Но если оба ваших массива двумерны, то их соответствующие размеры должны быть либо равно или одно из них должно быть 1.

В вашем случае у вас есть 2x2 и 4x2 и 4 != 2 и ни 4, ни 2 равно 1, так что это не работает.

Ошибка и поднятый вопрос были:

A = np.array([[1,2],[3,4]])
B = np.array([[2,3],[4,6],[6,9],[8,12]])
print("A.shape {}".format(A.shape))
print("B.shape {}".format(B.shape))
A*B
---
A.shape (2, 2)              # <---- The last axis size is 2 in both shapes.
B.shape (4, 2)              # <---- Apparently this "2" is not the size of trailing axis/axes

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-91-7a3f7e97944d> in <module>
      3 print("A.shape {}".format(A.shape))
      4 print("B.shape {}".format(B.shape))
----> 5 A*B

ValueError: operands could not be broadcast together with shapes (2,2) (4,2) 


Since both A and B have two columns, I would have thought this would work. 
So, I'm probably misunderstanding something here about the term "trailing axis", 
and how it applies to N-dimensional arrays.

Рекомендации

Правило трансляции
Для трансляции размер задних осей для обоих массивов в операции должен быть либо одинаковым, либо один из них должен быть равен единице.


Обновлять

Понимание основано на ответе @Akshay Sehgal. Рассмотрим 2 массива A.shape = (4,5,1) и B.shape = (1,2).

A = np.arange(20).reshape((4, 5, 1))
B = np.arange(2).reshape((1,2))
print("A.shape {}".format(A.shape))
print("B.shape {}".format(B.shape))
---
A.shape (4, 5, 1)
B.shape (1, 2)

Во-первых, посмотрите на ось =-1, и форма 01 в A передается от 01 до 02, потому что она единственная, чтобы соответствовать форме B. Затем форма 01 в B для оси =-2 передается от 01 (единственное число) до 05, чтобы соответствовать A. Результатом является форма (4, 5, 2).

print("A * B shape is {}".format((A*B).shape))
---
A * B shape is (4, 5, 2)

Основываясь на ответе @hpaulj, способ имитации трансляции.

print("A.shape {}".format(A.shape))
print("B.shape {}".format(B.shape))
---
A.shape (4, 5, 1)
B.shape (1, 2)

# Check ranks.
print("rank(A) {} rank(B) {}".format(A.ndim, B.ndim))
---
rank(A) 3 rank(B) 2

# Expand B because rank(B) < rank(A).
B = B[
    None,
    ::
]
B.shape
---
(1, 1, 2)

A:(4,5,1)
   ↑ ↑ ↓
B:(1,1,2)
----------
C:(4,5,2)

Чтобы сделать (1,1,2), добавляется начальный размер. Затем все единицы масштабируются

hpaulj 24.12.2020 12:58
Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
1
1
751
2
Перейти к ответу Данный вопрос помечен как решенный

Ответы 2

Ответ принят как подходящий

Ведущие оси axis=-1, axis=-2, axis=-3 ... . Правила вещания сравнивают ведомые оси с leading осями (axis=0 и далее).

Это специально для применения вещания к тензорам разных измерений (скажем, тензорам 2D и 3D). Trailing axes в основном указывает направление, в котором оси считаются для правил вещания. Представьте, что вы выстраиваете оси по форме. Если вы lead с топорами, у вас будет что-то вроде следующего:

Рассмотрим 2 массива A.shape = (4,5,1) и B.shape = (1,2)

#Leading axes

A  04  05  01
B  01  02
--------------
No broadcasting
--------------

Чтобы рассмотреть задние оси, вы бы вместо этого посмотрели на них как на -

#Trailing axes

A  04  05  01
B      01  02
--------------
C  04  05  02
--------------

Это все, что они имеют в виду под термином trailing axes в этом контексте, то есть начать назад, а не по ведущим осям.

Другими словами, при рассмотрении возможности передачи массива в форме (1,2), скажем, массива более высокой размерности, мы смотрим на задние оси, которые имеют форму 2 for axis=-1, а затем 1 for axis=-2 в обратном порядке.

И поскольку ранг A (3) > ранг B (2), две задние оси от B должны совпадать, чтобы применить широковещательную рассылку?

mon 24.12.2020 09:49

точно, совпадать или быть 1 для применения вещания. In order to broadcast, the size of the trailing axes for both arrays in an operation must either be the same size or one of them must be one. Надеюсь, это прояснит ваш вопрос.

Akshay Sehgal 24.12.2020 09:56

Большое спасибо. Желаю, чтобы ваше объяснение было в документе Numpy.

mon 24.12.2020 10:01

Рад помочь в любое время.

Akshay Sehgal 24.12.2020 10:02

То, как я объясняю вещание, уделяет меньше внимания ведомым осям и больше — двум правилам:

  • сопоставьте количество измерений, добавив начальные размеры 1
  • масштабировать все размеры размера 1, чтобы они соответствовали

В этом примере в паре вниз:

In [233]: A = np.arange(20).reshape((4, 5))
     ...: B = np.arange(2)
In [234]: A
Out[234]: 
array([[ 0,  1,  2,  3,  4],
       [ 5,  6,  7,  8,  9],
       [10, 11, 12, 13, 14],
       [15, 16, 17, 18, 19]])
In [235]: B
Out[235]: array([0, 1])
In [236]: A*B
Traceback (most recent call last):
  File "<ipython-input-236-47896efed660>", line 1, in <module>
    A*B
ValueError: operands could not be broadcast together with shapes (4,5) (2,) 

По первому правилу (2,) расширяется до (1,2) и, возможно, до (4,2), но это тупик.

Но если мы добавим размер к A, сделав его (4,5,1):

In [237]: A[:,:,None]*B
Out[237]: 
array([[[ 0,  0],
        [ 0,  1],
        [ 0,  2],
        ...
        [ 0, 19]]])
In [238]: _.shape
Out[238]: (4, 5, 2)

Теперь (2,) расширяется до (1,1,2), что работает с (4,5,1)

Начиная с (1,2) для B также работает:

In [240]: (A[:,:,None]*B[None,:]).shape
Out[240]: (4, 5, 2)

Он может добавлять к B столько начальных измерений, сколько необходимо, но не может автоматически добавлять конечные размеры к A. Мы должны сделать это сами. reshape отлично подходит для добавления размеров, но я думаю, что идиома None/newaxis лучше подчеркивает это добавление.

Такое поведение можно было бы объяснить с точки зрения ведомых осей (не обязательно во множественном числе), но я думаю, что двухэтапное объяснение понятнее.

Я думаю, есть две причины для различия между ведущей и ведомой осями. Ведущие оси являются крайними (по крайней мере, для порядка C), и это позволяет избежать двусмысленности.

Рассмотрите возможность использования (3,) и (2,) вместе. Мы могли бы сформировать из них (3,2) или (2,3) массивы, но какие?

In [241]: np.array([1,2,3])*np.array([4,5])
Traceback (most recent call last):
  File "<ipython-input-241-eaf3e99b50a9>", line 1, in <module>
    np.array([1,2,3])*np.array([4,5])
ValueError: operands could not be broadcast together with shapes (3,) (2,) 

In [242]: np.array([1,2,3])[:,None]*np.array([4,5])
Out[242]: 
array([[ 4,  5],
       [ 8, 10],
       [12, 15]])

In [243]: np.array([1,2,3])*np.array([4,5])[:,None]
Out[243]: 
array([[ 4,  8, 12],
       [ 5, 10, 15]])

Явный трейлинг None четко определяет, что мы хотим. Мы могли бы добавить [None,:], но это не обязательно.

Большое спасибо за ход мыслей. Сопоставьте ранг, добавив начальные размеры, имеет смысл!

mon 24.12.2020 22:41

Поскольку вопрос касался ведомых осей в вещании, и я принял другой ответ, я не могу изменить, но действительно ценю перспективу вещания.

mon 24.12.2020 23:07

Другие вопросы по теме