Как ускорить свертку с ядрами, содержащими много нулей?
Предположим, что есть два набора ядер одинаковой формы, и почти половина элементов в ядрах — нули. Для одного и того же входа x ядра используются для вычисления свертки соответственно. См. Пример кода pytorch:
initial
conv=nn.conv2d(c,n,k) # shape(n,c,k,k)
forward
kernel1=F.relu(conv.weight)
kernel2=F.relu(-conv.weight)
out1=F.conv2d(x,kernel1)
out2=F.conv2d(x,kernel2)
Поскольку 0 кратно чему угодно равно 0, поэтому почти половина умножений в свертках не нужна. Мой вопрос: Можно ли ускорить две свертки? Могут ли две свертки вычисляться параллельно?
В обычных слоях есть что-то вроде обрезки веса, но для этого требуется гораздо больше нулей по сравнению с ненулевыми значениями, если позиции нулей заранее неизвестны, будет сложно найти другое решение. Что касается второго вопроса - вы можете рассчитать две свертки параллельно, создав два разных процесса Python. Взгляните на multiprocessing пакет
Ответы 1
Если некоторые целые ядра все нули, мы можем просто удалить соответствующие входные каналы из следующего слоя в сети. Эта операция эквивалентна простому удалению целых строк/столбцов из развернутых патчей и сверточных весов, которые затем используются в качестве матричного умножения на графическом процессоре. Суть в том, что эта операция по-прежнему является плотным умножением матриц, но теперь с меньшим количеством строк/столбцов.
Однако, если веса разрежены, т. е. отдельные записи обнуляются без видимой структуры, нет простого способа преобразовать это в улучшение производительности на стандартном оборудовании. Графические процессоры хороши для плотного умножения матриц, а не для умножения разреженных матриц, которое вместо этого должно отслеживать нули, а затем игнорировать эти умножения.
Возможно, при экстремальных уровнях разреженности (> 90%) вы можете перевести это теоретическое сокращение умножений на уменьшение объема памяти или задержки на графических процессорах, но это нетривиально.
Если многие элементы равны нулю, вы можете увеличить шаг в conv2d. Значение по умолчанию — 1. Но это может ухудшить ваши результаты.