Реализация RNN с помощью numpy

Я пытаюсь реализовать рекуррентную нейронную сеть с помощью numpy.

Мои текущие схемы ввода и вывода следующие:

x имеет форму: (длина последовательности, размер партии, размер ввода)

h: (количество слоев, количество направлений, размер пакета, скрытый размер)

initial weight: (количество направлений, 2 * скрытый размер, размер ввода + скрытый размер)

weight: (количество слоев -1, количество направлений, скрытый размер, направления * скрытый размер + скрытый размер)

bias: (количество слоев, количество направлений, скрытый размер)

Я просмотрел API-интерфейс pytorch для RNN в качестве ссылки (https://pytorch.org/docs/stable/nn.html?highlight=rnn#torch.nn.RNN), но немного изменил его, чтобы включить исходный вес в качестве входных данных. (выходные формы предположительно такие же, как в pytorch)

Пока он работает, я не могу определить, правильно ли он ведет себя, поскольку я ввожу случайно сгенерированные числа в качестве входных данных.

В частности, я не уверен, правильно ли спроектированы мои входные формы.

Может ли какой-нибудь эксперт дать мне совет?

def rnn(xs, h, w0, w=None, b=None, num_layers=2, nonlinearity='tanh', dropout=0.0, bidirectional=False, training=True):
    num_directions = 2 if bidirectional else 1
    batch_size = xs.shape[1]
    input_size = xs.shape[2]
    hidden_size = h.shape[3]
    hn = []
    y = [None]*len(xs)

    for l in range(num_layers):
        for d in range(num_directions):
            if l==0 and d==0:
                wi = w0[d, :hidden_size,  :input_size].T
                wh = w0[d, hidden_size:,  input_size:].T
                wi = np.reshape(wi, (1,)+wi.shape)
                wh = np.reshape(wh, (1,)+wh.shape)
            else:
                wi = w[max(l-1,0), d, :,  :hidden_size].T
                wh = w[max(l-1,0), d, :,  hidden_size:].T
            for i,x in enumerate(xs):
                if l==0 and d==0:
                    ht = np.tanh(np.dot(x, wi) + np.dot(h[l, d], wh) + b[l, d][np.newaxis])
                    ht = np.reshape(ht,(batch_size, hidden_size)) #otherwise, shape is (bs,1,hs)
                else:
                    ht = np.tanh(np.dot(y[i], wi) + np.dot(h[l, d], wh) + b[l, d][np.newaxis])
                y[i] = ht
            hn.append(ht)
    y = np.asarray(y)
    y = np.reshape(y, y.shape+(1,))
    return np.asarray(y), np.asarray(hn)