Обучите нейронную сеть абсолютной функции с минимальным количеством слоев

Имея два плотных слоя, вы, по сути, имеете входной и выходной слой. Судя по вашему коду, у вас есть только два слоя, но нет скрытых слоев в вашей модели. Это позволяет аппроксимировать функции 1-й степени, например линии для классификации, регрессии и т. д. Градиент рассчитывается только дважды за итерацию, что дает вам по сути две опорные точки — отлично подходит для линий, но не очень хорошо для притч.

Если вы добавите еще один слой, у вас появится скрытый слой между входом и выходом. Это позволяет проводить более сложное моделирование, поскольку градиент теперь рассчитывается трижды за итерацию. Обычно он используется для аппроксимации функций второго порядка, например х^2 и тому подобное.

np.abs(x) похож на притчу и требует трехслойной модели. Если вам интересно, как и почему работают нейронные сети, на Coursera есть очень хороший курс от Эндрю Нг «Машинное обучение». Это бесплатно, если вам не нужен сертификат.

Это зависит от инициализации веса.

Если оба веса инициализированы положительными числами, сеть может предсказывать только положительные числа. Для отрицательных чисел всегда выводится ноль. Это также не приведет к отсутствию градиентов — нет никакого небольшого шага к весам, который мог бы сделать выходные данные немного лучше.

Поэтому либо переключитесь на другую функцию активации, например, на дырявую Relu, которая также передает некоторый сигнал для отрицательных значений, либо измените init.

В приведенном ниже коде я демонстрирую это с различными пользовательскими инициализациями.

Good_init устанавливает один вес на положительное, другой на отрицательное значения -> Проблема решена. оба bad_inits устанавливают веса на один и тот же знак, и будет изучена только половина домена.

import tensorflow as tf
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

X = np.linspace(-1000,1000,400)
np.random.shuffle(X)
Y = np.abs(X)

# Reshape data to fit the model input
X = X.reshape(-1, 1)
Y = Y.reshape(-1, 1)

from keras import backend as K

def good_init(shape, dtype=None):
    # one positive, one negative weight
    val=np.linspace(-1,1,np.prod(shape)).reshape(shape)
    return K.variable(value=val, dtype=dtype)

def bad_init_right(shape, dtype=None):
    # both weights positive, only right side works
    val=np.linspace(-1,1,np.prod(shape)).reshape(shape)
    val=np.abs(val)
    return K.variable(value=val, dtype=dtype)


def bad_init_left(shape, dtype=None):
    # both weights negative, only right side works
    val=np.linspace(-1,1,np.prod(shape)).reshape(shape)
    val=-np.abs(val)
    return K.variable(value=val, dtype=dtype)

# Build the model
model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(2, activation='relu', kernel_initializer=bad_init_left),
    tf.keras.layers.Dense(1)
])

# Compile the model
model.compile(optimizer='adam', loss='mse',metrics=['mae'])
model.fit(X, Y, epochs=100)
# Predict using the model
Y_pred = model.predict(X)

# Plot the results
plt.scatter(X, Y, color='blue', label='Actual')
plt.scatter(X, Y_pred, color='red', label='Predicted')
plt.title('Actual vs Predicted')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.show()