Tf.gradient действует как tfp.math.diag_jacobian
Я пытаюсь вычислить шум для входных данных, используя градиент функции потерь из входных данных:
my_grad = tf.gradients (потеря, ввод)
loss — это массив размером (n x 1), где n — количество наборов данных, m — размер набора данных, вход — массив (n x m), где m — размер одного набора данных.
Мне нужно, чтобы my_grad имел размер (n x m), поэтому для каждого набора данных рассчитывается градиент. Но по определению градиенты, где i!=j равны нулю, но tf.gradients выделяет огромное количество памяти и работает почти всегда...
Версия, которая вычисляет градиенты только там, где i = j, была бы отличной - есть идеи, как туда добраться?
Ответы 2
Я полагаю, что нашел решение:
my_grad = tf.gradients (tf.reduce_sum (потеря), ввод)
гарантирует, что перекрестные зависимости i!=j игнорируются - это работает очень хорошо и быстро.
Спасибо, что указали на это. Причина, по которой это работает для меня, заключается в следующем: loss =[f(input[i]) for i in range(0, input.shape[0]] Поэтому просто нет производной между loss[i] и input[j], когда я!=j
Это один из возможных подходов:
import tensorflow as tf
x = tf.placeholder(tf.float32, [20, 50])
# Break X into its parts
x_parts = tf.unstack(x)
# Recompose
x = tf.stack(x_parts)
# Compute Y however
y = tf.reduce_sum(x, axis=1)
# Break Y into parts
y_parts = tf.unstack(y)
# Compute gradient part-wise
g_parts = [tf.gradients(y_part, x_part)[0] for x_part, y_part in zip(x_parts, y_parts)]
# Recompose gradient
g = tf.stack(g_parts)
print(g)
# Tensor("stack_1:0", shape=(20, 50), dtype=float32)
Однако у этого есть как минимум две проблемы:
- Это требует, чтобы вы использовали фиксированный размер для
n(но не дляm). - Это создаст
O(n)узлов в графе, что может быть проблемой, если вы намеревались использовать очень большойn.
Теоретически можно использовать цикл while TensorFlow, но что-то в тензорных массивах или циклах не распространяет градиенты по мере необходимости.
import tensorflow as tf
x = tf.placeholder(tf.float32, [None, None])
n = tf.shape(x)[0]
element_shape = x.shape[1:]
x_parts = tf.TensorArray(x.dtype, size=n, dynamic_size=False,
element_shape=element_shape, clear_after_read=False)
_, x_parts, _ = tf.while_loop(lambda i, x_parts, x: i < n,
lambda i, x_parts, x: (i + 1, x_parts.write(i, x[i]), x),
[tf.constant(0, n.dtype), x_parts, x])
x = x_parts.stack()
y = tf.reduce_sum(x, axis=1)
g_parts = tf.TensorArray(y.dtype, size=n, dynamic_size=False,
element_shape=element_shape, clear_after_read=True)
_, g_parts, _ = tf.while_loop(lambda i, g_parts, x_parts, y: i < n,
lambda i, g_parts, x_parts, y:
(i + 1, g_parts.write(i, tf.gradients(y[i], x_parts.read(i))[0]), x_parts, y),
[tf.constant(0, n.dtype), g_parts, x_parts, y])
# Fails due to None gradients
g = g_parts.stack()
print(g)
Удивительно, но
tf.gradients(loss, input)иtf.gradients(tf.reduce_sum(loss), input)должны давать один и тот же результат и требовать одинаковых вычислительных усилий.