Код и построчный разбор
1 # Проверки формул и обратного прохода
2 original_matrix = [[1, 2, 3], [4, 5, 6]]
3 assert scalar_multiplication(original_matrix, 2) == [[2, 4, 6], [8, 10, 12]]
4 assert original_matrix == [[1, 2, 3], [4, 5, 6]]
5 changed = deepcopy(original_matrix)
6 assert scalar_multiplication(changed, 2, copy=False) is None
7 assert changed == [[2, 4, 6], [8, 10, 12]]
8 assert matrix_multiplication(original_matrix, [[1], [2], [3]]) == [[14], [32]]
9 assert matrix_transposition(original_matrix) == np.array(original_matrix).T.tolist()
10 assert matrix_addition(original_matrix, original_matrix) == (2 * np.array(original_matrix)).tolist()
11
12 test_x = np.array([[-2.0, -0.3, 0.2], [0.7, 1.2, 3.0]])
13 for activation, reference in [(Identity(), lambda x: x), (Sigmoid(), torch.sigmoid),
14 (ReLU(), F.relu), (LeakyReLU(), F.leaky_relu), (ELU(1), F.elu)]:
15 tensor = torch.tensor(test_x, requires_grad=True)
16 expected = reference(tensor)
17 expected.sum().backward()
18 np.testing.assert_allclose(activation(test_x), expected.detach().numpy(), atol=1e-12)
19 np.testing.assert_allclose(activation.grad(test_x), tensor.grad.numpy(), atol=1e-12)
20 np.testing.assert_allclose(Softmax().grad(np.array([[0., 0.]])), [[[.25, -.25], [-.25, .25]]])
21 tensor = torch.tensor(test_x[0], requires_grad=True)
22 jacobian = torch.autograd.functional.jacobian(lambda x: F.softmax(x, dim=-1), tensor)
23 np.testing.assert_allclose(Softmax().grad(test_x[0]), jacobian.numpy(), atol=1e-12)
24 assert Sigmoid()(np.array([-1000., 1000.])).tolist() == [0., 1.]
25 np.testing.assert_allclose(Softmax()(np.array([[1000., 1000.]])), [[.5, .5]])
26
27 probabilities = np.array([[.2, .3, .5], [.7, .2, .1]])
28 targets_check = np.eye(3)[[2, 0]]
29 probability_tensor = torch.tensor(probabilities, requires_grad=True)
30 torch_loss = -(torch.tensor(targets_check) * probability_tensor.log()).sum(dim=1).mean()
31 torch_loss.backward()
32 np.testing.assert_allclose(CrossEntropy()(targets_check, probabilities), torch_loss.item())
33 np.testing.assert_allclose(CrossEntropy().grad(targets_check, probabilities), probability_tensor.grad.numpy())
34
35 for activation in [Identity(), Sigmoid(), ReLU(), LeakyReLU(), ELU(1), Softmax()]:
36 test_layer = Layer(3, 2, activation, random_seed=23)
37 inputs_check = test_x.copy()
38 upstream = np.array([[.3, -.2], [.4, .7]])
39 weights_before = test_layer.weights.copy()
40 bias_before = test_layer.bias.copy()
41 tensor_x = torch.tensor(inputs_check, requires_grad=True)
42 tensor_w = torch.tensor(weights_before, requires_grad=True)
43 tensor_b = torch.tensor(bias_before, requires_grad=True)
44 linear = tensor_x @ tensor_w + tensor_b
45 references = {Identity: lambda x:x, Sigmoid:torch.sigmoid, ReLU:F.relu,
46 LeakyReLU:F.leaky_relu, ELU:F.elu, Softmax:lambda x:F.softmax(x, dim=-1)}
47 (references[type(activation)](linear) * torch.tensor(upstream)).sum().backward()
48 test_layer.forward(inputs_check)
49 grad_input = test_layer.backward(upstream, learning_rate=.1)
50 np.testing.assert_allclose(grad_input, tensor_x.grad.numpy(), atol=1e-12)
51 np.testing.assert_allclose(test_layer.weights, weights_before - .1 * tensor_w.grad.numpy(), atol=1e-12)
52 np.testing.assert_allclose(test_layer.bias, bias_before - .1 * tensor_b.grad.numpy(), atol=1e-12)
53
54 check_network = NeuralNetwork([Layer(3, 4, Sigmoid(), 31), Layer(4, 2, Identity(), 32)], MeanSquaredError())
55 check_targets = np.array([[.2, .8], [.7, .1]])
56 epsilon = 1e-6
57 numeric_gradient = np.zeros_like(check_network.layers[0].weights)
58 for index in np.ndindex(numeric_gradient.shape):
59 weights = check_network.layers[0].weights
60 old_value = weights[index]
61 weights[index] = old_value + epsilon
62 plus = check_network.loss(check_targets, check_network.forward(test_x))
63 weights[index] = old_value - epsilon
64 minus = check_network.loss(check_targets, check_network.forward(test_x))
65 weights[index] = old_value
66 numeric_gradient[index] = (plus - minus) / (2 * epsilon)
67 before = check_network.layers[0].weights.copy()
68 check_network.backward(check_network.forward(test_x), check_targets, learning_rate=.1)
69 analytic_gradient = (before - check_network.layers[0].weights) / .1
70 np.testing.assert_allclose(analytic_gradient, numeric_gradient, rtol=1e-6, atol=1e-8)
71 print('Матрицы, активации, потери, градиенты слоёв и всей сети: проверки пройдены.')
72 print('Максимальная ошибка численного градиента:', np.max(np.abs(analytic_gradient - numeric_gradient)))
| Строка | Что происходит |
|---|
| 1 | Комментарий: Проверки формул и обратного прохода |
| 2 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 3 | Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой. |
| 4 | Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой. |
| 5 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 6 | Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой. |
| 7 | Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой. |
| 8 | Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой. |
| 9 | Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой. |
| 10 | Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой. |
| 12 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 13 | Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента. |
| 14 | Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой. |
| 15 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 16 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 17 | Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой. |
| 18 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 19 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 20 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 21 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 22 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 23 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 24 | Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой. |
| 25 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 27 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 28 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 29 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 30 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 31 | Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой. |
| 32 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 33 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 35 | Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента. |
| 36 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 37 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 38 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 39 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 40 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 41 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 42 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 43 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 44 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 45 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 46 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 47 | Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой. |
| 48 | Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой. |
| 49 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 50 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 51 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 52 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 54 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 55 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 56 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 57 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 58 | Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента. |
| 59 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 60 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 61 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 62 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 63 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 64 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 65 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 66 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 67 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 68 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 69 | Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше. |
| 70 | Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность. |
| 71 | Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную. |
| 72 | Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную. |