ЛР5
Digits и лучшие настройки

Digits и лучшие настройки

Как пройти путь от данных до честной тестовой оценки.

Digits содержит 1797 реальных маленьких изображений цифр. Изображение 8×8 разворачиваем в 64 яркости. Ответом является цифра от 0 до 9. Наша сеть учится с нуля: предобученных весов нет.

ЧастьОбъектыДля чего
Train1077Обучаем четыре кандидата.
Validation360Выбираем настройки по macro-F1.
Test360Проверяем уже выбранный вариант.
Train + validation1437Заново обучаем финальную сеть с выбранными настройками.

Гиперпараметр задаётся снаружи: ширина слоя, шаг обучения. Вес обучается внутри градиентным спуском. Мы пробуем ширину 32/64 и шаг 0.1/0.3, в каждом случае 500 эпох. При равенстве F1 выбираем меньшую ширину, затем меньший шаг.

Цепочка, которую нужно показать преподавателю

  1. search_results: записываем качество каждого кандидата.
  2. best_params: выбираем лучшую строку по validation.
  3. final_model = make_digit_network(int(best_params.hidden_size)): используем выбранную ширину.
  4. learning_rate=float(best_params.learning_rate): используем выбранный шаг при обучении.
  5. digit_probabilities = Softmax()(final_model.forward(digit_test_X)): тестируем ту же итоговую модель.
  6. mistakes: разбираем ошибки этих же прогнозов.

[40]: # Проверки формул и обратного прохода

Код и построчный разбор
 1  # Проверки формул и обратного прохода
 2  original_matrix = [[1, 2, 3], [4, 5, 6]]
 3  assert scalar_multiplication(original_matrix, 2) == [[2, 4, 6], [8, 10, 12]]
 4  assert original_matrix == [[1, 2, 3], [4, 5, 6]]
 5  changed = deepcopy(original_matrix)
 6  assert scalar_multiplication(changed, 2, copy=False) is None
 7  assert changed == [[2, 4, 6], [8, 10, 12]]
 8  assert matrix_multiplication(original_matrix, [[1], [2], [3]]) == [[14], [32]]
 9  assert matrix_transposition(original_matrix) == np.array(original_matrix).T.tolist()
10  assert matrix_addition(original_matrix, original_matrix) == (2 * np.array(original_matrix)).tolist()
11  
12  test_x = np.array([[-2.0, -0.3, 0.2], [0.7, 1.2, 3.0]])
13  for activation, reference in [(Identity(), lambda x: x), (Sigmoid(), torch.sigmoid),
14                                 (ReLU(), F.relu), (LeakyReLU(), F.leaky_relu), (ELU(1), F.elu)]:
15      tensor = torch.tensor(test_x, requires_grad=True)
16      expected = reference(tensor)
17      expected.sum().backward()
18      np.testing.assert_allclose(activation(test_x), expected.detach().numpy(), atol=1e-12)
19      np.testing.assert_allclose(activation.grad(test_x), tensor.grad.numpy(), atol=1e-12)
20  np.testing.assert_allclose(Softmax().grad(np.array([[0., 0.]])), [[[.25, -.25], [-.25, .25]]])
21  tensor = torch.tensor(test_x[0], requires_grad=True)
22  jacobian = torch.autograd.functional.jacobian(lambda x: F.softmax(x, dim=-1), tensor)
23  np.testing.assert_allclose(Softmax().grad(test_x[0]), jacobian.numpy(), atol=1e-12)
24  assert Sigmoid()(np.array([-1000., 1000.])).tolist() == [0., 1.]
25  np.testing.assert_allclose(Softmax()(np.array([[1000., 1000.]])), [[.5, .5]])
26  
27  probabilities = np.array([[.2, .3, .5], [.7, .2, .1]])
28  targets_check = np.eye(3)[[2, 0]]
29  probability_tensor = torch.tensor(probabilities, requires_grad=True)
30  torch_loss = -(torch.tensor(targets_check) * probability_tensor.log()).sum(dim=1).mean()
31  torch_loss.backward()
32  np.testing.assert_allclose(CrossEntropy()(targets_check, probabilities), torch_loss.item())
33  np.testing.assert_allclose(CrossEntropy().grad(targets_check, probabilities), probability_tensor.grad.numpy())
34  
35  for activation in [Identity(), Sigmoid(), ReLU(), LeakyReLU(), ELU(1), Softmax()]:
36      test_layer = Layer(3, 2, activation, random_seed=23)
37      inputs_check = test_x.copy()
38      upstream = np.array([[.3, -.2], [.4, .7]])
39      weights_before = test_layer.weights.copy()
40      bias_before = test_layer.bias.copy()
41      tensor_x = torch.tensor(inputs_check, requires_grad=True)
42      tensor_w = torch.tensor(weights_before, requires_grad=True)
43      tensor_b = torch.tensor(bias_before, requires_grad=True)
44      linear = tensor_x @ tensor_w + tensor_b
45      references = {Identity: lambda x:x, Sigmoid:torch.sigmoid, ReLU:F.relu,
46                    LeakyReLU:F.leaky_relu, ELU:F.elu, Softmax:lambda x:F.softmax(x, dim=-1)}
47      (references[type(activation)](linear) * torch.tensor(upstream)).sum().backward()
48      test_layer.forward(inputs_check)
49      grad_input = test_layer.backward(upstream, learning_rate=.1)
50      np.testing.assert_allclose(grad_input, tensor_x.grad.numpy(), atol=1e-12)
51      np.testing.assert_allclose(test_layer.weights, weights_before - .1 * tensor_w.grad.numpy(), atol=1e-12)
52      np.testing.assert_allclose(test_layer.bias, bias_before - .1 * tensor_b.grad.numpy(), atol=1e-12)
53  
54  check_network = NeuralNetwork([Layer(3, 4, Sigmoid(), 31), Layer(4, 2, Identity(), 32)], MeanSquaredError())
55  check_targets = np.array([[.2, .8], [.7, .1]])
56  epsilon = 1e-6
57  numeric_gradient = np.zeros_like(check_network.layers[0].weights)
58  for index in np.ndindex(numeric_gradient.shape):
59      weights = check_network.layers[0].weights
60      old_value = weights[index]
61      weights[index] = old_value + epsilon
62      plus = check_network.loss(check_targets, check_network.forward(test_x))
63      weights[index] = old_value - epsilon
64      minus = check_network.loss(check_targets, check_network.forward(test_x))
65      weights[index] = old_value
66      numeric_gradient[index] = (plus - minus) / (2 * epsilon)
67  before = check_network.layers[0].weights.copy()
68  check_network.backward(check_network.forward(test_x), check_targets, learning_rate=.1)
69  analytic_gradient = (before - check_network.layers[0].weights) / .1
70  np.testing.assert_allclose(analytic_gradient, numeric_gradient, rtol=1e-6, atol=1e-8)
71  print('Матрицы, активации, потери, градиенты слоёв и всей сети: проверки пройдены.')
72  print('Максимальная ошибка численного градиента:', np.max(np.abs(analytic_gradient - numeric_gradient)))
СтрокаЧто происходит
1Комментарий: Проверки формул и обратного прохода
2Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
3Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
4Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
7Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
8Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
9Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
10Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
12Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
13Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента.
14Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
15Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
16Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
17Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
18Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
19Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
20Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
21Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
22Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
23Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
24Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
25Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
27Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
28Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
29Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
30Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
31Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
32Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
33Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
35Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента.
36Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
37Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
38Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
39Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
40Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
41Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
42Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
43Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
44Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
45Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
46Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
47Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
48Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
49Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
50Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
51Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
52Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
54Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
55Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
56Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
57Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
58Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента.
59Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
60Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
61Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
62Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
63Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
64Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
65Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
66Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
67Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
68Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
69Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
70Численно сверяем наш ответ с независимым ожидаемым значением, учитывая малую погрешность.
71Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
72Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.

[41]: # Digits: данные и разбиение

Код и построчный разбор
 1  # Digits: данные и разбиение
 2  from sklearn.datasets import load_digits
 3  from sklearn.metrics import log_loss
 4  from sklearn.dummy import DummyClassifier
 5  
 6  digits = load_digits()
 7  digit_X = digits.data.astype(float) / 16.0
 8  digit_y = digits.target
 9  assert np.isfinite(digit_X).all()
10  assert digit_X.min() >= 0 and digit_X.max() <= 1
11  print('Объекты и признаки:', digit_X.shape)
12  print('Пропусков:', np.isnan(digit_X).sum())
13  print('Дубликатов изображений:', len(digit_X) - len(np.unique(digit_X, axis=0)))
14  print('Объектов по классам:', np.bincount(digit_y))
15  digit_trainval_X, digit_test_X, digit_trainval_y, digit_test_y = train_test_split(
16      digit_X, digit_y, test_size=.2, stratify=digit_y, random_state=42)
17  digit_train_X, digit_val_X, digit_train_y, digit_val_y = train_test_split(
18      digit_trainval_X, digit_trainval_y, test_size=.25, stratify=digit_trainval_y, random_state=42)
19  print('Train / validation / test:', len(digit_train_y), len(digit_val_y), len(digit_test_y))
20  fig, axes = plt.subplots(2, 5, figsize=(9, 4))
21  for label, ax in enumerate(axes.flat):
22      example = np.flatnonzero(digit_train_y == label)[0]
23      ax.imshow(digit_train_X[example].reshape(8, 8), cmap='gray_r', vmin=0, vmax=1)
24      ax.set(title=f'Цифра {label}', xlabel='Столбец', ylabel='Строка')
25  fig.suptitle('Примеры из обучающей выборки'); plt.tight_layout(); plt.show()
СтрокаЧто происходит
1Комментарий: Digits: данные и разбиение
2Подключаем библиотечные инструменты. Импорт не обучает сеть.
3Подключаем библиотечные инструменты. Импорт не обучает сеть.
4Подключаем библиотечные инструменты. Импорт не обучает сеть.
6Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
764 яркости каждого изображения переводим в известный диапазон от 0 до 1.
8Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
9Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
10Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
11Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
12Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
13Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
14Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
15Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
16Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
17Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
18Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
19Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
20Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
21Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента.
22Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
23Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
24Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
25Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.

[42]: # Выбор настроек только по validation

Код и построчный разбор
 1  # Выбор настроек только по validation
 2  def make_digit_network(hidden_size, seed=17):
 3      return NeuralNetwork([
 4          Layer(64, hidden_size, ReLU(), random_seed=seed),
 5          Layer(hidden_size, 10, Identity(), random_seed=seed + 1)
 6      ], CrossEntropy(use_softmax=True))
 7  
 8  search_results = []
 9  digit_epochs = 500
10  for hidden_size in [32, 64]:
11      for learning_rate in [.1, .3]:
12          candidate = make_digit_network(hidden_size)
13          start = time.perf_counter()
14          candidate.train(digit_train_X, np.eye(10)[digit_train_y],
15                          epochs=digit_epochs, learning_rate=learning_rate)
16          val_pred = candidate.forward(digit_val_X).argmax(axis=1)
17          search_results.append(dict(hidden_size=hidden_size, learning_rate=learning_rate,
18                                     val_f1=f1_score(digit_val_y, val_pred, average='macro'),
19                                     seconds=time.perf_counter() - start))
20  search_table = pd.DataFrame(search_results)
21  best_params = search_table.sort_values(['val_f1', 'hidden_size', 'learning_rate'],
22                                        ascending=[False, True, True]).iloc[0]
23  display(search_table.round(4))
24  print('Выбрано:', int(best_params.hidden_size), 'нейронов; шаг', best_params.learning_rate)
СтрокаЧто происходит
1Комментарий: Выбор настроек только по validation
2Объявляем функцию или метод. Аргументы в скобках являются её входными данными.
3Возвращаем вычисленный результат вызывающему коду: NeuralNetwork([
4Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
8Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
9Фиксируем число полных проходов. В этом поиске оно не подбирается.
10Пробуем два размера скрытого слоя, это гиперпараметр.
11Для каждого размера пробуем два шага обучения. Всего четыре кандидата.
12Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
13Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
14Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
15Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
16Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
17Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
18Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
19Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
20Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
21Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
22Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
23Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
24Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.

[43]: # Финальная сеть использует именно лучшие настройки

Код и построчный разбор
 1  # Финальная сеть использует именно лучшие настройки
 2  final_model = make_digit_network(int(best_params.hidden_size))
 3  final_start = time.perf_counter()
 4  digit_losses = final_model.train(digit_trainval_X, np.eye(10)[digit_trainval_y],
 5                                   epochs=digit_epochs, learning_rate=float(best_params.learning_rate))
 6  final_seconds = time.perf_counter() - final_start
 7  digit_probabilities = Softmax()(final_model.forward(digit_test_X))
 8  digit_predictions = digit_probabilities.argmax(axis=1)
 9  dummy = DummyClassifier(strategy='prior').fit(digit_trainval_X, digit_trainval_y)
10  dummy_probabilities = dummy.predict_proba(digit_test_X)
11  results = pd.DataFrame([
12      dict(model='Своя сеть', accuracy=accuracy_score(digit_test_y, digit_predictions),
13           macro_f1=f1_score(digit_test_y, digit_predictions, average='macro'),
14           log_loss=log_loss(digit_test_y, digit_probabilities)),
15      dict(model='Частотный baseline', accuracy=accuracy_score(digit_test_y, dummy.predict(digit_test_X)),
16           macro_f1=f1_score(digit_test_y, dummy.predict(digit_test_X), average='macro'),
17           log_loss=log_loss(digit_test_y, dummy_probabilities))
18  ])
19  display(results.round(4))
20  print(f'Обучение финальной сети: {final_seconds:.2f} с')
21  print('Параметров сети:', sum(layer.weights.size + layer.bias.size for layer in final_model.layers))
22  assert final_model.layers[0].weights.shape[1] == int(best_params.hidden_size)
23  plt.plot(digit_losses, label='Train + validation, финальное обучение')
24  plt.xlabel('Эпоха'); plt.ylabel('Cross-entropy'); plt.title('Digits: обучение выбранной сети')
25  plt.legend(); plt.show()
26  ConfusionMatrixDisplay.from_predictions(digit_test_y, digit_predictions, cmap='Blues')
27  plt.title('Digits: ошибки финальной сети на тесте')
28  plt.xlabel('Предсказанная цифра'); plt.ylabel('Истинная цифра'); plt.show()
СтрокаЧто происходит
1Комментарий: Финальная сеть использует именно лучшие настройки
2Создаём итоговую сеть с выбранной на валидации шириной. Именно эта строка связывает подбор и итог.
3Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
4Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
7Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
8Для каждого объекта берём номер класса с наибольшей вероятностью.
9Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
10Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
11Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
12Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
13Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
14Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
15Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
16Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
17Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
18Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
19Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
20Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
21Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
22Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
23Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
24Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
25Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
26Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
27Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
28Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.

[44]: # Ошибки выбранной модели, без повторного подбора по тесту

Код и построчный разбор
 1  # Ошибки выбранной модели, без повторного подбора по тесту
 2  mistakes = np.flatnonzero(digit_predictions != digit_test_y)
 3  print('Ошибок на тесте:', len(mistakes), 'из', len(digit_test_y))
 4  if len(mistakes):
 5      fig, axes = plt.subplots(1, min(5, len(mistakes)), figsize=(10, 3), squeeze=False)
 6      for ax, index in zip(axes.flat, mistakes[:5]):
 7          ax.imshow(digit_test_X[index].reshape(8, 8), cmap='gray_r', vmin=0, vmax=1)
 8          ax.set(title=f'Ответ {digit_test_y[index]}, прогноз {digit_predictions[index]}',
 9                 xlabel='Столбец', ylabel='Строка')
10      fig.suptitle('Первые ошибки в порядке тестовой выборки'); plt.tight_layout(); plt.show()
11  print(f'Итог: accuracy = {results.iloc[0].accuracy:.4f}, macro-F1 = {results.iloc[0].macro_f1:.4f}.')
СтрокаЧто происходит
1Комментарий: Ошибки выбранной модели, без повторного подбора по тесту
2Находим индексы ошибок уже выбранной сети. После этого настройки не меняем.
3Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
4Выбираем ветку вычислений по условию.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента.
7Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
8Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
9Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
10Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
11Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.

Проверь себя

Вы подбирали число картинок?

Нет. Размеры разбиений фиксированы. Подбирали число скрытых нейронов и скорость обучения.

Почему нельзя выбирать по тесту?

Тест перестанет быть независимой проверкой: мы косвенно подстроимся под его ответы.

Почему деление на 16 не утечка?

16 является известным максимумом шкалы яркости, а не статистикой, вычисленной по тестовым объектам.

Кто обучает модель?

Наш NeuralNetwork.train и Layer.backward. load_digits только отдаёт данные.

Почему macro-F1?

Одинаково учитывает каждый класс, даже при небольшом различии количества цифр. Accuracy и log loss дополняют оценку.

Фактические результаты прогона

Матрицы, активации, потери, градиенты слоёв и всей сети: проверки пройдены.
Максимальная ошибка численного градиента: 5.3818061118704463e-11
Объекты и признаки: (1797, 64)
Пропусков: 0
Дубликатов изображений: 0
Объектов по классам: [178 182 177 183 181 182 181 179 174 180]
Train / validation / test: 1077 360 360
Digits: вывод ячейки 41
Результат [41]
hidden_size learning_rate val_f1 seconds
0 32 0.1 0.9472 0.6344
1 32 0.3 0.9613 0.6321
2 64 0.1 0.9530 0.9677
3 64 0.3 0.9589 0.9348
Выбрано: 32 нейронов; шаг 0.3
model accuracy macro_f1 log_loss
0 Своя сеть 0.9611 0.9612 0.1160
1 Частотный baseline 0.1000 0.0182 2.3025
Обучение финальной сети: 0.86 с
Параметров сети: 2410
Digits: вывод ячейки 43
Результат [43]
Digits: вывод ячейки 43
Результат [43]
Ошибок на тесте: 14 из 360
Digits: вывод ячейки 44
Результат [44]
Итог: accuracy = 0.9611, macro-F1 = 0.9612.