Связный путь с переходами и точными местами в ноутбуке.
Не заучивай весь текст дословно. В каждом блоке покажи код, назови вход, действие и выход. Это сценарий примерно на 6-8 минут без подробного разбора формул.
В этой работе я реализовал полносвязную нейросеть на NumPy. Она состоит из слоёв, каждый слой хранит веса, сдвиги и активацию. Обучение я тоже написал сам: готовую сеть и готовые веса не использовал. PyTorch нужен только для проверки моей математики.
Переход: Дальше покажу, из каких частей она собрана.
Сначала реализовал операции над матрицами на списках: умножение на число, сложение, транспонирование и произведение. Здесь циклы требуются условием. Для самой сети перехожу к NumPy, чтобы считать сразу все объекты.
Переход: Но одной линейной арифметики недостаточно для сложных границ.
3. Активации
Показать: [12] / И32: class ReLU(ActivationFunction): [21] / И53: class Softmax(ActivationFunction):
Активация преобразует сумму входов. ReLU обнуляет отрицательные значения и добавляет нелинейность. Sigmoid даёт вероятность для двух классов, Softmax даёт распределение для нескольких. Для всех функций реализованы производные. У Softmax это целая матрица, потому что его выходы связаны.
Переход: Теперь нужно оценить, насколько ответ сети плох.
4. Потери
Показать: [25] / И64: class MeanSquaredError(LossFunction): [29] / И75: class CrossEntropy(LossFunction):
Для числового ответа использую MSE, для двух классов BCE, для нескольких CrossEntropy. У CrossEntropy есть два режима: вход уже вероятности или ещё логиты. В итоговой сети вход логиты, Softmax включён в потерю, поэтому последний слой Identity.
Переход: Производная потери позволяет передать ошибку назад.
В Layer.forward сохраняю вход, считаю X @ W + b и применяю активацию. В backward получаю пришедший градиент, переношу его через активацию, считаю градиенты весов и сдвигов. Градиент для предыдущего слоя вычисляю со старыми весами, после этого обновляю параметры. NeuralNetwork.train повторяет прямой и обратный проход по эпохам.
Переход: Проверяю не только формулы, но и поведение сети на задачах.
В регрессии сеть предсказывает числа. На окружностях сравниваю скрытый Identity и ReLU. Линейную границу нельзя замкнуть вокруг внутреннего кольца, а ReLU позволяет получить более сложную границу. Затем обучаю сеть на четырёх классах и проверяю требуемую accuracy выше 90%.
Переход: После учебных данных беру реальные изображения цифр.
7. Данные и выбор
Показать: Ищи # Digits: данные и разбиение и # Выбор настроек только по validation
У Digits 1797 картинок, каждая 8 на 8 пикселей. Превращаю картинку в 64 числа и делю яркость на известный максимум 16. Откладываю тест, выбираю ширину слоя и шаг обучения на валидации по macro-F1. Размер выборки я не подбираю.
Переход: Теперь важно действительно использовать выбранные настройки.
8. Итог
Показать: # Финальная сеть использует именно лучшие настройки
Создаю final_model из best_params и обучаю на объединении train и validation. Итоговые вероятности, метрики, матрица ошибок и примеры ошибок получены именно этой моделью. Тест не использовался для выбора параметров. Моя сеть учится с нуля; sklearn только предоставляет данные и метрики.
Переход: Показываю фактическую таблицу результата и называю её значения.
Проверь себя
Где реализована нейросеть сама?
Layer задаёт один слой, NeuralNetwork связывает их. Веса меняются в Layer.backward, обучение запускает NeuralNetwork.train.
А сами градиенты откуда?
Формулы вручную в grad активаций/потерь и Layer.backward. torch.autograd только сравнивает их с независимым результатом.
Вы умеете показать лучшие параметры в коде?
best_params выбирается по val_f1. Потом final_model создаётся с best_params.hidden_size, а train получает best_params.learning_rate.
Тут можно было без цикла?
В формулах градиентов циклов нет, NumPy считает весь батч. Циклы нужны по последовательным слоям, эпохам и вариантам эксперимента. Первый блок матриц специально требует списки.