ЛР5
Рассказ на защите

Рассказ на защите

Связный путь с переходами и точными местами в ноутбуке.

Не заучивай весь текст дословно. В каждом блоке покажи код, назови вход, действие и выход. Это сценарий примерно на 6-8 минут без подробного разбора формул.

1. Что я сделал

Показать: [32] / И83: class NeuralNetwork:

В этой работе я реализовал полносвязную нейросеть на NumPy. Она состоит из слоёв, каждый слой хранит веса, сдвиги и активацию. Обучение я тоже написал сам: готовую сеть и готовые веса не использовал. PyTorch нужен только для проверки моей математики.

Переход: Дальше покажу, из каких частей она собрана.

2. Матрицы

Показать: [2] / И9: def validate_matrix(matrix):

Сначала реализовал операции над матрицами на списках: умножение на число, сложение, транспонирование и произведение. Здесь циклы требуются условием. Для самой сети перехожу к NumPy, чтобы считать сразу все объекты.

Переход: Но одной линейной арифметики недостаточно для сложных границ.

3. Активации

Показать: [12] / И32: class ReLU(ActivationFunction):
[21] / И53: class Softmax(ActivationFunction):

Активация преобразует сумму входов. ReLU обнуляет отрицательные значения и добавляет нелинейность. Sigmoid даёт вероятность для двух классов, Softmax даёт распределение для нескольких. Для всех функций реализованы производные. У Softmax это целая матрица, потому что его выходы связаны.

Переход: Теперь нужно оценить, насколько ответ сети плох.

4. Потери

Показать: [25] / И64: class MeanSquaredError(LossFunction):
[29] / И75: class CrossEntropy(LossFunction):

Для числового ответа использую MSE, для двух классов BCE, для нескольких CrossEntropy. У CrossEntropy есть два режима: вход уже вероятности или ещё логиты. В итоговой сети вход логиты, Softmax включён в потерю, поэтому последний слой Identity.

Переход: Производная потери позволяет передать ошибку назад.

5. Само обучение

Показать: [31] / И82: class Layer:
[32] / И83: class NeuralNetwork:

В Layer.forward сохраняю вход, считаю X @ W + b и применяю активацию. В backward получаю пришедший градиент, переношу его через активацию, считаю градиенты весов и сдвигов. Градиент для предыдущего слоя вычисляю со старыми весами, после этого обновляю параметры. NeuralNetwork.train повторяет прямой и обратный проход по эпохам.

Переход: Проверяю не только формулы, но и поведение сети на задачах.

6. Эксперименты

Показать: [36] / И91: layers = [
[37] / И92: layers = [
[39] / И95: from sklearn.preprocessing import StandardScaler

В регрессии сеть предсказывает числа. На окружностях сравниваю скрытый Identity и ReLU. Линейную границу нельзя замкнуть вокруг внутреннего кольца, а ReLU позволяет получить более сложную границу. Затем обучаю сеть на четырёх классах и проверяю требуемую accuracy выше 90%.

Переход: После учебных данных беру реальные изображения цифр.

7. Данные и выбор

Показать: Ищи # Digits: данные и разбиение и # Выбор настроек только по validation

У Digits 1797 картинок, каждая 8 на 8 пикселей. Превращаю картинку в 64 числа и делю яркость на известный максимум 16. Откладываю тест, выбираю ширину слоя и шаг обучения на валидации по macro-F1. Размер выборки я не подбираю.

Переход: Теперь важно действительно использовать выбранные настройки.

8. Итог

Показать: # Финальная сеть использует именно лучшие настройки

Создаю final_model из best_params и обучаю на объединении train и validation. Итоговые вероятности, метрики, матрица ошибок и примеры ошибок получены именно этой моделью. Тест не использовался для выбора параметров. Моя сеть учится с нуля; sklearn только предоставляет данные и метрики.

Переход: Показываю фактическую таблицу результата и называю её значения.

Проверь себя

Где реализована нейросеть сама?

Layer задаёт один слой, NeuralNetwork связывает их. Веса меняются в Layer.backward, обучение запускает NeuralNetwork.train.

А сами градиенты откуда?

Формулы вручную в grad активаций/потерь и Layer.backward. torch.autograd только сравнивает их с независимым результатом.

Вы умеете показать лучшие параметры в коде?

best_params выбирается по val_f1. Потом final_model создаётся с best_params.hidden_size, а train получает best_params.learning_rate.

Тут можно было без цикла?

В формулах градиентов циклов нет, NumPy считает весь батч. Циклы нужны по последовательным слоям, эпохам и вариантам эксперимента. Первый блок матриц специально требует списки.