| 1 | Объявляем класс: шаблон объекта с данными и методами. Это наша реализация. |
| 2 | Конструктор вызывается при создании объекта. Запоминает настройки и создаёт начальное состояние. |
| 3 | Сохраняем выбранную активацию. Если её не передали, слой остаётся линейным. |
| 4 | Создаём локальный генератор: одинаковый seed даёт те же начальные веса. |
| 5 | Для ReLU используем масштаб Хе. Для других активаций умеренный масштаб 1/sqrt(числа входов). |
| 6 | Создаём случайные веса. У каждого входа есть вес для каждого выходного нейрона. |
| 7 | Создаём один сдвиг на выходной нейрон. Одинаковый вектор прибавится ко всем объектам. |
| 9 | Объявляем функцию или метод. Аргументы в скобках являются её входными данными. |
| 10 | Запоминаем вход для обратного прохода: он понадобится в формуле градиента весов. |
| 11 | Взвешиваем входы и добавляем сдвиг. Это ещё не результат активации. |
| 12 | Применяем нелинейное преобразование и передаём результат следующему слою. |
| 14 | Объявляем функцию или метод. Аргументы в скобках являются её входными данными. |
| 15 | Softmax связывает выходы. Для него нужна специальная ветка, простое поэлементное умножение неверно. |
| 16 | Повторно получаем вероятности Softmax по сохранённым логитам этого слоя. |
| 17 | Начало сокращённого произведения на Якобиан: p умножается на входной градиент с поправкой. |
| 18 | Поправка есть сумма g*p по классам каждой строки. В итоге p*(g-sum(g*p)), с учётом связей классов. |
| 19 | Выбираем ветку вычислений по условию. |
| 20 | Обычная активация: умножаем пришедший градиент на локальную производную по правилу цепочки. |
| 21 | Вычисляем градиент для предыдущего слоя. Здесь ещё используются старые веса. |
| 22 | Суммируем вклад объектов в градиенты весов одним матричным умножением. |
| 23 | Суммируем градиенты по объектам: каждый сдвиг использовался во всех строках. |
| 24 | Комментарий: Градиент входов уже вычислен со старыми весами. |
| 25 | Шаг обучения: двигаем веса против направления роста ошибки. |
| 26 | Так же обновляем сдвиги. |
| 27 | Возвращаем сигнал ошибки предыдущему слою. |