ЛР5
Softmax и логиты

Softmax и логиты

Десять оценок превращаются в десять связанных вероятностей.

Логиты являются необработанными оценками классов. Они могут быть отрицательными и не обязаны давать в сумме единицу. Softmax превращает их в вероятности.

Идея: положить каждому классу экспоненту его оценки, затем поделить на общую сумму. При одинаковых двух оценках [0,0] получаем [0.5,0.5].

pᵢ = exp(zᵢ) / Σ exp(zⱼ)

Вычитание максимума из всех оценок не меняет ответ: общий множитель сокращается. Это защищает от слишком больших экспонент.

Три класса делят единицу

Два других логита равны 0. Повысь первый: вероятности остальных тоже изменятся.

Что такое Якобиан

Это таблица производных: строка обозначает выход, столбец вход. Softmax.grad возвращает весь Якобиан, потому что каждый выход зависит от всех входов. Для двух равных классов диагональ 0.25, вне диагонали -0.25.

[21] / И53: class Softmax(ActivationFunction):

Код и построчный разбор
 1  class Softmax(ActivationFunction):
 2      def __call__(self, x):
 3          x = np.asarray(x, dtype=float)
 4          shifted = x - np.max(x, axis=-1, keepdims=True)
 5          exponents = np.exp(shifted)
 6          return exponents / exponents.sum(axis=-1, keepdims=True)
 7  
 8      def grad(self, x):
 9          probabilities = self(x)
10          identity = np.eye(probabilities.shape[-1])
11          return (probabilities[..., :, None] * identity
12                  - probabilities[..., :, None] * probabilities[..., None, :])
СтрокаЧто происходит
1Объявляем класс: шаблон объекта с данными и методами. Это наша реализация.
2Позволяет вызывать объект как функцию: например, Sigmoid()(x). Здесь вычисляется значение.
3Приводим вход к массиву вещественных чисел, чтобы формула работала сразу над всеми элементами.
4Из каждой строки вычитаем её максимум. Отношения экспонент не меняются, переполнение предотвращается.
5Вычисляем экспоненты сдвинутых логитов. Все значения положительны или численно близки к нулю.
6Каждую экспоненту делим на сумму в той же строке. Все вероятности строки дают 1.
8Метод grad возвращает производную по входу функции, для потерь по прогнозам.
9Вызываем прямую формулу текущей активации. self(x) означает вызвать __call__ этого объекта.
10Создаём единичную матрицу: единицы на диагонали, остальные элементы нулевые. Она представляет символ Кронекера.
11Первая часть Якобиана: диагональная матрица вероятностей.
12Вычитаем внешнее произведение вектора на себя. Получаем и диагональные, и перекрёстные производные.

[22] / И54: z_range = np.array([[0.5, 1.25, 0.25, 2.2, 0.05, 0.495]])

Код и построчный разбор
 1  z_range = np.array([[0.5, 1.25, 0.25, 2.2, 0.05, 0.495]])
 2  softmax = Softmax()
 3  softmax_values = softmax(z_range)
 4  softmax_gradient = softmax.grad(z_range)
 5  fig, axes = plt.subplots(1, 2, figsize=(11, 4))
 6  axes[0].bar(range(6), softmax_values[0], label='Вероятность')
 7  axes[0].set(xlabel='Номер класса', ylabel='Вероятность', title='Softmax: сумма равна 1')
 8  axes[0].legend()
 9  image = axes[1].imshow(softmax_gradient[0], cmap='coolwarm')
10  axes[1].set(xlabel='Вход j', ylabel='Выход i', title='Якобиан: влияние входа на выход')
11  fig.colorbar(image, ax=axes[1], label='Производная')
12  plt.tight_layout()
13  plt.show()
14  print('Сумма вероятностей:', softmax_values.sum())
15  print('Размер Якобиана:', softmax_gradient.shape)
СтрокаЧто происходит
1Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
2Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
3Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
4Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
7Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
8Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
9Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
10Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
11Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
12Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
13Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
14Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
15Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.

[23] / И56: input = np.array([[1.0, 2.0, 3.0],

Код и построчный разбор
 1  input = np.array([[1.0, 2.0, 3.0],
 2                    [2.0, 7.0, 4.0],
 3                    [2.0, 2.0, 2.0]])
 4  
 5  custom_output = Softmax()(input)
 6  torch_output = F.softmax(torch.tensor(input), dim=-1).numpy()
 7  
 8  print("Custom Softmax Output:")
 9  print(custom_output)
10  print()
11  print("PyTorch Softmax Output:")
12  print(torch_output)
13  
14  assert np.allclose(custom_output, torch_output)
СтрокаЧто происходит
1Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
2Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
3Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
8Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
9Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
10Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
11Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
12Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
14Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
Результат выполнения ячейки 22
Фактический вывод [22], исходная ячейка И54.
Сумма вероятностей: 0.9999999999999999
Размер Якобиана: (1, 6, 6)

Проверь себя

Где Softmax в итоговой сети?

При обучении он включён в CrossEntropy(use_softmax=True); после обучения отдельно превращает логиты final_model в вероятности.

Почему последний слой Identity?

Он выдаёт логиты. Softmax уже учтён в функции потерь.

Почему grad возвращает матрицу?

Потому что изменение одного логита влияет на все вероятности.

Чем отличается argmax?

argmax только выбирает индекс максимума. Он не вычисляет вероятности и не обучает сеть.