ЛР5
Нейрон и матрицы

Нейрон и матрицы

От умножения чисел до слоя X @ W + b.

Представь оценку квартиры: площадь умножаем на цену метра, прибавляем поправку за район. Нейрон делает похожую взвешенную сумму. Когда входов много, складываем их вклады.

Сначала умножение и сумма, потом активация. Например: входы [2, 3], веса [0.5, -1], сдвиг 1. Получаем 2*0.5 + 3*(-1) + 1 = -1. После ReLU ответ 0.

Формула: z = x₁w₁ + x₂w₂ + b; a = activation(z)

Покрути один нейрон

Входы фиксированы: 2 и 3. Активация ReLU.

Попробуй получить положительный выход. После этого уменьши сумму ниже нуля: ReLU перестанет пропускать изменения.

Зачем матрицы

Матрица является таблицей чисел. Строка X соответствует объекту, столбец признаку. W хранит веса всех нейронов слоя сразу. Знак @ умножает матрицы; * умножает соответствующие элементы.

МассивРазмер в Digits, скрытый слой h
X1437 × 64 при финальном обучении
W первого слоя64 × h
b первого слоя1 × h
Выход первого слоя1437 × h
W второго слояh × 10
Итоговые логиты1437 × 10

[2] / И9: def validate_matrix(matrix):

Код и построчный разбор
 1  def validate_matrix(matrix):
 2      assert isinstance(matrix, list) and len(matrix) > 0, 'Нужен непустой список строк'
 3      assert all(isinstance(row, list) for row in matrix), 'Строки должны быть списками'
 4      assert len(matrix[0]) > 0, 'Строки не должны быть пустыми'
 5      assert all(len(row) == len(matrix[0]) for row in matrix), 'Разная длина строк'
 6  
 7  
 8  def scalar_multiplication(matrix, scalar, copy=True):
 9      validate_matrix(matrix)
10      result = deepcopy(matrix) if copy else matrix
11      for row in result:
12          for j in range(len(row)):
13              row[j] *= scalar
14      if copy:
15          return result
16  
17  
18  def matrix_addition(matrix1, matrix2):
19      validate_matrix(matrix1)
20      validate_matrix(matrix2)
21      assert len(matrix1) == len(matrix2) and len(matrix1[0]) == len(matrix2[0])
22      return [[a + b for a, b in zip(row1, row2)]
23              for row1, row2 in zip(matrix1, matrix2)]
24  
25  
26  def matrix_transposition(matrix):
27      validate_matrix(matrix)
28      return [list(column) for column in zip(*matrix)]
29  
30  
31  def matrix_multiplication(matrix1, matrix2):
32      validate_matrix(matrix1)
33      validate_matrix(matrix2)
34      assert len(matrix1[0]) == len(matrix2), 'Несовместимые размеры'
35      columns = matrix_transposition(matrix2)
36      return [[sum(a * b for a, b in zip(row, column)) for column in columns]
37              for row in matrix1]
СтрокаЧто происходит
1Объявляем функцию или метод. Аргументы в скобках являются её входными данными.
2Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
3Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
4Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
5Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
8Объявляем функцию или метод. Аргументы в скобках являются её входными данными.
9Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
10При copy=True создаём независимые строки. При False меняем исходную матрицу.
11Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента.
12Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента.
13Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
14Выбираем ветку вычислений по условию.
15Возвращаем вычисленный результат вызывающему коду: result
18Объявляем функцию или метод. Аргументы в скобках являются её входными данными.
19Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
20Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
21Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
22Возвращаем вычисленный результат вызывающему коду: [[a + b for a, b in zip(row1, row2)]
23Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента.
26Объявляем функцию или метод. Аргументы в скобках являются её входными данными.
27Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
28Возвращаем вычисленный результат вызывающему коду: [list(column) for column in zip(*matrix)]
31Объявляем функцию или метод. Аргументы в скобках являются её входными данными.
32Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
33Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
34Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
35Делаем столбцы второй матрицы удобными для перебора как строки.
36Возвращаем вычисленный результат вызывающему коду: [[sum(a * b for a, b in zip(row, column)) for column in columns]
37Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента.

[3] / И10: def print_matrix(matrix):

Код и построчный разбор
 1  def print_matrix(matrix):
 2      for row in matrix:
 3          print(row)
 4  
 5  
 6  matrix1 = [[1, 2, 3],
 7             [4, 5, 6],
 8             [7, 8, 9]]
 9  
10  matrix2 = [[9, 8, 7],
11             [6, 5, 4],
12             [3, 2, 1]]
13  
14  print("Умножение на скаляр:")
15  print_matrix(scalar_multiplication(matrix1, 2))
16  print()
17  
18  print("Сложение матриц:")
19  print_matrix(matrix_addition(matrix1, matrix2))
20  print()
21  
22  print("Произведение матриц:")
23  print_matrix(matrix_multiplication(matrix1, matrix2))
24  print()
25  
26  print("Транспонирование матрицы:")
27  print_matrix(matrix_transposition(matrix1))
28  print()
СтрокаЧто происходит
1Объявляем функцию или метод. Аргументы в скобках являются её входными данными.
2Перебираем элементы или эксперименты. Это управляющий цикл, а не замена векторной формулы градиента.
3Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
6Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
7Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
8Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
10Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
11Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
12Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
14Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
15Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
16Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
18Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
19Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
20Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
22Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
23Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
24Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
26Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
27Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
28Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.

[4] / И12: matrix1 = np.array([[1, 2, 3],

Код и построчный разбор
 1  matrix1 = np.array([[1, 2, 3],
 2                      [4, 5, 6],
 3                      [7, 8, 9]])
 4  
 5  matrix2 = np.array([[9, 8, 7],
 6                      [6, 5, 4],
 7                      [3, 2, 1]])
 8  
 9  print("Умножение на скаляр:")
10  print_matrix(matrix1 * 2)
11  print()
12  
13  print("Сложение матриц:")
14  print_matrix(matrix1 + matrix2)
15  print()
16  
17  print("Произведение матриц:")
18  print_matrix(matrix1 @ matrix2)
19  print()
20  
21  print("Транспонирование матрицы:")
22  print_matrix(matrix1.T)
23  print()
СтрокаЧто происходит
1Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
2Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
3Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
7Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
9Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
10Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
11Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
13Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
14Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
15Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
17Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
18Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
19Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
21Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
22Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
23Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.

Проверь себя

Где здесь нейрон?

Один столбец weights и один элемент bias задают один выходной нейрон.

Можно было без циклов?

Для первых матриц условие требует списки и циклы. В самой сети все объекты обрабатываются матрично.

Зачем транспонировать?

Меняем строки и столбцы местами, чтобы совпали нужные размерности матричного произведения.

Что делает copy=False?

Меняет переданный список на месте и возвращает None. При True создаётся глубокая копия.