ЛР5
Учебные эксперименты

Учебные эксперименты

Регрессия, окружности и четыре класса.

Эксперимент нужен, чтобы увидеть поведение сети, а не только совпадение одной формулы. Регрессия проверяет предсказание чисел. Окружности показывают необходимость нелинейности. Четыре кластера проверяют многоклассовый выход.

Почему прямая не отделит вложенные кольца

Любая прямая разрезает плоскость на две стороны. Внутреннее кольцо окружено внешним со всех сторон, поэтому одной прямой не обойтись. Несколько ReLU создают кусочно-линейную границу.

MSE: 0.01109060968346478
Результат выполнения ячейки 33
Фактический вывод [33], исходная ячейка И86.
Результат выполнения ячейки 33
Фактический вывод [33], исходная ячейка И86.
Accuracy: 0.46
Результат выполнения ячейки 36
Фактический вывод [36], исходная ячейка И91.
Accuracy: 0.99
Результат выполнения ячейки 37
Фактический вывод [37], исходная ячейка И92.
Accuracy: 1.0000
Macro-F1: 1.0000
Результат выполнения ячейки 39
Фактический вывод [39], исходная ячейка И95.
Результат выполнения ячейки 39
Фактический вывод [39], исходная ячейка И95.

[33] / И86: from sklearn.datasets import make_regression

Код и построчный разбор
 1  from sklearn.datasets import make_regression
 2  from sklearn.model_selection import train_test_split
 3  
 4  
 5  X, y = make_regression(n_samples=1000, n_features=5, noise=0.1, random_state=42)
 6  y = y.reshape(-1, 1)
 7  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
 8  
 9  layers = [
10      Layer(5, 10, activation=Identity()),
11      Layer(10, 1, activation=Identity())
12  ]
13  model = NeuralNetwork(layers, loss=MeanSquaredError())
14  
15  losses = model.train(X_train, y_train, epochs=5000, learning_rate=0.001)
16  y_pred = model.forward(X_test)
17  
18  print("MSE:", MeanSquaredError()(y_test, y_pred))
19  plt.plot(losses, label='Обучение')
20  plt.xlabel('Эпоха'); plt.ylabel('Потеря'); plt.title('Обучение сети'); plt.legend()
21  plt.show()
22  
23  plt.figure(figsize=(8, 5))
24  plt.title('Регрессия: ответы и прогнозы')
25  plt.scatter(range(len(y_test)), y=y_test, label='Правильные ответы')
26  plt.scatter(range(len(y_test)), y=y_pred, marker='x', label='Прогнозы')
27  plt.legend(loc='best');
28  plt.xlabel('Объект теста'); plt.ylabel('Целевая величина'); plt.show()
СтрокаЧто происходит
1Подключаем библиотечные инструменты. Импорт не обучает сеть.
2Подключаем библиотечные инструменты. Импорт не обучает сеть.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
7Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
9Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
10Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
11Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
12Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
13Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
15Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
16Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
18Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
19Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
20Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
21Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
23Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
24Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
25Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
26Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
27Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
28Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.

[34] / И88: from sklearn.datasets import make_circles

Код и построчный разбор
 1  from sklearn.datasets import make_circles
 2  from sklearn.metrics import accuracy_score
 3  
 4  
 5  n_samples = 1000
 6  X, y = make_circles(n_samples,
 7                      noise=0.03,
 8                      random_state=42)
 9  y = y.reshape(-1, 1)
10  
11  plt.scatter(x=X[:, 0], y=X[:, 1], c=y, cmap=plt.cm.RdYlBu);
12  plt.xlabel('Признак 1'); plt.ylabel('Признак 2'); plt.title('Учебные данные'); plt.colorbar(label='Класс'); plt.show()
СтрокаЧто происходит
1Подключаем библиотечные инструменты. Импорт не обучает сеть.
2Подключаем библиотечные инструменты. Импорт не обучает сеть.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
7Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
8Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
9Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
11Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
12Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.

[35] / И89: X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

Код и построчный разбор
 1  X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
 2  len(X_train), len(X_test), len(y_train), len(y_test)
СтрокаЧто происходит
1Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
2Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.

[36] / И91: layers = [

Код и построчный разбор
 1  layers = [
 2      Layer(2, 5, activation=Identity()),
 3      Layer(5, 1, activation=Sigmoid())
 4  ]
 5  model = NeuralNetwork(layers, loss=BinaryCrossEntropy())
 6  
 7  losses = model.train(X_train, y_train, epochs=10000, learning_rate=0.1)
 8  y_pred = model.forward(X_test)
 9  
10  print("Accuracy:", accuracy_score(y_test, y_pred.round()))
11  plt.plot(losses, label='Обучение')
12  plt.xlabel('Эпоха'); plt.ylabel('Потеря'); plt.title('Обучение сети'); plt.legend();
13  circle_linear_accuracy = accuracy_score(y_test, y_pred.round())
СтрокаЧто происходит
1Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
2Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
3Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
4Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
7Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
8Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
10Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
11Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
12Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
13Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.

[37] / И92: layers = [

Код и построчный разбор
 1  layers = [
 2      Layer(2, 5, activation=ReLU()),
 3      Layer(5, 1, activation=Sigmoid())
 4  ]
 5  model = NeuralNetwork(layers, loss=BinaryCrossEntropy())
 6  
 7  losses = model.train(X_train, y_train, epochs=10000, learning_rate=0.1)
 8  y_pred = model.forward(X_test)
 9  
10  print("Accuracy:", accuracy_score(y_test, y_pred.round()))
11  plt.plot(losses, label='Обучение')
12  plt.xlabel('Эпоха'); plt.ylabel('Потеря'); plt.title('Обучение сети'); plt.legend();
13  circle_relu_accuracy = accuracy_score(y_test, y_pred.round())
СтрокаЧто происходит
1Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
2Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
3Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
4Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
7Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
8Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
10Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
11Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
12Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
13Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.

[38] / И94: from sklearn.datasets import make_blobs

Код и построчный разбор
 1  from sklearn.datasets import make_blobs
 2  
 3  
 4  X, y = make_blobs(n_samples=1000,
 5      n_features=2,
 6      centers=4,
 7      cluster_std=1.5,
 8      random_state=42
 9  )
10  
11  X_train, X_test, y_train, y_test = train_test_split(X, y,
12      test_size=0.2, random_state=42)
13  
14  plt.scatter(X[:, 0], X[:, 1], c=y, cmap=plt.cm.RdYlBu);
15  plt.xlabel('Признак 1'); plt.ylabel('Признак 2'); plt.title('Учебные данные'); plt.colorbar(label='Класс'); plt.show()
СтрокаЧто происходит
1Подключаем библиотечные инструменты. Импорт не обучает сеть.
4Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
7Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
8Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
9Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
11Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
12Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
14Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
15Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.

[39] / И95: from sklearn.preprocessing import StandardScaler

Код и построчный разбор
 1  from sklearn.preprocessing import StandardScaler
 2  from sklearn.metrics import f1_score, ConfusionMatrixDisplay
 3  
 4  blob_scaler = StandardScaler().fit(X_train)
 5  X_train_scaled = blob_scaler.transform(X_train)
 6  X_test_scaled = blob_scaler.transform(X_test)
 7  blob_model = NeuralNetwork([
 8      Layer(2, 16, ReLU(), random_seed=17),
 9      Layer(16, 4, Identity(), random_seed=18)
10  ], CrossEntropy(use_softmax=True))
11  blob_losses = blob_model.train(X_train_scaled, np.eye(4)[y_train],
12                                 epochs=2000, learning_rate=0.1)
13  blob_predictions = blob_model.forward(X_test_scaled).argmax(axis=1)
14  blob_accuracy = accuracy_score(y_test, blob_predictions)
15  print(f'Accuracy: {blob_accuracy:.4f}')
16  print(f'Macro-F1: {f1_score(y_test, blob_predictions, average="macro"):.4f}')
17  assert blob_accuracy > 0.90
18  plt.plot(blob_losses, label='Обучение')
19  plt.xlabel('Эпоха'); plt.ylabel('Cross-entropy'); plt.title('Четыре класса: обучение')
20  plt.legend(); plt.show()
21  ConfusionMatrixDisplay.from_predictions(y_test, blob_predictions)
22  plt.title('Четыре класса: ошибки на тесте'); plt.xlabel('Предсказанный класс'); plt.ylabel('Истинный класс')
23  plt.show()
СтрокаЧто происходит
1Подключаем библиотечные инструменты. Импорт не обучает сеть.
2Подключаем библиотечные инструменты. Импорт не обучает сеть.
4Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
5Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
6Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
7Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
8Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
9Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
10Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
11Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
12Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
13Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
14Вычисляем правую часть и сохраняем результат под именем слева. Смотри назначение блока и размеры его входов выше.
15Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
16Показываем полученный результат. Расчёт выполнен в переменных, а не вписан вручную.
17Проверяем обязательное условие. При нарушении выполнение останавливается с ошибкой.
18Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
19Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
20Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
21Продолжение выражения из предыдущей строки: читай его вместе с открывающей скобкой.
22Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.
23Настраиваем график или показываем его. Эта строка не обучает модель и не меняет метрики.

Проверь себя

Что генерирует make_circles?

Два класса точек на вложенных окружностях с небольшим шумом.

Почему sklearn здесь разрешён?

Он генерирует данные, делит выборку и считает метрики. Само обучение выполняет наш класс.

Где выполнено требование больше 90%?

В блоке И95 после blob_model: вычисляется blob_accuracy и стоит assert blob_accuracy > 0.90.

Зачем StandardScaler?

Он выравнивает масштабы признаков по статистике обучения. На тесте используется только transform.