Модель для бинарной классификации не обучается с точностью больше 0.5

@SharpProg · Регистрация: 24.01.2017

Студворк — интернет-сервис помощи студентам

Есть вот такая модель:

Python
1
2
3
4
5
6
7
8
9
model = tf.keras.Sequential()
model.add(tf.keras.layers.InputLayer(input_shape=train_data.shape[1]))
model.add(tf.keras.layers.Dense(30, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(64, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(27, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(2, activation=tf.nn.softmax))
 
model.compile(optimizer="Adam", loss=tf.keras.losses.binary_crossentropy, metrics=[tf.keras.metrics.binary_accuracy])
model.fit(train_data, train_results, batch_size=15, epochs=50)

Что бы я не менял и как бы не обрабатывал данные, но он не обучается больше 0.5. Думаю, что что-то делаю не так, но что, не знаю. Ноутбук и данные для модели прилагаю.

@Nick07 · 15.03.2021, 08:36

Сообщение от SharpProg

2, activation=tf.nn.softmax

А классическую форму бинарной классификации пробовали?
Типа:
1, activation=tf.nn.sigmoid

Добавлено через 1 минуту

Сообщение от SharpProg

но он

А это что??

Добавлено через 1 минуту

Сообщение от SharpProg

не обучается больше 0.5

Вполне банальная ситуация, НС не "золотая пуля"

Добавлено через 1 минуту

Сообщение от SharpProg

.binary_crossentropy

Противоречит SOFTMAX

Добавлено через 1 минуту
Приведите обоснование архитектуры и гиперпараметров

@SharpProg · 15.03.2021, 20:11 **[ТС]**

Сообщение от Nick07

А это что??

Он - это модель. Как мыш, но модель.

Сообщение от Nick07

Вполне банальная ситуация, НС не "золотая пуля"

Тут речь не идёт о золотой пуле, или каком-то граале. 0,5 - это подбрасывание монетки. У меня в данных не белый шум, хотя бы до 0,6-0,7 можно обучить.

Сообщение от Nick07

Приведите обоснование архитектуры и гиперпараметров

Увидел на каком-то сайте. Я в этой теме плохо понимаю.

Поменял softmax на sigmoid и теперь сразу такие результаты:

Epoch 1/50
200/200 [==============================] - 0s 851us/step - loss: 0.0088 - binary_accuracy: 0.9957
Epoch 2/50
200/200 [==============================] - 0s 573us/step - loss: 0.0182 - binary_accuracy: 0.9917
Epoch 3/50
200/200 [==============================] - 0s 573us/step - loss: 0.0199 - binary_accuracy: 0.9927
Epoch 4/50
200/200 [==============================] - 0s 613us/step - loss: 0.0114 - binary_accuracy: 0.9947
Epoch 5/50
200/200 [==============================] - 0s 608us/step - loss: 0.0210 - binary_accuracy: 0.9913
Epoch 6/50
200/200 [==============================] - 0s 593us/step - loss: 0.0088 - binary_accuracy: 0.9953

Это либо чудо, либо что-то опять неправильно.
Ну и модель пришлось немного поправить:

Python
1
2
3
4
5
6
model = tf.keras.Sequential()
model.add(tf.keras.layers.InputLayer(input_shape=train_data.shape[1]))
model.add(tf.keras.layers.Dense(30, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(64, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(27, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(1, activation=tf.nn.sigmoid))

@Nick07 · 16.03.2021, 09:39

Сообщение от SharpProg

Как мыш, но модель.

Ну тогда, для сохранения стиля: "модел"

График loss приведите, чтобы на переобучение не нарваться.
binary_accuracy: 0.9953 - это еще не о чём не говорит

@SharpProg · 16.03.2021, 23:15 **[ТС]**

Такие графики получились:

@Nick07 · 17.03.2021, 08:51

Сообщение от SharpProg

Такие графики получились:

Всё ОК! Нормальные графики

Добавлено через 2 минуты
Результаты классификации лучше представить при помощи:
classification_report

@u235 · 17.03.2021, 19:55

SharpProg, не думали над снижением размерности? У вас данные сильно коррелированы. Первый главный компонент обеспечивает 90.39 % от общей суммы дисперсий. А 5 главных компонент - 99.72% Т.е. вместо 84 столбцов на входе можно обойтись, например, пятью или менее.

@SharpProg · 17.03.2021, 21:14 **[ТС]**

Сообщение от u235

Первый главный компонент обеспечивает 90.39 % от общей суммы дисперсий. А 5 главных компонент - 99.72% Т.е. вместо 84 столбцов на входе можно обойтись, например, пятью или менее.

Да, там данные достаточно "похожие". А как это сделать? Если после входного слоя поставить Dense(5) это сработает?

@u235 · 17.03.2021, 21:44

SharpProg, сработает или нет - не знаю, надо проверять. Т.е. возможно (но не факт), что архитектуру сети можно будет упростить, т.к. во входном слое будут не 84 признака, а всего 5, допустим...
Сделать это можно или вручную (numpy), вычесть среднее, посчитать матрицу ковариации и посчитать ее собственные вектора и числа. Или воспользоваться scikit-learn, см. пример: https://scikit-learn.org/stabl... -vs-pls-py

Новые блоги и статьи Все статьи Все блоги /
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Programma_Boinc 28.12.2025 Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / ********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / ********/ gallery/ bKBkQFf Пост отсюда. . .	Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США. Programma_Boinc 26.12.2025 Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .	Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка. Programma_Boinc 23.12.2025 Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .	PhpStorm 2025.3: WSL Terminal всегда стартует в ~ and_y87 14.12.2025 PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .	Как объединить две одинаковые БД Access с разными данными VikBal 11.12.2025 Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук volvo 07.12.2025 Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro	Музыка, написанная Искусственным Интеллектом volvo 04.12.2025 Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .	От async/await к виртуальным потокам в Python IndentationError 23.11.2025 Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .	Поиск "дружественных имён" СОМ портов Argus19 22.11.2025 Поиск "дружественных имён" СОМ портов На странице: https:/ / norseev. ru/ 2018/ 01/ 04/ comportlist_windows/ нашёл схожую тему. Там приведён код на С++, который показывает только имена СОМ портов, типа,. . .	Сколько Государство потратило денег на меня, обеспечивая инсулином. Programma_Boinc 20.11.2025 Сколько Государство потратило денег на меня, обеспечивая инсулином. Вот решила сделать интересный приблизительный подсчет, сколько государство потратило на меня денег на покупку инсулинов. . . .

@SharpProg 7 / 7 / 1 Регистрация: 24.01.2017 Сообщений: 229
	16.03.2021, 23:15 [ТС]
	Такие графики получились: Миниатюры 0

@u235 5514 / 2867 / 571 Регистрация: 07.11.2019 Сообщений: 4,753
	17.03.2021, 19:55
	SharpProg, не думали над снижением размерности? У вас данные сильно коррелированы. Первый главный компонент обеспечивает 90.39 % от общей суммы дисперсий. А 5 главных компонент - 99.72% Т.е. вместо 84 столбцов на входе можно обойтись, например, пятью или менее. 0

@u235 5514 / 2867 / 571 Регистрация: 07.11.2019 Сообщений: 4,753
	17.03.2021, 21:44
	SharpProg, сработает или нет - не знаю, надо проверять. Т.е. возможно (но не факт), что архитектуру сети можно будет упростить, т.к. во входном слое будут не 84 признака, а всего 5, допустим... Сделать это можно или вручную (numpy), вычесть среднее, посчитать матрицу ковариации и посчитать ее собственные вектора и числа. Или воспользоваться scikit-learn, см. пример: https://scikit-learn.org/stabl... -vs-pls-py 1