Модель для бинарной классификации не обучается с точностью больше 0.5

@SharpProg · Регистрация: 24.01.2017

Студворк — интернет-сервис помощи студентам

Есть вот такая модель:

Python
1
2
3
4
5
6
7
8
9
model = tf.keras.Sequential()
model.add(tf.keras.layers.InputLayer(input_shape=train_data.shape[1]))
model.add(tf.keras.layers.Dense(30, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(64, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(27, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(2, activation=tf.nn.softmax))
 
model.compile(optimizer="Adam", loss=tf.keras.losses.binary_crossentropy, metrics=[tf.keras.metrics.binary_accuracy])
model.fit(train_data, train_results, batch_size=15, epochs=50)

Что бы я не менял и как бы не обрабатывал данные, но он не обучается больше 0.5. Думаю, что что-то делаю не так, но что, не знаю. Ноутбук и данные для модели прилагаю.

@Nick07 · 15.03.2021, 08:36

Сообщение от SharpProg

2, activation=tf.nn.softmax

А классическую форму бинарной классификации пробовали?
Типа:
1, activation=tf.nn.sigmoid

Добавлено через 1 минуту

Сообщение от SharpProg

но он

А это что??

Добавлено через 1 минуту

Сообщение от SharpProg

не обучается больше 0.5

Вполне банальная ситуация, НС не "золотая пуля"

Добавлено через 1 минуту

Сообщение от SharpProg

.binary_crossentropy

Противоречит SOFTMAX

Добавлено через 1 минуту
Приведите обоснование архитектуры и гиперпараметров

@SharpProg · 15.03.2021, 20:11 **[ТС]**

Сообщение от Nick07

А это что??

Он - это модель. Как мыш, но модель.

Сообщение от Nick07

Вполне банальная ситуация, НС не "золотая пуля"

Тут речь не идёт о золотой пуле, или каком-то граале. 0,5 - это подбрасывание монетки. У меня в данных не белый шум, хотя бы до 0,6-0,7 можно обучить.

Сообщение от Nick07

Приведите обоснование архитектуры и гиперпараметров

Увидел на каком-то сайте. Я в этой теме плохо понимаю.

Поменял softmax на sigmoid и теперь сразу такие результаты:

Epoch 1/50
200/200 [==============================] - 0s 851us/step - loss: 0.0088 - binary_accuracy: 0.9957
Epoch 2/50
200/200 [==============================] - 0s 573us/step - loss: 0.0182 - binary_accuracy: 0.9917
Epoch 3/50
200/200 [==============================] - 0s 573us/step - loss: 0.0199 - binary_accuracy: 0.9927
Epoch 4/50
200/200 [==============================] - 0s 613us/step - loss: 0.0114 - binary_accuracy: 0.9947
Epoch 5/50
200/200 [==============================] - 0s 608us/step - loss: 0.0210 - binary_accuracy: 0.9913
Epoch 6/50
200/200 [==============================] - 0s 593us/step - loss: 0.0088 - binary_accuracy: 0.9953

Это либо чудо, либо что-то опять неправильно.
Ну и модель пришлось немного поправить:

Python
1
2
3
4
5
6
model = tf.keras.Sequential()
model.add(tf.keras.layers.InputLayer(input_shape=train_data.shape[1]))
model.add(tf.keras.layers.Dense(30, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(64, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(27, activation=tf.nn.relu))
model.add(tf.keras.layers.Dense(1, activation=tf.nn.sigmoid))

@Nick07 · 16.03.2021, 09:39

Сообщение от SharpProg

Как мыш, но модель.

Ну тогда, для сохранения стиля: "модел"

График loss приведите, чтобы на переобучение не нарваться.
binary_accuracy: 0.9953 - это еще не о чём не говорит

@SharpProg · 16.03.2021, 23:15 **[ТС]**

Такие графики получились:

@Nick07 · 17.03.2021, 08:51

Сообщение от SharpProg

Такие графики получились:

Всё ОК! Нормальные графики

Добавлено через 2 минуты
Результаты классификации лучше представить при помощи:
classification_report

@u235 · 17.03.2021, 19:55

SharpProg, не думали над снижением размерности? У вас данные сильно коррелированы. Первый главный компонент обеспечивает 90.39 % от общей суммы дисперсий. А 5 главных компонент - 99.72% Т.е. вместо 84 столбцов на входе можно обойтись, например, пятью или менее.

@SharpProg · 17.03.2021, 21:14 **[ТС]**

Сообщение от u235

Первый главный компонент обеспечивает 90.39 % от общей суммы дисперсий. А 5 главных компонент - 99.72% Т.е. вместо 84 столбцов на входе можно обойтись, например, пятью или менее.

Да, там данные достаточно "похожие". А как это сделать? Если после входного слоя поставить Dense(5) это сработает?

@u235 · 17.03.2021, 21:44

SharpProg, сработает или нет - не знаю, надо проверять. Т.е. возможно (но не факт), что архитектуру сети можно будет упростить, т.к. во входном слое будут не 84 признака, а всего 5, допустим...
Сделать это можно или вручную (numpy), вычесть среднее, посчитать матрицу ковариации и посчитать ее собственные вектора и числа. Или воспользоваться scikit-learn, см. пример: https://scikit-learn.org/stabl... -vs-pls-py

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .	Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .
Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .	SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .

@SharpProg 7 / 7 / 1 Регистрация: 24.01.2017 Сообщений: 229
	16.03.2021, 23:15 [ТС]
	Такие графики получились: Миниатюры 0

@u235 5516 / 2869 / 571 Регистрация: 07.11.2019 Сообщений: 4,760
	17.03.2021, 19:55
	SharpProg, не думали над снижением размерности? У вас данные сильно коррелированы. Первый главный компонент обеспечивает 90.39 % от общей суммы дисперсий. А 5 главных компонент - 99.72% Т.е. вместо 84 столбцов на входе можно обойтись, например, пятью или менее. 0

@u235 5516 / 2869 / 571 Регистрация: 07.11.2019 Сообщений: 4,760
	17.03.2021, 21:44
	SharpProg, сработает или нет - не знаю, надо проверять. Т.е. возможно (но не факт), что архитектуру сети можно будет упростить, т.к. во входном слое будут не 84 признака, а всего 5, допустим... Сделать это можно или вручную (numpy), вычесть среднее, посчитать матрицу ковариации и посчитать ее собственные вектора и числа. Или воспользоваться scikit-learn, см. пример: https://scikit-learn.org/stabl... -vs-pls-py 1