Не могу разобраться как правильно сконструировать сеть

@vipAvos · Регистрация: 16.04.2019

Студворк — интернет-сервис помощи студентам

Здравствуйте.
Помогите, пожалуйста, начинающему разобраться как правильно сконструировать сеть! Python, Keras.
---------
По порядку:
используемые обозначения

А - int
Б - float
В - long
К - класс (может быть 0 или 1)

У меня есть набор данных:
А1,А2,Б1,Б2,Б3,Б4,А3,А4,В1,В2,А5,А6,Б5,Б 6,Б7,Б8,А6,А7,В3,В4
далее я каждой такой строке присвоил класс и получил
А1,А2,Б1,Б2,Б3,Б4,А3,А4,В1,В2,А5,А6,Б5,Б 6,Б7,Б8,А6,А7,В3,В4,К1,К2,К3
Это строка в CSV файле.

Каждая строка может принадлежать только одному классу.

Входной слой - 20, выходной - 3

А теперь вопросы:

Какую функцию активации стоит применить?
Какой оптимизатор?
Какую функцию потерь?
Какую метрику?

Перелопатил кучу сайтов, пересмотрел кучу примеров, но так и не понял что именно предпочтительней для моей задачи и, желательно, почему.

Буду очень благодарен за содержательные ответы.

@Mikhaylo · 01.02.2021, 06:36

Сообщение от vipAvos

Не могли бы Вы пояснить - какой более высокий уровень имеется в виду?

Когда ты сам возьмешь данные, обработаешь, и только потом скормишь нейросети.

@Nick07 · 01.02.2021, 15:47

Сообщение от vipAvos

Да и, как я понимаю, волшебной (универсальной) сети не бывает

Привет от Деда Мороза:
https://habr.com/ru/post/539312/
Нейронная Сеть CLIP от OpenAI: Классификатор, который не нужно обучать. Да здравствует Обучение без Обучения
А мы утираем слёзы и едем на дачу чистить снег.

@VTsaregorodtsev · 01.02.2021, 16:02

Сообщение от vipAvos

Или есть какие-то другие критерии?

Только лишь простое наличие готовых возможностей (средств, автоматизации, индикаторов,...) по выполнению широкого спектра нужных действий (или "ритуалов" - цепочек действий).
Просто у каждого - свой кругозор и/или свои задачи, и, отсюда, своё понимание нужной ему широты спектра

Кому-то хватает Опинеля - а кому-то обязательно нужен Victorinox workchamp xl с тремя десятками функций.

Чисто для информации: текст с критическим анализом идей расчёта информативностей признаков в конце 90ых лежал в инете рядом с тогдашним буржуинским FAQ по нейросеткам. Т.е. тогда это считалось (по крайней мере, автором FAQ и того текста) информацией сразу за пределами FAQ. И не просто справочной информацией (что это такое и как это считать) - а методологической информацией (критическим разбором идей).
Просто с недавних пор ширнармассы двинулись в сторону решения кучи задач распознавания/сегментации картинок или поиска/локализации объектов на них. И необходимость откидывать "лишние" пикселы у них там просто исчезла. Но тем, кто по-прежнему живёт с задачами в классической табличной форме "объект - признак" - совсем ведь не обязательно следовать моде и потребностям людей-распознавателей картинок?

@vipAvos · 04.02.2021, 16:47 **[ТС]**

Подскажите, пожалуйста, если после обучения я получаю валидационную точность 0.824, а после теста на новых данных точность 0.827 - это что-то значит?

Дело в том, что я где-то читал, что если валидационная точность меньше тестовой, то это говорит о том, что сеть работает нормально и НЕ переобучена. Хотелось бы услышать ваши мнения.

Добавлено через 7 минут
И ещё вопрос.
Я использую EarlyStopping. Но не могу найти ответ - а сколько эпох нужно ждать? Каким должен быть параметр patience= ?

@Nick07 · 04.02.2021, 19:14

Сообщение от vipAvos

и НЕ переобучена.

Смотрите на loss

@VTsaregorodtsev · 04.02.2021, 19:22

Сообщение от vipAvos

это что-то значит?

Абсолютно ничего. Две погоды на Луне.
Чтобы начало что-то значить - проверяйте статистическую гипотезу о равенстве/отличии частот (гипотезу о вероятности появления события).
А предварительно - формально докажите, чтобы обе выборки были из одной генеральной совокупности (чтобы, как минимум, не срабатывали статистические гипотезы о различии характеристик (средних и дисперсий, либо частот) какого-то признака на разных выборках).

@Mikhaylo · 04.02.2021, 19:28

К. В. Воронцов. Вычислительные методы обучения по прецедентам:

Для предотвращения попадания в такие «расщелины» применяется ранний останова (early stopping): в ходе итераций вычисляется какой-нибудь внешний критерий (стр. ??), например, средняя потеря на независимой контрольной выборке, и если он начинает возрастать, процесс настройки прекращается.

@vipAvos · 05.02.2021, 19:34 **[ТС]**

Уважаемые, прошу вас подсказать мне следующее:
уверен, для разбирающихся, эти картинки скажут, если не обо всём, то, хотя бы, о многом....
Я не спец, но что-то меня очень напрягает в этом. А что - не могу понять...
Поделитесь мыслями, пожалуйста. ... Только просьба - не умничайте. Вы же отвечаете "чайнику".

@vipAvos · 05.02.2021, 19:36 **[ТС]**

Вот картинки:
шьёрт боберри, а как добавить то картинки?

@Nick07 · 05.02.2021, 21:43

Сообщение от vipAvos

Поделитесь мыслями, пожалуйста

Классические картинки, читайте книжки, там все описано.

Сообщение от vipAvos

Только просьба - не умничайте

Книжки пересказать?

@vipAvos · 05.02.2021, 22:08 **[ТС]**

Что нарисовано - я прекрасно понимаю. Но КАК это нарисовано! В "книжках" я читал и видел подобные картинки, но они были "плавные", а у меня "пила"! ... Что не так?

@Nick07 · 05.02.2021, 23:16

Сообщение от vipAvos

у меня "пила"! ... Что не так?

У меня "пила" частенько бывает, по большому счёту это вопрос масштаба графиков. Считайте дисперсию.
Если хотите понизить дисперсию, проведите обучение раз так N и усредните результаты. Можно более наукообразно сделать - усреднить веса N моделей. Иногда понижение LearnRate на определенной эпохе "выпрямляет" график

Добавлено через 3 минуты

Сообщение от vipAvos

В "книжках" я читал и видел подобные картинки, но они были "плавные", а у меня "пила"! ... Что не так?

Это типа: в кино все девахи красотки, а в нашей распердяевке одни коровы.

@vipAvos · 06.02.2021, 17:02 **[ТС]**

Спасибо вам всем )))

Нет, вопросы ещё будут, но пока я занялся нормализацией данных по новому. Я отказался от from sklearn.preprocessing import normalize. Теперь нормализую данные "вручную". Ну типа

Например, параметры дней недели я просто делю на 7, а часы - на 24. После полной переподготовки данных продолжу эксперименты по выявлению лучших настроек сети )))

Добавлено через 4 часа 56 минут
Вот и приплыл первый вопрос:

Точность и потери.
Поясните мне что для обучения сети барче?

Я так понимаю - точность, это отношение правильных ответов к общему количеству. Так? Если из 10-и вопросов 8 точных, то точность составляет 0,8. Правильно? И эта "точность" никак не зависит от прочих факторов! Ну это я так понимаю...

Далее. При обучении сети я применяю функции потерь А и Б. А дальше я уже весь в растерянности...

При всех прочих равных:

ФП А = 0.4, точность = 0.9
ФП Б = 0.2, точность = 0.8

????????????????

Вот в какую сторону мне смотреть? Как именно ФП влияет на Т? И почему?

@vipAvos · 08.02.2021, 12:48 **[ТС]**

Приветствую всех.

Прогнал цикл обучений с разными параметрами сети.

Записей в таблице: 98
Максимальная точность: 0.7873968482017517
Минимальная точность: 0.7613635659217834
>> Обрезать таблицу до точности = 0.786

Получил таблицу с 12-ю записями с наивысшей точностью...

Code
1
2
3
4
5
Статистика слоёв:
120>1:76:'selu':0.3>3:'softmax'                   3
120>1:76:'relu':0.3>3:'softmax'                   3
120>2:123:'relu':0.3:76:'relu':0.2>3:'softmax'    3
120>2:123:'selu':0.3:76:'selu':0.2>3:'softmax'    3

Функцию ошибки использовал одну - BCE

Code
1
2
3
4
Статистика Оптимизатор:
adam       4
nadam      4
rmsprop    4

Из этого какие выводы я могу сделать?

количество скрытых слоёв не важно
активаторы не важны
оптимизаторы не важны

Или я делаю не правильные выводы?

@Nick07 · 08.02.2021, 14:17

Сообщение от vipAvos

Из этого какие выводы я могу сделать?

Что эти факторы слабо влияют на метрики классификации и надо использовать другие факторы, например увеличить число данных.

@vipAvos · 08.02.2021, 19:04 **[ТС]**

Классов в обучающей выборке: [1331. 1289. 2899.] > На валидацию [ 443 429 966 ]
Классов в тестовой выборке: [ 555. 580. 1231.]

@vipAvos · 11.02.2021, 18:07 **[ТС]**

Приветствую всех.

Продолжаю поиски настроек сети. Но вот сегодня я получил такие результаты:

Code
1
2
3
4
5
6
7
               Файл  Тест %                                          Слои   вПотери  вТочность    Потери  Точность  Разность Оптимизатор     Фн.Ошибки Метрика  Остановка  Эпоха
0  fl.99.5.3.0.-3.6    30.0  65>2:68:'selu':0.3:42:'selu':0.2>3:'sigmoid'  0.619337   1.050941  0.623191  1.054100  0.003160   ftrl_0001  lo_bin_cr_en  kl_div         48   3023
1  fl.99.5.3.0.-3.6    30.0                65>1:42:'selu':0.3>3:'sigmoid'  0.604307   1.017355  0.609225  1.021953  0.004598   ftrl_0001  lo_bin_cr_en  kl_div         48   3023
2  fl.99.5.3.0.-3.6    30.0  65>2:68:'selu':0.3:42:'selu':0.2>3:'softmax'  0.588293   1.003565  0.593518  1.013975  0.010410   ftrl_0001  lo_bin_cr_en  kl_div         48   3023
3  fl.99.5.3.0.-3.6    30.0                65>1:42:'selu':0.3>3:'softmax'  0.564738   0.959390  0.574033  0.977040  0.017650   ftrl_0001  lo_bin_cr_en  kl_div         48   3023
4  fl.99.5.3.0.-3.6    30.0                65>1:42:'selu':0.3>3:'softmax'  0.941569   0.941569  0.961898  0.961898  0.020329   ftrl_0001     lo_kl_div  kl_div         48   3023
5  fl.99.5.3.0.-3.6    30.0  65>2:68:'selu':0.3:42:'selu':0.2>3:'softmax'  0.893269   0.893269  0.920389  0.920389  0.027120   ftrl_0001     lo_kl_div  kl_div         48   3023

У меня вопрос по точности - каким образом точность может быть > 1 ??? Это что означает?

@Nick07 · 11.02.2021, 19:07

Сообщение от vipAvos

У меня вопрос по точности

А Вы ее как считали?

@vipAvos · 11.02.2021, 21:44 **[ТС]**

Code
1
2
3
4
5
6
7
history = History()
clb = [history, EarlyStopping(monitor='val_loss', patience=st, restore_best_weights=True, verbose=0)]
model.fit(x=X_train, y=y_train, epochs=3072, callbacks=clb, validation_split=validation, verbose=0)
results = model.evaluate(X_test, y_test)
...
table_row.append(results[0]) # 'Потери'
table_row.append(results[1]) # 'Точность'

@Nick07 · 11.02.2021, 23:22

Сообщение от vipAvos

table_row.append(results[0]) # 'Потери'
table_row.append(results[1]) # 'Точность'

Может тут все смешалось. Попробуйте писать loss и acc в разные массивы, типа:
table_row_loss.append(results[0])
table_row_acc.append(results[1])

Новые блоги и статьи Все статьи Все блоги /
Транскрипция 55-минутного видео через Whisper: WhisperDesktop облажался, спас Google Colab[ anaschu 01.06.2026 Понадобилось получить текст из свежезагруженного видео на YouTube. Казалось бы, задача на пять минут. Заняла полтора часа. Делюсь опытом — может кому пригодится последовательность решений. . . .	21 мат мед. Планы на развитие модели здравоСохранения anaschu 01.06.2026 AnyLogic: план развития симуляционной модели рабочего коллектива — динамический абсентеизм, реальные данные, три сценария сравнения Продолжаю серию постов о дискретно-событийной модели рабочего. . .	20. Мат мед. Абсентеизм как отдельный тип простоя anaschu 29.05.2026 Апдейт модели: исправленные баги, абсентеизм и новые механизмы Продолжаю развивать ранее описанную модель рабочего коллектива на AnyLogic. За последние несколько дней был проведён серьёзный. . .	19. здоровье, усталость и психотип работника влияют на производительность предприятия, и наоборот, производительность на здоровье, усталось и психотип anaschu 28.05.2026 Дискретно-событийная модель рабочего коллектива на AnyLogic: здоровье, выгорание, психотипы и микростимуляция Привет, коллеги. Хочу поделиться итогами нескольких недель работы над симуляционной. . .
"Прокси" для последовательного порта Eddy_Em 28.05.2026 Эту штуку написал я достаточно давно. Но сейчас вот понадобилось настроить датчик грозы, но при этом не отключать его от "метеодемона". Соответственно, надо запустить этот "прокси": метеодемон будет. . .	Рефакторинг программы уравнивания. Massaraksh7 26.05.2026 Пример по предыдущей записи в блоге. Но, надо заметить, что, во-первых, там оптимизация не только математики, но и работы с базой данных, и с графами, а во-вторых, это ещё не всё.	Использование TThread в Lazarus для математических вычислений. Massaraksh7 25.05.2026 Производя рефакторинг своих программ на предмет ускорения их работы, обратил внимание на такой аспект, как сокращение времени матвычислений. Дело в том, что приходится работать с большими матрицами. . .	Модель здравосохранения 18. Чем здоровее работник, тем быстрее выгорает anaschu 24.05.2026 Имитационная модель корпоративного здравоохранения: что показывает математика Сегодня в модели рабочего коллектива на AnyLogic появились три новые механики — выгорание через накопленную усталость,. . .

@vipAvos 0 / 0 / 0 Регистрация: 16.04.2019 Сообщений: 23

	Не могу разобраться как правильно сконструировать сеть 28.01.2021, 20:29. Показов 8191. Ответов 45 Метки keras, keras python, python, нейросеть (Все метки) Здравствуйте. Помогите, пожалуйста, начинающему разобраться как правильно сконструировать сеть! Python, Keras. --------- По порядку: используемые обозначения А - int Б - float В - long К - класс (может быть 0 или 1) У меня есть набор данных: А1,А2,Б1,Б2,Б3,Б4,А3,А4,В1,В2,А5,А6,Б5,Б 6,Б7,Б8,А6,А7,В3,В4 далее я каждой такой строке присвоил класс и получил А1,А2,Б1,Б2,Б3,Б4,А3,А4,В1,В2,А5,А6,Б5,Б 6,Б7,Б8,А6,А7,В3,В4,*К1,К2,К3* Это строка в CSV файле. Каждая строка может принадлежать только одному классу. Входной слой - 20, выходной - 3 А теперь вопросы: Какую функцию активации стоит применить? Какой оптимизатор? Какую функцию потерь? Какую метрику? Перелопатил кучу сайтов, пересмотрел кучу примеров, но так и не понял что именно предпочтительней для моей задачи и, желательно, почему. Буду очень благодарен за содержательные ответы. 0

@vipAvos 0 / 0 / 0 Регистрация: 16.04.2019 Сообщений: 23
	04.02.2021, 16:47 [ТС]
	Подскажите, пожалуйста, если после обучения я получаю валидационную точность 0.824, а после теста на новых данных точность 0.827 - это что-то значит? Дело в том, что я где-то читал, что если валидационная точность меньше тестовой, то это говорит о том, что сеть работает нормально и НЕ переобучена. Хотелось бы услышать ваши мнения. Добавлено через 7 минут И ещё вопрос. Я использую EarlyStopping. Но не могу найти ответ - а сколько эпох нужно ждать? Каким должен быть параметр patience= ? 0

@vipAvos 0 / 0 / 0 Регистрация: 16.04.2019 Сообщений: 23
	05.02.2021, 19:34 [ТС]
	Уважаемые, прошу вас подсказать мне следующее: уверен, для разбирающихся, эти картинки скажут, если не обо всём, то, хотя бы, о многом.... Я не спец, но что-то меня очень напрягает в этом. А что - не могу понять... Поделитесь мыслями, пожалуйста. ... Только просьба - не умничайте. Вы же отвечаете "чайнику". 0

@vipAvos 0 / 0 / 0 Регистрация: 16.04.2019 Сообщений: 23
	05.02.2021, 19:36 [ТС]
	Вот картинки: шьёрт боберри, а как добавить то картинки? Миниатюры 0

@vipAvos 0 / 0 / 0 Регистрация: 16.04.2019 Сообщений: 23
	05.02.2021, 22:08 [ТС]
	Что нарисовано - я прекрасно понимаю. Но КАК это нарисовано! В "книжках" я читал и видел подобные картинки, но они были "плавные", а у меня "пила"! ... Что не так? 0

@vipAvos 0 / 0 / 0 Регистрация: 16.04.2019 Сообщений: 23
	06.02.2021, 17:02 [ТС]
	Спасибо вам всем ))) Нет, вопросы ещё будут, но пока я занялся нормализацией данных по новому. Я отказался от from sklearn.preprocessing import normalize. Теперь нормализую данные "вручную". Ну типа Например, параметры дней недели я просто делю на 7, а часы - на 24. После полной переподготовки данных продолжу эксперименты по выявлению лучших настроек сети ))) Добавлено через 4 часа 56 минут Вот и приплыл первый вопрос: Точность и потери. Поясните мне что для обучения сети барче? Я так понимаю - точность, это отношение правильных ответов к общему количеству. Так? Если из 10-и вопросов 8 точных, то точность составляет 0,8. Правильно? И эта "точность" никак не зависит от прочих факторов! Ну это я так понимаю... Далее. При обучении сети я применяю функции потерь А и Б. А дальше я уже весь в растерянности... При всех прочих равных: ФП А = 0.4, точность = 0.9 ФП Б = 0.2, точность = 0.8 ???????????????? Вот в какую сторону мне смотреть? Как именно ФП влияет на Т? И почему? 0

@vipAvos 0 / 0 / 0 Регистрация: 16.04.2019 Сообщений: 23
	08.02.2021, 19:04 [ТС]
	Классов в обучающей выборке: [1331. 1289. 2899.] > На валидацию [ 443 429 966 ] Классов в тестовой выборке: [ 555. 580. 1231.] 0