Ошибка на валидации растет

@СеваДомин · Регистрация: 23.11.2021

Студворк — интернет-сервис помощи студентам

Добрый день, я пытаюсь пройти курс по Pytorch и на последнем задании ну никак не получается нормально обучить модель.
У меня маленький набор данных(всего 40 фоток тарелок, 20 чистых, 20 грязных), на обучающем наборе данных точность быстро доходит до 1, а на тестовом резкопадает. Я пытался увеличить набор данных с помощью Albumentations, менял параметры Adam,
проверял resnet18, resnet34, resnet50, resnet152, но никак не могу понять свою ошибку. Сейчас я думаю дело в том, что я не достаточно хорошо понимаю суть нейронных сетей поэтому начал читать "Грокаем глубокое обучение", но я не могу спокойно спать пока не решу задачу. Пожалуйста подскажите в какую сторону копать.
вот код https://github.com/GladkovAD/C... irty.ipynb

@Skryp · 23.11.2021, 23:20

Итак, когда работаете с маленьким набором данных, то тут три варианта: 1) брать уже обученную нейросеть и удалить у нее последний и предпоследний слой и заменить на пустые, но с параметрами для вашей задачи. Затем дообучить нейросеть на малом количестве примеров.
2) сделать генератор картинок нужной вам тематики. Здесь легче поискать в интернете похожие картинки (или готовый генератор картинок) и добавить их в трейн.
3) не забыть делать аугментацию ( наложить шум, повернуть, изменить яркость и и.д.). Так увеличим количество данных для трейна.

Добавлено через 14 минут
В общем, ищите примеры по запросу "Transfer learning pytorch". Вот пример https://towardsdatascience.com... 09190245ce

Добавлено через 7 минут
Так как у вас train стремится к 1, то у вас идет overfitting (переобучение) из-за малого количества данных и большого количества эпох.

@Nick07 · 24.11.2021, 10:46

Сообщение от Skryp

у вас идет overfitting (переобучение)

100% это так. Контролируйте поведение loss в зависимости от эпох

@СеваДомин · 24.11.2021, 12:43 **[ТС]**

Огромное спасибо! Я увеличил количество тренировочных данных еще больше и разморозил еще один слой и это сработало, у кого такая же пробема, внимательнее прочитайте это https://towardsdatascience.com... 09190245ce

Новые блоги и статьи Все статьи Все блоги /
SDL3 для Web (WebAssembly): сборка C/C++ проекта из консоли 8Observer8 30.01.2026 Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .	Установка Emscripten SDK (emsdk) и CMake на Windows для сборки C и C++ приложений в WebAssembly (Wasm) 8Observer8 30.01.2026 Чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. Система контроля версиями Git. . .	Подключение Box2D v3 к SDL3 для Android: физика и отрисовка коллайдеров 8Observer8 29.01.2026 Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .	Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT bedvit 28.01.2026 Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL_LoadPNG (без SDL3_image) 8Observer8 28.01.2026 Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .	Загрузка PNG с альфа-каналом на SDL3 для Android: с помощью SDL3_image 8Observer8 27.01.2026 Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .	Влияние грибов на сукцессию anaschu 26.01.2026 Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .	Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android 8Observer8 26.01.2026 Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .

@СеваДомин 0 / 0 / 0 Регистрация: 23.11.2021 Сообщений: 3

	Ошибка на валидации растет 23.11.2021, 14:11. Показов 2853. Ответов 3 Метки pyton (Все метки) Добрый день, я пытаюсь пройти курс по Pytorch и на последнем задании ну никак не получается нормально обучить модель. У меня маленький набор данных(всего 40 фоток тарелок, 20 чистых, 20 грязных), на обучающем наборе данных точность быстро доходит до 1, а на тестовом резкопадает. Я пытался увеличить набор данных с помощью Albumentations, менял параметры Adam, проверял resnet18, resnet34, resnet50, resnet152, но никак не могу понять свою ошибку. Сейчас я думаю дело в том, что я не достаточно хорошо понимаю суть нейронных сетей поэтому начал читать "Грокаем глубокое обучение", но я не могу спокойно спать пока не решу задачу. Пожалуйста подскажите в какую сторону копать. вот код https://github.com/GladkovAD/C... irty.ipynb 0

@Skryp 148 / 111 / 37 Регистрация: 28.11.2013 Сообщений: 383
	23.11.2021, 23:20
	Сообщение было отмечено СеваДомин как решение Решение Итак, когда работаете с маленьким набором данных, то тут три варианта: 1) брать уже обученную нейросеть и удалить у нее последний и предпоследний слой и заменить на пустые, но с параметрами для вашей задачи. Затем дообучить нейросеть на малом количестве примеров. 2) сделать генератор картинок нужной вам тематики. Здесь легче поискать в интернете похожие картинки (или готовый генератор картинок) и добавить их в трейн. 3) не забыть делать аугментацию ( наложить шум, повернуть, изменить яркость и и.д.). Так увеличим количество данных для трейна. Добавлено через 14 минут В общем, ищите примеры по запросу "Transfer learning pytorch". Вот пример https://towardsdatascience.com... 09190245ce Добавлено через 7 минут Так как у вас train стремится к 1, то у вас идет overfitting (переобучение) из-за малого количества данных и большого количества эпох. 1

@СеваДомин 0 / 0 / 0 Регистрация: 23.11.2021 Сообщений: 3
	24.11.2021, 12:43 [ТС]
	Огромное спасибо! Я увеличил количество тренировочных данных еще больше и разморозил еще один слой и это сработало, у кого такая же пробема, внимательнее прочитайте это https://towardsdatascience.com... 09190245ce 0

Ошибка на валидации растет

Решение