Причина когда расходятся хорошие результаты по тестированию сети и реальность

Есть нейронная сеть, хорошо обучаемая, нет переобучения. Результат валидации по эпохам очень близок к результатам обучения.
Результирующие данные тестирования замечательные, потери близки к нулю а точность близка к 1. Сеть обучена играть в игру Го на большом количестве данных игроков профессионалов не ниже 6 дана. Но я легко обыгрываю обученную сеть. В чем может быть причина? Свой высокий уровень игрока в Го я исключаю
Код для программы сети без ошибок, используется Keras. Коды из книги Глубокое обучение и игра Го. Макс Памперла.

Добавлено через 2 минуты
Увеличение данных для обучения результатов тестирования сети не меняет. Что на 10000 играх, что на 60000. Каждая игра не меньше двух десятков ходов на доске 19Х19.

0

Да вы, батенька, замахнулись на reinforcement learning. Какие-то другие сетки на эту же тему выполняли?

1

Я прочитал книгу в оригинальном английском языке которая вышла в 2017 году, Глубокое обучение и игра Го.
Сейчас она вышла в издательстве ДМК на русском языке и продается с января февраля этого 2020 года.

Сейчас имея видеокарту Gforce 1660 super позволил себе по серьезному пройти эту книгу еще раз. Без видеокарты даже и пробовать заниматься машинным обучением не стоит. И в виндах это тоже не стоит делать.
Я использую LinuxUbuntu, Pycharm, Anaconda.

Вижу что и авторы книги тоже обучив хорошо свою сеть стандартным способом столкнулись с такой же проблемой и перешли к обучению с подкреплением или вознаграждением(reinforcement learning).
Вопрос общий, как так предсказания после обучения хорошие, почти на 100% совпадают с действием "учителя" и "учитель" довольно таки эксперт но система ведет при игре в реальности слабо? Т. е. есть общая проблема глубокого обучения и она не разьеснена.

Добавлено через 7 минут
Кстати, кто не читал еще эту книгу, рекомендую. Книга приключение,детектив как развивалась игра Альфа Го которая победила в 2016 году 14 кратного чемпиона в игру Го со счетом 4:1. Об этом снят фильм и его можно найти в интернете. Коды к книге выложены. Я с игрой Го впервые познакомился в марте 1976 года. Но в СССР и России она не была распространена. Потом забыл и случайно посмотрел фильм про это соревнование.

0

Сообщение от Nail1959 Я прочитал книгу в оригинальном английском языке

Может крестики-нолики или морской бой?

0

Это троллинг?

0

Сообщение от Nail1959 Это троллинг?

Я никогда бы не стал заниматься сложнейшей игрой с богатой историей, пока не набрался бы опыта на "кошках". Это совет. Удары от сложной задачи сильные, непонятные, тонут в "масштабах". У вас отличная база, примените ее к задачам, которые сделают вас еще сильней.

0

Вообще то машинным обучение я начал заниматься с 2008 года. Сперва создавал сеть в пакете Statistica, потом в Matlab. Тогда еще не было слышно про Deep Learning. И если я читал книгу в 2017 году и выполнял коды, анализировал их то думаю,
игру на "кошках" я уже прошел Это не удар от сильной задачи, а принципиальный вопрос по машинному обучению.
То что это обучение больше искусство чем наука хорошо изложено в книге автора пакета Keras, она тоже есть на русском языке. Франсуа Шолле "Глубокое обучение на Python"

Добавлено через 12 минут
Уточню еще раз вопрос.
Кто нибудь встречался с ситуацией расхождения с реальностью и результатом обучения?(Предполагается замкнутая система с неизменяемыми правилами. Нет оверфитинга, большое количество данных обучения и тестирования.)
Хотя бы на опыте на "кошках"? Кто нибудь встречался с объяснением почему это происходит?
В какой нибудь литературе? В форумах?

0

Сообщение от Nail1959 Кто нибудь встречался с ситуацией расхождения с реальностью и результатом обучения?

Так Вы, скорее всего, сами и встретились. Ибо обучали

Сообщение от Nail1959 на большом количестве данных игроков профессионалов не ниже 6 дана.

- а играть с сеткой садитесь с гораздо более скромными умениями. Т.е. Ваш стиль игры может быть просто сильно нетипичен с точки зрения использованной обучающей выборки - вот сетка и не умеет бороться с подобными "ударами доской по голове"

0

Об этом я тоже думал. Но вопрос в том что бот не пытался спасать свои камни когда я атаковал их и не пытался атаковать меня, просто играл не лучше рандомного бота. Хотя одну из 5 партий Ли Седоль как раз выиграл сделав совершенно дилетантский ход чем поставил программу в трудное положение и она проиграла
Сегодня я просто возьму выборку из нескольких игр на которых обучалась и тестировалась программа и повторю игру. Для тестирования авторы книги брали игры с датой после 2014 года. Сейчас на сайте 179000 игр. Последние кажется датированы апрелем 2019 года.

0

Получается, да, переобучение)

0

Обучение проходило что для каждого состояния доски бот должен выбрать лучший ход. Считается что "учитель" делает выбор из лучших ходов.
Но если я любитель и делаю свой ход, доска переходит в новое состояние и бот должен сделать лучший ход. На практике последовательность "лучших ходов" бота приводит его к поражению. Это не кажется странным? Так что хороший игрок должен побеждать слабого игрока всегда.

Добавлено через 10 минут
В заключении 8 главы перед переходом к обучению с подкреплением авторы книги правда написали что бот даже после 160000 игр обучения у них играет не выше 2 дана.

0

Сообщение от Nail1959 Кто нибудь встречался с ситуацией расхождения с реальностью и результатом обучения?(Предполагается замкнутая система с неизменяемыми правилами. Нет оверфитинга, большое количество данных обучения и тестирования.)

Сейчас бьюсь над такой задачей. Точность по обучающей, валидной и тестовой выборкам 0.9999, лосс порядка десять в минус четверной, а задача не решается. Данных для обучения сотня тысяч, не игра.

Добавлено через 45 секунд
Переобучения по характеру лосс нет

Добавлено через 35 секунд
Выборки адекватны

0

Сообщение от Nail1959 Кто нибудь встречался с ситуацией расхождения с реальностью и результатом обучения?

А разве расхождение реальности с результатом обучения доказано? Возможно, программа выявила паттерн, но этот паттерн не подходит для игры против Вас. Попробуйте обучить её на партиях, показывающих ошибки новичков.

0

Сообщение от VTsaregorodtsev Ваш стиль игры может быть просто сильно нетипичен с точки зрения использованной обучающей выборки - вот сетка и не умеет

Берите выборку игры нубов.

Сообщение от Nick07 Точность по обучающей, валидной и тестовой выборкам 0.9999,

Это и есть переобучение.
Чем выше точность ответа тем хуже обобщение решения. Попробуйте останавливать обучение на точности например 0.8 на контрольной.

0

Как я понимаю, переобучение это отличный результат на данных обучения и низкий на данных тестирования.
При обучении сети пакетом Keras ясно видно где переобучение имеет место быть. Здесь такого нет.
Причина насколько я разобрался в кодировании состояния, конечно они были нормированы, но были от -1 до +1.
Сейчас я перекодировал входные данные для сети разбив на матрицы большей размерности, например две, одна для -другая для плюс .
В матрице где размещаю - значения они тоже теперь сделаны плюсовыми.

0

Сообщение от Excalibur921 Попробуйте останавливать обучение на точности например 0.8 на контрольной.

К сожалению, такой вариант не проходит. Если на 0.9999 и наблюдается что-то похожее на нормальный результат, то при 0.98 все значительно хуже.

0

Сообщение от Excalibur921 Это и есть переобучение. Чем выше точность ответа тем хуже обобщение решения.

Я ничего не буду комментировать - просто выложу картинку из статьи 2018г

0

Сообщение от Nick07 при 0.98 все значительно хуже.

Значит неправильно сделана логика работы сети. В моем понимании должен быть неплохой допуск на ответ например классификации. Если ответ сети от 0.75 до 1 то класс 1.

Может сеть избыточно сложная и выходит строит зеленый график.
https://ru.wikipedia.org/wiki/Переобучение
Откуда вообще такие зверства точности 0.9999? Это нереально много. Не встречал такого невидной книге.

Как вариант еще что сама задача у вас это некоторое рандомное событие типа форекса и вы хотите предсказать по истории будущее.

0

Данных мало, либо они неполностью используются.

Вращением доски можно учетверить число данных)

0

Сообщение от Mikhaylo Данных мало

Несколько тысяч

Сообщение от VTsaregorodtsev Я ничего не буду комментировать - просто выложу картинку из статьи 2018г

Это мне хорошо известно

0