Подбор данных для обучение нейронный сети

Решил немного заняться нейронными сетями, попробовал написать XOR, затем с sin попробовал. В результате ничего нормально не получалось, нашел в нете пример и главное отличие было в перетасовки данных для обучения и результат существенно отличался. Я как бы упустил этот момент и не совсем могу понять почему перемешивание данных для обучения столь существенно. Буду признателен если кто нибудь прояснит этот момент.

0

Вам бы почитать основы. В соседней теме хороший список литературы. Не зная основ любой алгоритм будет восприниматься как оккультный ритуал.

Если в двух словах, то НС в большинстве своём относятся к методам последовательного приближения к некой целевой функции на многомерном пространстве параметров. В зависимости от начальной точки процесса этого приближения и характеристик пространства метод может сойтись, не сойтись, сойтись локально. В простейших случаях можно сформировать пространство параметров таким способом, чтобы метод гарантированно сходился к глобальному оптимуму, но в общем случае гарантий никаких нет. Более того, существует производная теорема из теоремы о вычислимости дедушки Тьюринга, которая звучит примерно так: Для любой НС конечной топологии и заданной точности всегда найдётся функция, которую данная НС не сможет аппроксимировать. То есть сложность сети должна соответствовать аппроксимируемой функции. Вы не сможете качественно разделить 100 классов сетью из 10 нейронов.
Конкретно перемешивание делает выборку более представительной. Например, взяв синус только от аргументов кратных пи вы получите одни нули и никак не построите реальный синус на такой выборке. Кроме того многие методы обучения содержат в себе коэффициент скорости обучения и допущение, что скорость обучения со времени должна уменьшаться (то есть идёт последовательная сходимость к глобальному оптимуму). Не подав представительную обучающую выборку в начале обучения, когда этот коэффициент большой вы тем самым можете попасть в локальный оптимум из которого из-за низкого коэффициента обучения на более позднем этапе просто не вылезете.

1