Кошка или собака на одном выходном нейроне

Какие теоретические основания полагать, что два выходных нейрона лучше, чем один (кошка - 0, собака - 1) для бинарной классификации?

0

В принципе те же основания, что и для классификации "0 - кошка, 1 - собака, 2 - голубь".

Проблема в том, что числа 0, 1, 2 в данном случае совершенно не отражают суть выходной величины. Это искусственное число, которое как-то сложно и совершенно неестественно связано со входными данными. Следует избегать поиска закономерностей, используя такие антиестественные величины.

Может быть классификация "0 - голубь, 1 - кошка, 2 - собака" была бы более естественна, тут хотя бы по размерам объекты расставлены. Но тоже не факт, что все будет гуд. Все зависит от входных данных.

К неприродным величинам относят ключи-идентификаторы (ID) баз данных. Эти ключи присваиваются обычно приращением в совершенно случайном порядке и близкие идентификаторы могут запросто получать объекты, которые отличаются друг от друга значительно.
Природными (естественными) величинами называются такие, которые для близких объектов принимают также близкие значения (рост, масса, возраст). Между природными величинами закономерности естественны и просты, и именно на этом работают нейросети и прочие алгоритмы машинного обучения, ровно так же и мозгулечко человека.

Вспомните здесь классический пример ирисов Фишера.

Даже MNIST плохо работает в таком методе классификации: так как цифра "4" похожа на "9", цифра "0" похожа на "8" и они, по идее, должны получить близкие идентификаторы при классификации, а не в порядке значения.

Когда в сети два выходных нейрона, там две отдельные величины - вероятность кошки и вероятность собаки. Эти величины естественны, т.к. у близких значений вероятности смыслы близки:
0.0 - это точно не кошка, 0.1 - невероятно, что кошка, 0.2 - маловероятно, что кошка, ..., 0.9 - скорее всего, что кошка, 1.0 - стопроцентно, что кошка.

Вероятности всегда естественны.

0