Форум программистов, компьютерный форум, киберфорум
Наши страницы
Искусственный интеллект
Войти
Регистрация
Восстановить пароль
 
 
Рейтинг 4.67/3: Рейтинг темы: голосов - 3, средняя оценка - 4.67
Darkos
8 / 8 / 12
Регистрация: 16.05.2014
Сообщений: 142
Завершенные тесты: 1
1

Что из себя на практике представляет машинное обучение?

07.01.2019, 18:52. Просмотров 511. Ответов 34
Метки нет (Все метки)

Здравствуйте. Я работаю андроид разработчиком, заинтересовался темой машинного обучения, но не могу найти исчерпывающий ответ на то, что из себя представляет эта сфера, с чем тут работают? Можете в двух словах описать это? И с чего лучше всего начать изучение?
0
Similar
Эксперт
41792 / 34177 / 6122
Регистрация: 12.04.2006
Сообщений: 57,940
07.01.2019, 18:52
Ответы с готовыми решениями:

Распознавание рукописного текста и машинное обучение
Для распознавания древних манускриптов создается программа оптического распознавания и машинного...

Машинное обучение для выбора способа доставки грузов
Добрый день уважаемые форумчани! Прошу помочь с решением одной задачки. Хочу автоматизировать...

Что из себя представляет CMS
Доброго времени суток! Учу Web только полтора месяца, заметил что очень часто фигирирует...

что из себя представляет криптография ?
я понимаю, что шифрует файлы, обеспечивая защиту(поправьте меня если что), но собственно в примерах...

Union что из себя представляет?
Читал много книг и там про него не чего не было сказано, парни объясните мне пожалуйста для чего он?

34
NO_
63 / 24 / 6
Регистрация: 29.10.2016
Сообщений: 160
07.01.2019, 19:21 2
Ищут умные коэффициенты.
0
Mikhaylo
202 / 189 / 24
Регистрация: 20.09.2014
Сообщений: 1,358
08.01.2019, 05:53 3
Здесь занимаются построением решающей функции y = f(x1, x2, x3, ..., xn). При этом n может быть очень большим, например, n = 1000 или n = 1000 000 - это нормально. Например, xi - это могут быть числовые значения каждого пикселя изображения.
xi - это вопрос (признаки объекта),
y - это ответ (описание объекта).

То есть, когда мы построили функцию f, мы можем ей показать пиксели некоего изображения, а на выходе получить ответ y (изображена на фотографии кошечка или нет). Либо как вариант: ответ y - сколько лет человеку на фотографии.

Построение функции f осуществляется путем обучения. Поэтому эти все методы называются методами машинного обучения. Обучение - это когда берут обучающие примеры - пара "вопрос-ответ" (xi, y), при этом ответы являются заведомо верными. То есть мы показываем решающей функции фотографии и сообщаем ей правильные ответы (изображена кошечка или собачка), решающая функция перестраивается таким образом, чтобы выдавать правильные ответы на всем наборе обучающих данных.
После окончания обучения решающая функция готова к использованию.

Смотрите обучающее видео от К.В. Воронцова "Машинное обучение" на ютубе; читайте его же учебник, хотя бы первый абзац; проходите бесплатное обучение на coursera.org у НИУ ВШЭ с практикумом на Python.
1
VTsaregorodtsev
572 / 520 / 77
Регистрация: 19.02.2010
Сообщений: 1,903
08.01.2019, 19:14 4
Цитата Сообщение от Mikhaylo Посмотреть сообщение
чтобы выдавать правильные ответы на всем наборе обучающих данных.
А зачем для этого мышиное обучение?
Можно же просто хранить эталоны в БД и сравнивать любой поступивший на обработку пример с эталонными. Вот если совпадений не будет найдено - то...
Причём не нужно поэлементно вектора сравнивать - достаточно сравнивать хэши, и только при совпадении хэшей перепроверить поэлементно/побайтово (а то ведь у хэша могут быть коллизии).
Т.е. результаты мышиного обучения нужны реально только вне эталонных точек.

Далее. Покажите, плиз, хоть один источник, где обязательное правильное распознавание обуч.выборки названо НЕОБХОДИМЫМ условием для достижения лучшей обобщающей (интерполирующей и/или экстраполирующей) способности. И не просто названо - а приведено доказательство необходимости.



Цитата Сообщение от Mikhaylo Посмотреть сообщение
После окончания обучения решающая функция готова к использованию.
Потрясающая наивность
Проверять-доказывать адекватность построенной модели кто будет? Пушкин?
0
Mikhaylo
202 / 189 / 24
Регистрация: 20.09.2014
Сообщений: 1,358
08.01.2019, 19:37 5
Виктор, начинающим не надо знать таких подробностей.
1
NO_
63 / 24 / 6
Регистрация: 29.10.2016
Сообщений: 160
11.01.2019, 19:25 6
Что из себя на практике представляет машинное обучение?
1
xeonz
643 / 235 / 35
Регистрация: 16.05.2014
Сообщений: 1,875
15.01.2019, 09:28 7
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
А зачем для этого мышиное обучение?
Машинное обучение за тем, что дальше функции будут скармливать уже не обучающие данные, а "похожие".

Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
Проверять-доказывать адекватность построенной модели кто будет? Пушкин?
А машинное обучение ничего и не гарантирует. Оно _примерно_ работает, пока поступающие рабочие данные "похожи" на обучающие. Для большинства задач такого "примерно" и "похожи" вполне достаточно.
0
passant
63 / 60 / 10
Регистрация: 09.01.2018
Сообщений: 222
15.01.2019, 11:42 8
Цитата Сообщение от xeonz Посмотреть сообщение
А машинное обучение ничего и не гарантирует. Оно _примерно_ работает, пока поступающие рабочие данные "похожи" на обучающие. Для большинства задач такого "примерно" и "похожи" вполне достаточно.
Скажу больше - даже для "похожих" данных машинное обучение ничего не гарантирует. Именно поэтому "Проверять-доказывать адекватность построенной модели" - не просто желательно, но необходимо. Иначе результаты могут вообще никакого отношения к правде жизни не иметь.
Другое дело, что "быстрообученные" на всяких видеокурсах "специалисты по ML" об этом даже не забывают - они просто это проскакивают в кусре "Стань специалистом за 3 дня". И в глобальном плане это может стать проблемой.
P.S. Я уверен, что Mikhaylo просто опустил этот этап, пытаясь по доброте душевной "на пальцах" растолковать "андроид разработчику" самые основы того, что можно прочитать на первой странице любого учебника.
0
xeonz
643 / 235 / 35
Регистрация: 16.05.2014
Сообщений: 1,875
15.01.2019, 11:52 9
Цитата Сообщение от passant Посмотреть сообщение
Скажу больше - даже для "похожих" данных машинное обучение ничего не гарантирует.
Это тоже самое, что я сказал - "примерно".

Цитата Сообщение от passant Посмотреть сообщение
Именно поэтому "Проверять-доказывать адекватность построенной модели" - не просто желательно, но необходимо
Необходимо это только тогда, когда нам необходим 100% гарантированный результат. Когда например от этого зависит жизнь человека. В большинстве же задач (к примеру в торговле), достаточно, чтобы положительный результат был в пределах допуска и единичные ошибки тут вполне допустимы.
0
passant
63 / 60 / 10
Регистрация: 09.01.2018
Сообщений: 222
15.01.2019, 13:31 10
Цитата Сообщение от xeonz Посмотреть сообщение
Необходимо это только тогда, когда нам необходим 100% гарантированный результат. Когда например от этого зависит жизнь человека. В большинстве же задач (к примеру в торговле), достаточно, чтобы положительный результат был в пределах допуска и единичные ошибки тут вполне допустимы.
Не-а. Как только вы написали "в пределах допуска" - сразу становиться вопрос, а откуда этот допуск взялся. И тут сразу-же приходиться "Проверять-доказывать адекватность построенной модели". Ну например. Вы установили, что ошибка (допуск) предсказания вашей модели продажи некоего товара на период в ближайшие Х месяцев не должна быть больше Y%. Это не медицина, тут люди от неправильного прогноза не умрут, но вот вас лично, как автора прогноза, который не оправдался, с работы выгонят. А фирма, принявшая такой несбывшийся прогноз - обанкротится. При этом у вас есть три разные модели. Вот и думайте, надо-ли доказывать их адекватность, точность и пр, а потом выбирать ту, при которой вероятность вылететь за предел допуска меньше, или нет. Или хотя-бы заранее предупредить заказчика об уровне вероятности ошибиться при использовании вашей модели. Что-бы он мог подготовиться, да и вам была возможность потом сказать "я ведь предупреждал" :-)

Я конечно многое упростил. Но суть осталась та-же: Анализ адекватности модели - необходимый этап работы аналитика.

P.S. Самый близкий аналог, который приходит на ум - а надо ли делать тестирование при разработке ПО, все равно ведь аксиому "последняя ошибка в программе на самом деле всегда является предпоследней" никто не отменял. И 100% безошибочных программ не существует. Но это не значит, что тестировать нет смысла.
0
xeonz
643 / 235 / 35
Регистрация: 16.05.2014
Сообщений: 1,875
15.01.2019, 13:40 11
Цитата Сообщение от passant Посмотреть сообщение
И тут сразу-же приходиться "Проверять-доказывать адекватность построенной модели". Ну например. Вы установили, что ошибка (допуск) предсказания вашей модели продажи некоего товара на период в ближайшие Х месяцев не должна быть больше Y%. Это не медицина, тут люди от неправильного прогноза не умрут, но вот вас лично, как автора прогноза, который не оправдался, с работы выгонят. А фирма, принявшая такой несбывшийся прогноз - обанкротится. При этом у вас есть три разные модели. Вот и думайте, надо-ли доказывать их адекватность, точность и пр, а потом выбирать ту, при которой вероятность вылететь за предел допуска меньше, или нет. Или хотя-бы заранее предупредить заказчика об уровне вероятности ошибиться при использовании вашей модели. Что-бы он мог подготовиться, да и вам была возможность потом сказать "я ведь предупреждал" :-)
Да, тут вы правы, хотя на сколько я знаю, вроде сегодня никто не заморачивается такими доказательствами. Потому что машинное обучение находится в стадии формирования и используют по принципу "сработало - хорошо, не сработало - нужно проверить руками". То есть никто его не ставит туда, где вероятность выхода за допуски - фатальна.
0
VTsaregorodtsev
572 / 520 / 77
Регистрация: 19.02.2010
Сообщений: 1,903
15.01.2019, 13:41 12
Цитата Сообщение от xeonz Посмотреть сообщение
Машинное обучение за тем, что дальше функции будут скармливать уже не обучающие данные, а "похожие".
Я правильно понимаю, что мой пост не был дочитан даже до середины?
Ибо там было сказано то же самое:
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
Т.е. результаты мышиного обучения нужны реально только вне эталонных точек.
И вопрос был лишь в том, как с этим соотнести требование Mikhaylo про необходимость выдачи правильных ответов на ВСЕХ обучающих данных:
Цитата Сообщение от Mikhaylo Посмотреть сообщение
решающая функция перестраивается таким образом, чтобы выдавать правильные ответы на всем наборе обучающих данных.
0
Mikhaylo
202 / 189 / 24
Регистрация: 20.09.2014
Сообщений: 1,358
15.01.2019, 15:53 13
Цитата Сообщение от xeonz Посмотреть сообщение
на сколько я знаю, вроде сегодня никто не заморачивается такими доказательствами.
Доказательствами занимаются ученые. Прикладники (инженеры) лишь используют готовые теоремы. Естественно, что вы не сталкивались с доказательствами. Но доказательства существуют, просто нужно читать литературу более высокого уровня, а не хабр.
0
xeonz
643 / 235 / 35
Регистрация: 16.05.2014
Сообщений: 1,875
15.01.2019, 16:07 14
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Доказательствами занимаются ученые.
У вас есть ссылки? Я в том числе читал/смотрел источники с какого то забугорного университета. Но я этой темой интересуюсь поверхностно, может и реально не в курсе.
0
VTsaregorodtsev
572 / 520 / 77
Регистрация: 19.02.2010
Сообщений: 1,903
16.01.2019, 20:26 15
Цитата Сообщение от xeonz Посмотреть сообщение
У вас есть ссылки?
Mikhaylo, я присоединяюсь к этому вопросу


PS. Я, если что, под доказательством адекватности имел в виду в посте #4:
1) изучение точности на тестовой выборке (о чём не сказал Михайло в посте #3),
2) построение "кривых обучения", вернее, размещение новой точки (величины тестовой ошибки текущей модели) на этих кривых (зависимостях точности от размеров=сложности модели и/или от каких-то иных настроек, в т.ч. и от настроек алгоритма обучения/идентификации),
3) в итоге - выбор такой модели/настроек, которой/которым соответствуют экстремумы и/или выходы на асимптоты на этих кривых обучения.
Т.е. доказательство адекватности - это ликвидация случайности выбора (путём изучения разных альтернатив), использование бритвы Оккама (незачем бОльший размер модели, если он не даёт улучшения точности обобщения), и прочая методология.
0
Mikhaylo
16.01.2019, 20:55
  #16

Не по теме:

Оффтоп!

Этих теорем сходимости как собак нерезанных. Смотрите, ищите.

В прочем к вопросу использования нейросетей в условиях фатальности ни опасения, ни теоремы не имеют никакого отношения.

Человек в условиях фатальности тоже требует обучения, контроля, самоконтроля. Для примера - техника безопасности и охрана труда, правила дорожного движения и т.д. Человеку тоже нельзя доверять. Однако экономически это нецелесообразно, нужно просто регулировать риск.

Так что, xeonz, ваши выпады на этом и на других сайтах не выявляют вашего компетентного знания в сфере управления и автоматического управления в частности.

0
NO_
63 / 24 / 6
Регистрация: 29.10.2016
Сообщений: 160
16.01.2019, 23:05 17
может нейросеть продолжить ряд? : 6,2,9,5,1,4,1,3...
0
NO_
63 / 24 / 6
Регистрация: 29.10.2016
Сообщений: 160
16.01.2019, 23:10 18
Что из себя на практике представляет машинное обучение?
0
Mikhaylo
202 / 189 / 24
Регистрация: 20.09.2014
Сообщений: 1,358
17.01.2019, 04:26 19
Цитата Сообщение от NO_ Посмотреть сообщение
может нейросеть продолжить ряд? : 6,2,9,5,1,4,1,3...
Как и человек: только при условии тренировки и знании хотя бы двух трансцедентных чисел. Не будет навыка, не будет знания - человек тоже не сможет. Не пытайтесь сочинить задачи, которые нейросеть не может. Я всегда смогу указать людей, которые тоже не смогут.
1
xeonz
643 / 235 / 35
Регистрация: 16.05.2014
Сообщений: 1,875
17.01.2019, 08:28 20
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Так что, xeonz, ваши выпады на этом и на других сайтах не выявляют вашего компетентного знания в сфере управления и автоматического управления в частности.
Ваши такие же поверхностные, как и мои. Так мы увидим ваши ссылки?
0
17.01.2019, 08:28
MoreAnswers
Эксперт
37091 / 29110 / 5898
Регистрация: 17.06.2006
Сообщений: 43,301
17.01.2019, 08:28

Что из себя представляет ковариация?
Объясните пожалуйста наглядно, что из себя представляем ковариация и коэффициент корреляции....

dns что он из себя представляет и с чем жуют? и что такео сайт в active directory?
Я перелопатил достаточно информации чтобы понять что DNS преобразовывает ip адреса в имена для...

Что из себя представляет JUMO mTRON T
Наш руководитель (в какой-то степени даже имеющий представление о PLC) был на выставке и принёс...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2019, vBulletin Solutions, Inc.
Рейтинг@Mail.ru