Форум программистов, компьютерный форум, киберфорум
Искусственный интеллект
Войти
Регистрация
Восстановить пароль
 
 
Рейтинг 4.83/6: Рейтинг темы: голосов - 6, средняя оценка - 4.83
8 / 8 / 12
Регистрация: 16.05.2014
Сообщений: 151
1

Что из себя на практике представляет машинное обучение?

07.01.2019, 18:52. Показов 1168. Ответов 34
Метки нет (Все метки)

Здравствуйте. Я работаю андроид разработчиком, заинтересовался темой машинного обучения, но не могу найти исчерпывающий ответ на то, что из себя представляет эта сфера, с чем тут работают? Можете в двух словах описать это? И с чего лучше всего начать изучение?
0

Помощь в написании контрольных, курсовых и дипломных работ здесь.

Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
07.01.2019, 18:52
Ответы с готовыми решениями:

Что такое Машинное Обучение?
Машинное Обучение есть добавление структуированых в синонимичные кластеры текстов. К примеру есть...

Что из себя представляет CMS
Доброго времени суток! Учу Web только полтора месяца, заметил что очень часто фигирирует...

что из себя представляет криптография ?
я понимаю, что шифрует файлы, обеспечивая защиту(поправьте меня если что), но собственно в примерах...

Что представляет из себя WikiLeaks?
Портал существует с декабря 2006 года и уже успел вызвать большой резонанс. Авторы сайта...

34
117 / 37 / 9
Регистрация: 29.10.2016
Сообщений: 228
07.01.2019, 19:21 2
Ищут умные коэффициенты.
0
450 / 351 / 46
Регистрация: 20.09.2014
Сообщений: 2,174
08.01.2019, 05:53 3
Здесь занимаются построением решающей функции y = f(x1, x2, x3, ..., xn). При этом n может быть очень большим, например, n = 1000 или n = 1000 000 - это нормально. Например, xi - это могут быть числовые значения каждого пикселя изображения.
xi - это вопрос (признаки объекта),
y - это ответ (описание объекта).

То есть, когда мы построили функцию f, мы можем ей показать пиксели некоего изображения, а на выходе получить ответ y (изображена на фотографии кошечка или нет). Либо как вариант: ответ y - сколько лет человеку на фотографии.

Построение функции f осуществляется путем обучения. Поэтому эти все методы называются методами машинного обучения. Обучение - это когда берут обучающие примеры - пара "вопрос-ответ" (xi, y), при этом ответы являются заведомо верными. То есть мы показываем решающей функции фотографии и сообщаем ей правильные ответы (изображена кошечка или собачка), решающая функция перестраивается таким образом, чтобы выдавать правильные ответы на всем наборе обучающих данных.
После окончания обучения решающая функция готова к использованию.

Смотрите обучающее видео от К.В. Воронцова "Машинное обучение" на ютубе; читайте его же учебник, хотя бы первый абзац; проходите бесплатное обучение на coursera.org у НИУ ВШЭ с практикумом на Python.
1
1077 / 987 / 146
Регистрация: 19.02.2010
Сообщений: 3,027
08.01.2019, 19:14 4
Цитата Сообщение от Mikhaylo Посмотреть сообщение
чтобы выдавать правильные ответы на всем наборе обучающих данных.
А зачем для этого мышиное обучение?
Можно же просто хранить эталоны в БД и сравнивать любой поступивший на обработку пример с эталонными. Вот если совпадений не будет найдено - то...
Причём не нужно поэлементно вектора сравнивать - достаточно сравнивать хэши, и только при совпадении хэшей перепроверить поэлементно/побайтово (а то ведь у хэша могут быть коллизии).
Т.е. результаты мышиного обучения нужны реально только вне эталонных точек.

Далее. Покажите, плиз, хоть один источник, где обязательное правильное распознавание обуч.выборки названо НЕОБХОДИМЫМ условием для достижения лучшей обобщающей (интерполирующей и/или экстраполирующей) способности. И не просто названо - а приведено доказательство необходимости.



Цитата Сообщение от Mikhaylo Посмотреть сообщение
После окончания обучения решающая функция готова к использованию.
Потрясающая наивность
Проверять-доказывать адекватность построенной модели кто будет? Пушкин?
0
450 / 351 / 46
Регистрация: 20.09.2014
Сообщений: 2,174
08.01.2019, 19:37 5
Виктор, начинающим не надо знать таких подробностей.
1
117 / 37 / 9
Регистрация: 29.10.2016
Сообщений: 228
11.01.2019, 19:25 6
Что из себя на практике представляет машинное обучение?
1
852 / 307 / 41
Регистрация: 16.05.2014
Сообщений: 2,365
15.01.2019, 09:28 7
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
А зачем для этого мышиное обучение?
Машинное обучение за тем, что дальше функции будут скармливать уже не обучающие данные, а "похожие".

Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
Проверять-доказывать адекватность построенной модели кто будет? Пушкин?
А машинное обучение ничего и не гарантирует. Оно _примерно_ работает, пока поступающие рабочие данные "похожи" на обучающие. Для большинства задач такого "примерно" и "похожи" вполне достаточно.
0
301 / 268 / 49
Регистрация: 09.01.2018
Сообщений: 921
15.01.2019, 11:42 8
Цитата Сообщение от xeonz Посмотреть сообщение
А машинное обучение ничего и не гарантирует. Оно _примерно_ работает, пока поступающие рабочие данные "похожи" на обучающие. Для большинства задач такого "примерно" и "похожи" вполне достаточно.
Скажу больше - даже для "похожих" данных машинное обучение ничего не гарантирует. Именно поэтому "Проверять-доказывать адекватность построенной модели" - не просто желательно, но необходимо. Иначе результаты могут вообще никакого отношения к правде жизни не иметь.
Другое дело, что "быстрообученные" на всяких видеокурсах "специалисты по ML" об этом даже не забывают - они просто это проскакивают в кусре "Стань специалистом за 3 дня". И в глобальном плане это может стать проблемой.
P.S. Я уверен, что Mikhaylo просто опустил этот этап, пытаясь по доброте душевной "на пальцах" растолковать "андроид разработчику" самые основы того, что можно прочитать на первой странице любого учебника.
0
852 / 307 / 41
Регистрация: 16.05.2014
Сообщений: 2,365
15.01.2019, 11:52 9
Цитата Сообщение от passant Посмотреть сообщение
Скажу больше - даже для "похожих" данных машинное обучение ничего не гарантирует.
Это тоже самое, что я сказал - "примерно".

Цитата Сообщение от passant Посмотреть сообщение
Именно поэтому "Проверять-доказывать адекватность построенной модели" - не просто желательно, но необходимо
Необходимо это только тогда, когда нам необходим 100% гарантированный результат. Когда например от этого зависит жизнь человека. В большинстве же задач (к примеру в торговле), достаточно, чтобы положительный результат был в пределах допуска и единичные ошибки тут вполне допустимы.
0
301 / 268 / 49
Регистрация: 09.01.2018
Сообщений: 921
15.01.2019, 13:31 10
Цитата Сообщение от xeonz Посмотреть сообщение
Необходимо это только тогда, когда нам необходим 100% гарантированный результат. Когда например от этого зависит жизнь человека. В большинстве же задач (к примеру в торговле), достаточно, чтобы положительный результат был в пределах допуска и единичные ошибки тут вполне допустимы.
Не-а. Как только вы написали "в пределах допуска" - сразу становиться вопрос, а откуда этот допуск взялся. И тут сразу-же приходиться "Проверять-доказывать адекватность построенной модели". Ну например. Вы установили, что ошибка (допуск) предсказания вашей модели продажи некоего товара на период в ближайшие Х месяцев не должна быть больше Y%. Это не медицина, тут люди от неправильного прогноза не умрут, но вот вас лично, как автора прогноза, который не оправдался, с работы выгонят. А фирма, принявшая такой несбывшийся прогноз - обанкротится. При этом у вас есть три разные модели. Вот и думайте, надо-ли доказывать их адекватность, точность и пр, а потом выбирать ту, при которой вероятность вылететь за предел допуска меньше, или нет. Или хотя-бы заранее предупредить заказчика об уровне вероятности ошибиться при использовании вашей модели. Что-бы он мог подготовиться, да и вам была возможность потом сказать "я ведь предупреждал" :-)

Я конечно многое упростил. Но суть осталась та-же: Анализ адекватности модели - необходимый этап работы аналитика.

P.S. Самый близкий аналог, который приходит на ум - а надо ли делать тестирование при разработке ПО, все равно ведь аксиому "последняя ошибка в программе на самом деле всегда является предпоследней" никто не отменял. И 100% безошибочных программ не существует. Но это не значит, что тестировать нет смысла.
0
852 / 307 / 41
Регистрация: 16.05.2014
Сообщений: 2,365
15.01.2019, 13:40 11
Цитата Сообщение от passant Посмотреть сообщение
И тут сразу-же приходиться "Проверять-доказывать адекватность построенной модели". Ну например. Вы установили, что ошибка (допуск) предсказания вашей модели продажи некоего товара на период в ближайшие Х месяцев не должна быть больше Y%. Это не медицина, тут люди от неправильного прогноза не умрут, но вот вас лично, как автора прогноза, который не оправдался, с работы выгонят. А фирма, принявшая такой несбывшийся прогноз - обанкротится. При этом у вас есть три разные модели. Вот и думайте, надо-ли доказывать их адекватность, точность и пр, а потом выбирать ту, при которой вероятность вылететь за предел допуска меньше, или нет. Или хотя-бы заранее предупредить заказчика об уровне вероятности ошибиться при использовании вашей модели. Что-бы он мог подготовиться, да и вам была возможность потом сказать "я ведь предупреждал" :-)
Да, тут вы правы, хотя на сколько я знаю, вроде сегодня никто не заморачивается такими доказательствами. Потому что машинное обучение находится в стадии формирования и используют по принципу "сработало - хорошо, не сработало - нужно проверить руками". То есть никто его не ставит туда, где вероятность выхода за допуски - фатальна.
0
1077 / 987 / 146
Регистрация: 19.02.2010
Сообщений: 3,027
15.01.2019, 13:41 12
Цитата Сообщение от xeonz Посмотреть сообщение
Машинное обучение за тем, что дальше функции будут скармливать уже не обучающие данные, а "похожие".
Я правильно понимаю, что мой пост не был дочитан даже до середины?
Ибо там было сказано то же самое:
Цитата Сообщение от VTsaregorodtsev Посмотреть сообщение
Т.е. результаты мышиного обучения нужны реально только вне эталонных точек.
И вопрос был лишь в том, как с этим соотнести требование Mikhaylo про необходимость выдачи правильных ответов на ВСЕХ обучающих данных:
Цитата Сообщение от Mikhaylo Посмотреть сообщение
решающая функция перестраивается таким образом, чтобы выдавать правильные ответы на всем наборе обучающих данных.
0
450 / 351 / 46
Регистрация: 20.09.2014
Сообщений: 2,174
15.01.2019, 15:53 13
Цитата Сообщение от xeonz Посмотреть сообщение
на сколько я знаю, вроде сегодня никто не заморачивается такими доказательствами.
Доказательствами занимаются ученые. Прикладники (инженеры) лишь используют готовые теоремы. Естественно, что вы не сталкивались с доказательствами. Но доказательства существуют, просто нужно читать литературу более высокого уровня, а не хабр.
0
852 / 307 / 41
Регистрация: 16.05.2014
Сообщений: 2,365
15.01.2019, 16:07 14
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Доказательствами занимаются ученые.
У вас есть ссылки? Я в том числе читал/смотрел источники с какого то забугорного университета. Но я этой темой интересуюсь поверхностно, может и реально не в курсе.
0
1077 / 987 / 146
Регистрация: 19.02.2010
Сообщений: 3,027
16.01.2019, 20:26 15
Цитата Сообщение от xeonz Посмотреть сообщение
У вас есть ссылки?
Mikhaylo, я присоединяюсь к этому вопросу


PS. Я, если что, под доказательством адекватности имел в виду в посте #4:
1) изучение точности на тестовой выборке (о чём не сказал Михайло в посте #3),
2) построение "кривых обучения", вернее, размещение новой точки (величины тестовой ошибки текущей модели) на этих кривых (зависимостях точности от размеров=сложности модели и/или от каких-то иных настроек, в т.ч. и от настроек алгоритма обучения/идентификации),
3) в итоге - выбор такой модели/настроек, которой/которым соответствуют экстремумы и/или выходы на асимптоты на этих кривых обучения.
Т.е. доказательство адекватности - это ликвидация случайности выбора (путём изучения разных альтернатив), использование бритвы Оккама (незачем бОльший размер модели, если он не даёт улучшения точности обобщения), и прочая методология.
0
Mikhaylo
16.01.2019, 20:55
  #16

Не по теме:

Оффтоп!

Этих теорем сходимости как собак нерезанных. Смотрите, ищите.

В прочем к вопросу использования нейросетей в условиях фатальности ни опасения, ни теоремы не имеют никакого отношения.

Человек в условиях фатальности тоже требует обучения, контроля, самоконтроля. Для примера - техника безопасности и охрана труда, правила дорожного движения и т.д. Человеку тоже нельзя доверять. Однако экономически это нецелесообразно, нужно просто регулировать риск.

Так что, xeonz, ваши выпады на этом и на других сайтах не выявляют вашего компетентного знания в сфере управления и автоматического управления в частности.

0
117 / 37 / 9
Регистрация: 29.10.2016
Сообщений: 228
16.01.2019, 23:05 17
может нейросеть продолжить ряд? : 6,2,9,5,1,4,1,3...
0
117 / 37 / 9
Регистрация: 29.10.2016
Сообщений: 228
16.01.2019, 23:10 18
Что из себя на практике представляет машинное обучение?
0
450 / 351 / 46
Регистрация: 20.09.2014
Сообщений: 2,174
17.01.2019, 04:26 19
Цитата Сообщение от NO_ Посмотреть сообщение
может нейросеть продолжить ряд? : 6,2,9,5,1,4,1,3...
Как и человек: только при условии тренировки и знании хотя бы двух трансцедентных чисел. Не будет навыка, не будет знания - человек тоже не сможет. Не пытайтесь сочинить задачи, которые нейросеть не может. Я всегда смогу указать людей, которые тоже не смогут.
1
852 / 307 / 41
Регистрация: 16.05.2014
Сообщений: 2,365
17.01.2019, 08:28 20
Цитата Сообщение от Mikhaylo Посмотреть сообщение
Так что, xeonz, ваши выпады на этом и на других сайтах не выявляют вашего компетентного знания в сфере управления и автоматического управления в частности.
Ваши такие же поверхностные, как и мои. Так мы увидим ваши ссылки?
0
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
17.01.2019, 08:28

Заказываю контрольные, курсовые, дипломные работы и диссертации здесь.

Что из себя представляет ковариация?
Объясните пожалуйста наглядно, что из себя представляем ковариация и коэффициент корреляции....

Union что из себя представляет?
Читал много книг и там про него не чего не было сказано, парни объясните мне пожалуйста для чего он?

Что из себя представляет WordPress?
WordPress - это программа (отдельный процесс на сервере), или это просто сборка скриптов, которая...

dns что он из себя представляет и с чем жуют? и что такео сайт в active directory?
Я перелопатил достаточно информации чтобы понять что DNS преобразовывает ip адреса в имена для...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
20
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin® Version 3.8.9
Copyright ©2000 - 2021, vBulletin Solutions, Inc.