Создать модель для подбора курсов на coursera по ключевому слову

Здравстуйте.

Пишу диплом по машинному обучению. Думаю сделать модель, которая бы выдавала список подходящих курсов на Coursera по ключевому слову.
Например по запросу "базы данных" подобрать список курсов связанных с изучением языков БД.
Результат выводить на фронтентде.

Не могли бы вы подсказать, каким образом можно это реализовать?

Заранее спасибо.

0

А причем тут машинное обучение? У каждого курса есть набор "ключевых слов". Вы задаете свой набор. Потом просто смотрите, какие курсу своими наборами "пересекаются" с вашим. Где и чему тут надо что-то "обучать"?

1

passant, Спасибо за ответ.
Так себе представлял задачу, вследствие недостаточных знаний. Эта область новая для меня.
Не подскажете какими инструментами\библиотеками воспользоваться?
Спасибо.

0

Так какие инструменты? База данных, обычные SQL-запрос.
Вот только что делать с "дипломом по машинному обучению"- ума не приложу. Одно из двух - или не по машинному обучению, или другая задача.
Кстати, вовсе не уверен, что ваша задача по сложности потянет на диплом, даже на бакалаврский. Уж больно проста. Ну разве что на курсовой.

1

passant, вот как... Если не по ML может взять датасет сердечных заболеваний http://kaggle.com/ronitf/heart-disease-uci и построить прогноз. Как вы считаете?

0

А сумеете? А разберетесь? Потянете? А то, что вы беретесь за ML, слабо понимая, что оно такое, зачем и как с ним работать - мои сомнения только усиливает. (Кстати, эта самая задача самое что ни есть МL).
Да и откуда мне знать, может вы в мелиоративное-художественном универе учитесь, так какие там Heart Disease.
Вообще-то такие вопросы надо бы с руководителем решать, а не на форуме.

1

passant. Да, я стараюсь обойтись малой кровью.
Я возможно неправильно описал свою идею в первом вопросе.
идея была создать агрегатор курсов, которая бы на основе семантического анализа описания курса + длительности + итд делала сравнение курсов и отбрасывала бы неподходящие, не по теме.
Сейчас по запросу coursera выдает смесь курсов, которые не всегда совпадают с запросом.
Новизна утыкается в агрегатор.
Было такое предложение.
Как думаете?

Спасибо за ваши ответы.

0

Думаю, что идея не очень хорошая.
Когда-то у меня был полный внутренний список все курсов Coursera. Не помню точно, сколько их там было - ну пару сотен, наверное. ( Кстати, задача была очень близкая - найти курсы, которые можно рекомендовать как дополнительные к университетским). О каждом курсе была какая-то теговая информация.
Во-первых вряд-ли вы на основе "семантического анализа" (кстати, а что вы собрались анализировать? Запись лекций? И извлекать описание курса из человеческой речи?) сделаете что-то более подходящее для описания.
Более того, на основании "..... итд" надо сначала вашу модель научить. Для этого сделать разметку. Вы сможете это сделать вручную? Ну там, прослушать курсы, вытянуть семантической описание, потом точно определить, к какому классу этот курс относиться? А иначе как вы собираетесь модель-то строить?
Не знаю, по какому запросу сейчас "выдается смесь курсов", но как-то очень сомневаюсь, что вам в рамках дипломной работы удастся смастерить нечто, что может конкурировать с тем-же Google, который, кстати, поиск делает вовсе не по тегам, а вполне себе по анализу семантики. И описания курса (правда - в виде текста) и запроса. Хотите ему составить конкуренцию?
Ну, а учитывая - простите - ваше понимание проблематики и инструментария машинного обучения, уровень моего отношения к идее надо еще более понизить на два-три порядка.

1

По описанию курса сравнивать курсы и выбирать наиболее подходящий по введенному запросу

0

Сообщение от Fidan1 По описанию курса сравнивать курсы и выбирать наиболее подходящий по введенному запросу

По свободному текстовому описанию? Ну, а что делает Гуугл? Только Гуугл умеет вытягитвать семантику из любого текста, и интеллектуально сравнивать его с любым запросом. Но правда в штате у него не один бакалавр-дипломник, он может себе это позволить.
Впрочем - можете попробовать, потом расскажите, что получилось. Готовтесь осваивать не только МL, но и NLP. Обещаю, будет интересно и весело. Особенно ближе к защите.

0

Сообщение от passant Готовтесь осваивать не только МL, но и NLP.

Нафиг не нужен тут не только МL, но и NLP.
Вернее, из NLP для англ языка понадобится только нормализация слов в единственное число (из множественного числа). Да и ML будет обычным ближайшим соседом.

Fidan1, Вот как надо делать:
Со всех скачанных описаний формируется словарный корпус нормализованных слов, из этого словаря выкидываются все "ненужные" слова (союзы, предлоги,...). Остаётся общий словарик на несколько тысяч слов.
Далее каждый текст (описание) превращается в вектор, длиной равный числу слов словаря. Элементы вектора - частоты соответствующего слова в тексте (так называемый частотный словарь). Вектор окажется сильно разреженным (малое число элементов в нём будет отлично от нуля).
Набор векторов затем используется при классификации ближайшим соседом (вот и весь нужный тут ML - никакого обучения, просто лишь вычисление расстояний между векторами). Запрос для этого перекодируется в числовой вектор тем же самым образом (на основе того же сАмого словаря, т.е. если в запросе будут какие-то новые, ранее невстречавшиеся слова, то ой, эти слова выкинутся из запроса).
Если надо в ответе на запрос возвращать не один курс - то ищется >1 самых ближайших описаний.

При желании - можно попробовать не только частоты слов TF, но и нормализованные частоты https://ru.wikipedia.org/wiki/TF-IDF . Т.е. каждый числовой вектор может не только кодировать отдельный текст - но и корректироваться на "среднюю по больнице" ситуацию.

С прошлого века так, например, новостевые тексты рубрицировали по темам (не ближайшим соседом, а автоматической классификацией=кластеризацией, но через представление текстов в виде частотных словарей). В пакете Statistica один из примеров - корпус из нескольких тысяч текстов новостей Рейтера, и рядом приложен "словарик" "ненужных" английских слов.

Но даже на бакалаврский диплом такое, ИМХО, тянет лишь с большой натяжкой.

1

VTsaregorodtsev, спасибо ответ.
Не подскажете какими инструментами воспользоваться и куда копать ?

0

Fidan1, не подскажу (я на питоне не пишу, поэтому ХЗ в какие там пакеты/библиотеки надо лезть для того, чтобы не рукоблудить код вручную с нуля - а юзать что-то готовое высокоуровневое).

1

VTsaregorodtsev, а на чём вы бы реализовали?

0

Сообщение от VTsaregorodtsev Нафиг не нужен тут не только МL, но и NLP.

Я это пытаюсь ТС с первого моего ответа разъяснить. Ну может хоть вас послушает.
Про NLP это была легкая форма сарказма, если что.

0

Сообщение от Fidan1 а на чём вы бы реализовали?

На плюсах (с++). Просто лишь потому, что это у меня основной язык программирования.
А в питоньем разделе форума у меня посты в основном по вопросам алгоритмов (т.е. независимые от ЯП вещи) - т.е. советы по способам решения задач.

0