Практическое применение алгоритма классификации

@ChmutovSergey · Регистрация: 03.08.2017

Студворк — интернет-сервис помощи студентам

Добрый день, форумчане.
Изучать ml начал совсем недавно. Сейчас решаю задачку классификации товаров на Python. Мне необходимо по описанию товара отнести его к одной из категорий. Алгоритм написал и он работает с определенной точностью. Но вот как мне его использовать, чтобы, например в файле Excel, где есть описания проставить им соответствующие категории? Есть какие-то стандартные функции у библиотек или надо под капот в алгоритм лезть? Что-то эту сторону совсем не понимаю.

@passant · 24.07.2018, 10:26

Не совсем понятно, что вы хотите.
Поясните более подробно.
Причем тут EXCEL?
Если я правильно понял, пишете свою классификацию в файл и его конвертируете в файл EXCEL.
Под какой при этом капот вы собрались лезть?

@Garry Galler · 24.07.2018, 12:43

Сообщение от ChmutovSergey

Что-то эту сторону совсем не понимаю.

Классы фичам выставляются вручную. Это же классификация, Карл! Если вы обучаете алгоритм - должна быть обучающая выборка. И если не существует готовых размеченных данных - вы делаете их сами. При этом все метки - эта тяжелая ручная работа.

Python
1
2
3
4
5
# метки классов\категорий документов
target_names = ['литература','медицина','философия','религия','экономика','мифология']
# ответы для обучающего набора, закодированные как индексы меток классов для каждого документа
target = [4,2,2,5,0,4,1,1,0,0,2,3,3,5,1,4,5,5,3,0,2,3,4,1,2,3,0,5,1,4]
# каждая цифра это категория для одного из 30 документов участвующих в обучении. Всего категорий 6 - с метками от 0 до 5.

Но вы могли бы использовать кластеризацию данных - алгоритмы кластеризации не требуют размеченных обучающих данных.

@ChmutovSergey · 24.07.2018, 17:38 **[ТС]**

Garry Galler, да, тестовая выборка понятно что размечается. Мы на ней настроили алгоритм, проверили на проверочной выборке. И вот, что дальше? Нам же его необходимо как-то применять на практике? У нас же не стоит цель обучить алгоритм и не пользоваться им.

Добавлено через 1 минуту
passant, ну excel я привел как пример. вот как писать эту классификацию в файл на неразмеченные данные.

@passant · 24.07.2018, 18:04

тестовая (????) (на самом деле - обучающая!!) выборка понятно что размечается. Мы на ней настроили алгоритм, проверили на проверочной выборке. И вот, что дальше? Нам же его необходимо как-то применять на практике?
...
ну excel я привел как пример. вот как писать эту классификацию в файл на неразмеченные данные.

После того, как вы построили классификатор обучающую выборку можно уничтожить.
Теперь перед вами совсем другая задача: вход - описание объекта, выход - метка класса, к которому вы его приписали.
Только один объект и только одна метка!!! И делайте с ними что хотите - хоть в файл пишите, хоть на экран выводите.

О каких неразмеченных данных речь? Вы просто хотите ПОСЛЕДОВАТЕЛЬНО отклассифицировать рабочую выборку? Ну так повторяете то, что я написал выше в цикле : прочитали из файла строку с описанием - разметили (ранее построенным классификатором)- записали в выходной файл. Повторять до исчерпания файла. Все!

@Garry Galler · 25.07.2018, 01:28

Сообщение от ChmutovSergey

И вот, что дальше? Нам же его необходимо как-то применять на практике?

Сериализуете классификатор, чтобы не обучать его снова и снова, и далее запускаете на рабочих данных для классификации, как и написано постом выше.

Может быть вы все-таки раскроете тайны мадридского двора и секреты полишенеля и расскажите с какой библиотекой работаете и какой конкретный алгоритм вам выбран? Если вы используете scikit-learn, то там все алгоритмы имеют одинаковый и простой интерфейс: fit(X_train, y_train) для обучения, predict(vector) для предсказания меток новым документам\объектам.

Новые блоги и статьи Все статьи Все блоги /
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .
SDL3 для Web (WebAssembly): Идентификация объектов на Box2D v3 - использование userData и событий коллизий 8Observer8 02.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-collision-events-sdl3-c. zip Сканируйте QR-код на мобильном и вы увидите, что появится джойстик для управления главным героем. . . .	Реалии Hrethgir 01.03.2026 Нет, я не закончил до сих пор симулятор. Эта задача сложнее. Не получилось уйти в плавсостав, но оно и к лучшему, возможно. Точнее получалось - но сварщиком в палубную команду, а это значит, в моём. . .	Ритм жизни kumehtar 27.02.2026 Иногда приходится жить в ритме, где дел становится всё больше, а вовлечения в происходящее — всё меньше. Плотный график не даёт вниманию закрепиться ни на одном событии. Утро начинается с быстрых,. . .	SDL3 для Web (WebAssembly): Сборка библиотек: SDL3, Box2D, FreeType, SDL3_ttf, SDL3_mixer и SDL3_image из исходников с помощью CMake и Emscripten 8Observer8 27.02.2026 Недавно вышла версия 3. 4. 2 библиотеки SDL3. На странице официальной релиза доступны исходники, готовые DLL (для x86, x64, arm64), а также библиотеки для разработки под Android, MinGW и Visual Studio. . . .

@ChmutovSergey 1 / 1 / 0 Регистрация: 03.08.2017 Сообщений: 9

	Практическое применение алгоритма классификации 24.07.2018, 09:46. Показов 2393. Ответов 5 Метки нет (Все метки) Добрый день, форумчане. Изучать ml начал совсем недавно. Сейчас решаю задачку классификации товаров на Python. Мне необходимо по описанию товара отнести его к одной из категорий. Алгоритм написал и он работает с определенной точностью. Но вот как мне его использовать, чтобы, например в файле Excel, где есть описания проставить им соответствующие категории? Есть какие-то стандартные функции у библиотек или надо под капот в алгоритм лезть? Что-то эту сторону совсем не понимаю. 0

@passant 578 / 411 / 69 Регистрация: 09.01.2018 Сообщений: 1,363
	24.07.2018, 10:26
	Не совсем понятно, что вы хотите. Поясните более подробно. Причем тут EXCEL? Если я правильно понял, пишете свою классификацию в файл и его конвертируете в файл EXCEL. Под какой при этом капот вы собрались лезть? 0

@ChmutovSergey 1 / 1 / 0 Регистрация: 03.08.2017 Сообщений: 9
	24.07.2018, 17:38 [ТС]
	Garry Galler, да, тестовая выборка понятно что размечается. Мы на ней настроили алгоритм, проверили на проверочной выборке. И вот, что дальше? Нам же его необходимо как-то применять на практике? У нас же не стоит цель обучить алгоритм и не пользоваться им. Добавлено через 1 минуту passant, ну excel я привел как пример. вот как писать эту классификацию в файл на неразмеченные данные. 0