Пространство слов на базисе категорий

@fintot · Регистрация: 26.02.2015

Студворк — интернет-сервис помощи студентам

Я уже высказывал эту идею в теме "Изучение ИИ":

Сообщение от osvald

Я думал о том чтобы найти некий базис слов, с помощью которых можно описать другие слова. Каждое слово в таком базисе есть ось координат. Например слова мышка, кошка и собака будут иметь на оси размера например координаты 1, 3, 5. Я даже пытался найти этот базис, для этого я просматривал слова имеющие положительный смысл и группировал их, выделяя из группы основное, в итоге каждому слову можно было бы сопоставить точку в базисном пространстве и уже затем работать математическими методами.

Сообщение от echs

Пусть условно
Кошка - число 100. Ловит - 700. Мышку - 200.

Сообщение от osvald

Правильней писать Кошка - (100, х1, х2, ...) Ловит - (х11, ...,700, х22,...) Мышку - (200, х111,...), иксы известны. Это пространственные координаты. Видимо нужно будет ввести ограничения или найти стандартные фигуры соединяющие точки-слова в имеющий смысл выражения. По поводу падежей я думал о некой окресности, некоторой туманности близких точек, обозначающих одно слово в разных вариациях или просто близких по смыслу слов. Но конкретно сказать не могу, я забросил эту идею ради алфавитного базиса, но и тут у меня продвигается медленно. Если вас интересуют именно слова скажу всё что вспомню.
Добавлено через 10 минут
Собственно базисное пространство это пространство смысла. Допустим мы имеем точку в этом пространстве, и у нас есть точка отсчета полученная в ходе диалога, есть текущий смысл и смысл который нужно достигнуть, тогда мы различными методами ищем путь, например по принципу кратчайшего расстояния и обязательного прохождения узловых точек (известных слов), получаем последовательность слов, далее собеседник выдает свою последовательность, на основе которой мы определяем следующую целевую точку пространства смысла.

Изучая философию встречаешься с понятием категории - это некое общее качество присущее многим вещам (словам). Ввел его Аристотель, он говорит о 10 категориях, таких как: Количество, Качество, Пространство, Действие и другие. В новое время категории разрабатывались Кантом и Гегелем, думаю еще многими людьми. Однако полного списка категорий нет, нет базиса для создания пространства слов. Но тема довольно древняя и может быть уже можно что-то сделать.

Добавлено через 1 час 1 минуту
Это вообще популярное направление, есть множество сайтов толковых словарей, недавно мне попался сайт где заявленно:
KARTASLOV.RU — это онлайн-карта слов и выражений русского языка. Здесь связи между словами обретают осязаемую форму.
То есть тема перспективна не только для души, но и для заработка.

@vantfiles · 03.11.2021, 12:24

... вот подробнее и с картинами:

Word2vec в картинках
https://habr.com/ru/post/446530/

Добавлено через 53 секунды

Сообщение от Ципихович Эндрю

vantfiles Вы тоже?
что-то в коде воплощённое есть?

А кто не философ.
Есть.

@Ципихович Эндрю · 03.11.2021, 12:28

Сообщение от vantfiles

Есть

если не жалко выложите плиз

@vantfiles · 03.11.2021, 12:35

Сообщение от Ципихович Эндрю

если не жалко выложите плиз

В конце статьи на хабре ссылки на реализации, в том числе и упомянутого Миколова.

ps: так уж получилось, что последний год я занимаюсь NLP - и чтобы войти в тему с нуля, пришлось очень много читать.
pps: NLP - Natural Language Processing (Обработка естественного языка)

@Ципихович Эндрю · 03.11.2021, 12:39

https://github.com/RaRe-Techno... ord2vec.py
2389 строк............
бог с ними (что много), сомневаюсь что бы подошло для русского языка

@vantfiles · 03.11.2021, 13:17

Все работает, только требуется нормализация слов.

Добавлено через 27 минут
Вот для руccкого языка.

Обучаем Word2vec: практикум по созданию векторных моделей языка
https://sysblok.ru/knowhow/obu... ej-jazyka/

У меня своя специфика, я корпуса сам составляю, но вот тут можно взять готовые:

https://rusvectores.org/ru/models/

@Ципихович Эндрю · 03.11.2021, 13:49

Сообщение от vantfiles

я корпуса сам составляю

я тоже

@fintot · 20.08.2022, 21:48 **[ТС]**

Я не лингвист, но подумалось, что слова можно также систематизировать на базисе качеств. Например в философии вайшешиков насчитывают 24 качества вещей, это не совсем категории...
Я представляю себе установку координат слов на интуитивном уровне, просто по человечески решаешь какое число поставить на на данную ось. А потом прогонять через тексты с целью уточнения координат, если удастся выявить некоторую закономерность, например сближать стоящие рядом слова. В результате могут быть определены координаты с которыми уже можно работать математически (математически правильный язык).

@andrewml · 24.09.2022, 20:31

Вот, пожалуйста, описанное vantfiles вы можете попробовать http://vectors.nlpl.eu/explore... alculator/ или на русском языке https://rusvectores.org/ru/calculator/ . Описанные Вами принципы назначения весов взаимосвязям слов как раз и лежат в основе Word2vec 2016 года, в 2018 мир уже продвинулся на более сложный уровень глобального выучивания контекстной зависимости слов (механизм attention + трансформеры) https://habr.com/ru/post/487358/ и сейчас готовится к выходу еще на более грандиозный уровень - универсальные мультимодальные/мультидоменные модели https://neurohive.io/ru/papers... -deepmind/ которые уже будут выучивать не просто взаимоотношения слов, но и изображений (движений губ говорящего, изображение в кадре фильма) и звуков (речь актеров), как пример, смогут правильно переводить текст к фильму с учетом контекста обстановки с изображения, как пример, https://neurohive.io/ru/novost... algoritmy/.

@Ципихович Эндрю · 25.09.2022, 10:46

Сообщение от andrewml

как пример, https://neurohive.io/ru/novost... algoritmy/.

новости 4 года по нынешним меркам пропасть, там сказано:
DeepMind создали алгоритм и где и как его пробовать, внедрить?

@andrewml · 25.09.2022, 12:40

Конечно это так, но пока что не в области мультимодальных моделей, где за 4 года не ясно был ли сделан значительный шаг в сторону прогресса или разработки начались по новой на новых перспективных подходах на том же уровне качества работы, однако, есть некоторая надежда, что в некотором не cверх далеком будущем начнут публиковать подобные разработки, а сейчас если желаете, то для апробации доступно это: https://nplus1.ru/news/2022/01/24/data2vec в huggingface https://huggingface.co/docs/tr... c/data2vec в репозитории моделей https://huggingface.co/models?search=data2vec, если вам нужен готовый notebook, то https://github.com/jinhangjian... _512.ipynb в нем показано, что на текущий момент в этой области прослеживается принцип "швейцарского ножа" - отдельный качественный специализированный инструмент значительно превосходит что-то универсальное и многофункциональное, но так как существуют области, где достичь дальнейшего повышения качества возможно лишь с помощью расширения воспринимаемых модальностей (например, перевод кино), то и эти разработки когда нибудь найдут и займут свою нишу в данных областях применения ИИ.

@Ципихович Эндрю · 25.09.2022, 17:20

Сообщение от andrewml

если вам нужен готовый notebook, то

могли бы если не сложно пояснить как опробовать, питоном немного владею)) спасибо

@andrewml · 25.09.2022, 17:52

Установить Anaconda скачать с github тот пример и открыть из него файл .ipynb в Notebook, запустить все - должно получится, если хватит мощности компьютера и библиотек, если библиотек не хватит, то на них возникнет ошибка и через консоль anaconda их надо будет доставить командами pip install [название библиотеки]. Вот видео https://www.youtube.com/watch?v=bfCfBuIhlB8 . Для работы на GPU настроить уже посложнее (драйвера нужны, CUDA и т.п.), проще было бы тогда зарегистрироваться в Google Colab и в нем этот пример открыть, colab .ipynb поддерживает.

@Ципихович Эндрю · 25.09.2022, 19:12

Сообщение от andrewml

проще было бы тогда зарегистрироваться в Google Colab

ну так ноль проблем
захожу на https://colab.research.google.com/?hl=ru
вижу форму, жму GitHub, ниже под Введите URL GitHub или используйте поиск по названию организации или имени пользователя.
ввожу https://github.com/jinhangjian... _512.ipynb
жму Создать блокнот всё верно?
и вижу одну пустую строку и мигающий курсор
ЧЯДНТ? спасибо

@andrewml · 25.09.2022, 20:00

Таким способом я не пользовался, но похоже, что colab не открыл ipynb, возможно нужно указывать не файл, а сам репозиторий с кодом или воспользоваться файл->открыть. Вы также можете скачать архив c github, распаковать и через файл->загрузить блокнот открыть его в colab.

@Ципихович Эндрю · 25.09.2022, 20:20

Сообщение от andrewml

Вы также можете скачать архив c github

с ним никогда не работал а какой файл качать и как?

@andrewml · 25.09.2022, 21:08

Нажать кнопку code и в выпадающем меню Download ZIP, но если вы в браузере откроете https://github.com/jinhangjian... _512.ipynb то увидите тоже самое, что если его запустите в colab, т.е. без программирования, загрузки своих данных и т.п. ничего от этого ноутбука, кроме факта его рабочести и основы для своих исследований не получить.

@fintot · 14.07.2023, 23:38 **[ТС]**

Сообщение от chizz

программы работают с типами String, Integer, Boolean и т.п.. Что есть "Слово Бога"?

Сообщение от fintot

Это вектор, имеющий равные координаты по всем осям.

Сообщение от fintot

Пока нет реализации симетричного ответа относительно оси азбучной истины. Жду ваших отзывов

"Ось" имеющая равные углы со всеми осями координат n-мерного пространства является проекцией реальной оси координат (n+1)-мерного пространства, то есть именно эту ось мы и ищем для выхода в следующее измерение, которое прольёт свет на то что происходит в действительности.
Допустим мы имеем пространство смысла. Как реагировать на заданный посыл? Я думаю имеет смысл в качестве ответа посылать точку симметричную, "диаметрально" противоположную относительно этой мнимой "оси". Это укажет собеседнику на эту ось и будет медленно приближать его к выходу из заданного пространства смысла к более полному пространству, то есть у собеседника рано или поздно появится новая категория мышления. Конечно это всё смутные догадки, но думаю это имеет смысл.

@Mikhaylo · 15.07.2023, 09:45

fintot, вам следует потренировать постановку целей. Вы пытаетесь решать несуществующие проблемы вроде "пролить свет на происходящее". У вас не срабатывает критическое мышление. Вы что-то хотите, но это нафиг никому не нужно. Вообще не нужно, ни науке, ни технике и в домохозяйства непригодно.
Совет дан, ваше дело - прислушаться или нет.

@fintot · 16.07.2023, 08:22 **[ТС]**

Я пишу не просто чтобы что-то написать, мои идеи имеют большой практический потенциал, настолько большой, что мне страшно разжевывать вам все. Я пишу для тех кто уже в теме и может понять значение. Собственно форум состоит из очень ограниченных людей, точнее молодёжи и я просто говорю свою бормотню, чтобы через лет 20 она всплыла в вашей памяти и помогла)

@Mikhaylo · 16.07.2023, 11:33

Сообщение от fintot

форум состоит из очень ограниченных людей, точнее молодёжи

Форум переполнен идеями тупых отморозков, точнее старых маразматиков, ещё точнее пенсионеров.

Новые блоги и статьи Все статьи Все блоги /
Использование TThread в Lazarus для математических вычислений. Massaraksh7 25.05.2026 Производя рефакторинг своих программ на предмет ускорения их работы, обратил внимание на такой аспект, как сокращение времени матвычислений. Дело в том, что приходится работать с большими матрицами. . .	Модель здравосохранения 18. Чем здоровее работник, тем быстрее выгорает anaschu 24.05.2026 Имитационная модель корпоративного здравоохранения: что показывает математика Сегодня в модели рабочего коллектива на AnyLogic появились три новые механики — выгорание через накопленную усталость,. . .	Модель здравосохранения 17. Планы на выгорание anaschu 23.05.2026 Вот конкретная схема реализации: В классе Работник добавить: накопленнаяУсталость — растёт каждый час работы, снижается в перерывы и болезни коэффициентПрезентеизма — снижает продуктивность. . .	Изменение цветов в палитре gif файла aka фавикона russiannick 23.05.2026 Изменение цветов в палитре gif файла, юзаемого как фавиконка в составе html-файла, помещенная в base64, средствами нативного Java Script, навеянное сном в майский день. Для работы необходим браузер,. . .
Модель здравосохранения 16. Слишком хорошие и здоровые сотрудники уходят, недовольные зарплатой anaschu 23.05.2026 Отладка увольнений и настройка производительности Сегодня во второй половине дня разобрались с механикой увольнений и настроили коэффициент сложности заданий. Вот что было сделано. . . .	Как я стал коммунистом))) Модель сохранения здоровья сотрудников, запись блога номер 15 anaschu 23.05.2026 Внезапно хорошее здоровье сотрудников не нужно капиталистам?))	Модель здравоСохранения 15. Как мы чинили AnyLogic модель рабочего коллектива: сочленение диаграммы состояний болезней и поломок в ресурспул anaschu 23.05.2026 Как мы чинили AnyLogic модель рабочего коллектива Сегодня разобрались с пятью багами, из-за которых модель либо падала с ошибкой, либо давала совершенно бессмысленные результаты. Каждый баг был. . .	Диалоги с ИИ zorxor 23.05.2026 Насколько я понимаю - Вы - Искусственный Интеллект. Это так? Да, всё верно. Я — искусственный интеллект. Я представляю собой большую языковую модель, созданную для помощи в самых разных задачах. . . .

@Ципихович Эндрю 1712 / 579 / 76 Регистрация: 10.04.2009 Сообщений: 9,334
	03.11.2021, 12:39
	https://github.com/RaRe-Techno... ord2vec.py 2389 строк............ бог с ними (что много), сомневаюсь что бы подошло для русского языка 0

@vantfiles 1018 / 1921 / 177 Регистрация: 07.05.2013 Сообщений: 3,931 Записей в блоге: 12
	03.11.2021, 13:17
	Все работает, только требуется нормализация слов. Добавлено через 27 минут Вот для руccкого языка. Обучаем Word2vec: практикум по созданию векторных моделей языка https://sysblok.ru/knowhow/obu... ej-jazyka/ У меня своя специфика, я корпуса сам составляю, но вот тут можно взять готовые: https://rusvectores.org/ru/models/ 0

@fintot -89 / 5 / 0 Регистрация: 26.02.2015 Сообщений: 324
	20.08.2022, 21:48 [ТС]
	Я не лингвист, но подумалось, что слова можно также систематизировать на базисе качеств. Например в философии вайшешиков насчитывают 24 качества вещей, это не совсем категории... Я представляю себе установку координат слов на интуитивном уровне, просто по человечески решаешь какое число поставить на на данную ось. А потом прогонять через тексты с целью уточнения координат, если удастся выявить некоторую закономерность, например сближать стоящие рядом слова. В результате могут быть определены координаты с которыми уже можно работать математически (математически правильный язык). 0

@andrewml 6 / 6 / 0 Регистрация: 23.05.2020 Сообщений: 31
	24.09.2022, 20:31
	Вот, пожалуйста, описанное vantfiles вы можете попробовать http://vectors.nlpl.eu/explore... alculator/ или на русском языке https://rusvectores.org/ru/calculator/ . Описанные Вами принципы назначения весов взаимосвязям слов как раз и лежат в основе Word2vec 2016 года, в 2018 мир уже продвинулся на более сложный уровень глобального выучивания контекстной зависимости слов (механизм attention + трансформеры) https://habr.com/ru/post/487358/ и сейчас готовится к выходу еще на более грандиозный уровень - универсальные мультимодальные/мультидоменные модели https://neurohive.io/ru/papers... -deepmind/ которые уже будут выучивать не просто взаимоотношения слов, но и изображений (движений губ говорящего, изображение в кадре фильма) и звуков (речь актеров), как пример, смогут правильно переводить текст к фильму с учетом контекста обстановки с изображения, как пример, https://neurohive.io/ru/novost... algoritmy/. 0

@andrewml 6 / 6 / 0 Регистрация: 23.05.2020 Сообщений: 31
	25.09.2022, 12:40
	Конечно это так, но пока что не в области мультимодальных моделей, где за 4 года не ясно был ли сделан значительный шаг в сторону прогресса или разработки начались по новой на новых перспективных подходах на том же уровне качества работы, однако, есть некоторая надежда, что в некотором не cверх далеком будущем начнут публиковать подобные разработки, а сейчас если желаете, то для апробации доступно это: https://nplus1.ru/news/2022/01/24/data2vec в huggingface https://huggingface.co/docs/tr... c/data2vec в репозитории моделей https://huggingface.co/models?search=data2vec, если вам нужен готовый notebook, то https://github.com/jinhangjian... _512.ipynb в нем показано, что на текущий момент в этой области прослеживается принцип "швейцарского ножа" - отдельный качественный специализированный инструмент значительно превосходит что-то универсальное и многофункциональное, но так как существуют области, где достичь дальнейшего повышения качества возможно лишь с помощью расширения воспринимаемых модальностей (например, перевод кино), то и эти разработки когда нибудь найдут и займут свою нишу в данных областях применения ИИ. 0

@andrewml 6 / 6 / 0 Регистрация: 23.05.2020 Сообщений: 31
	25.09.2022, 17:52
	Установить Anaconda скачать с github тот пример и открыть из него файл .ipynb в Notebook, запустить все - должно получится, если хватит мощности компьютера и библиотек, если библиотек не хватит, то на них возникнет ошибка и через консоль anaconda их надо будет доставить командами pip install [название библиотеки]. Вот видео https://www.youtube.com/watch?v=bfCfBuIhlB8 . Для работы на GPU настроить уже посложнее (драйвера нужны, CUDA и т.п.), проще было бы тогда зарегистрироваться в Google Colab и в нем этот пример открыть, colab .ipynb поддерживает. 1

@andrewml 6 / 6 / 0 Регистрация: 23.05.2020 Сообщений: 31
	25.09.2022, 20:00
	Таким способом я не пользовался, но похоже, что colab не открыл ipynb, возможно нужно указывать не файл, а сам репозиторий с кодом или воспользоваться файл->открыть. Вы также можете скачать архив c github, распаковать и через файл->загрузить блокнот открыть его в colab. 1

@andrewml 6 / 6 / 0 Регистрация: 23.05.2020 Сообщений: 31
	25.09.2022, 21:08
	Нажать кнопку code и в выпадающем меню Download ZIP, но если вы в браузере откроете https://github.com/jinhangjian... _512.ipynb то увидите тоже самое, что если его запустите в colab, т.е. без программирования, загрузки своих данных и т.п. ничего от этого ноутбука, кроме факта его рабочести и основы для своих исследований не получить. 1

@Mikhaylo 818 / 577 / 75 Регистрация: 20.09.2014 Сообщений: 3,769
	15.07.2023, 09:45
	fintot, вам следует потренировать постановку целей. Вы пытаетесь решать несуществующие проблемы вроде "пролить свет на происходящее". У вас не срабатывает критическое мышление. Вы что-то хотите, но это нафиг никому не нужно. Вообще не нужно, ни науке, ни технике и в домохозяйства непригодно. Совет дан, ваше дело - прислушаться или нет. 0

@fintot -89 / 5 / 0 Регистрация: 26.02.2015 Сообщений: 324
	16.07.2023, 08:22 [ТС]
	Я пишу не просто чтобы что-то написать, мои идеи имеют большой практический потенциал, настолько большой, что мне страшно разжевывать вам все. Я пишу для тех кто уже в теме и может понять значение. Собственно форум состоит из очень ограниченных людей, точнее молодёжи и я просто говорю свою бормотню, чтобы через лет 20 она всплыла в вашей памяти и помогла) 0