Выбор LLM и архитектуры для чат-бота консультанта на сайт (Open WebUI + база знаний / RAG)

Всем привет

Нужно реализовать чат-бота консультанта для сайта.
Бот должен отвечать на вопросы пользователей на основе моей базы знаний (FAQ, инструкции, описания товаров и т.д.).

Сейчас тестирую модели через Open WebUI уже на сервере, но не понимаю:

1. Какую модель лучше выбрать для прода и какими характеристиками должен обладать сервер?
2. Как правильно подключить базу знаний к модели (RAG, embeddings, векторная БД)?
3. Как в целом должна выглядеть архитектура такого решения?

Стек сайта - PHP

Хочется услышать рекомендации от тех, кто уже сталкивался с подобным:

Какие модели сейчас адекватны по качеству/ресурсам для роли консультанта?
Как внедрить список запрещенных слов/тем?
Что использовать для embeddings?
Какую векторную БД лучше взять?
Как организовать пайплайн: загрузка документов -> индексация -> поиск -> генерация ответа?
Есть ли нормальные примеры архитектуры для прод-решения?

Бот в итоге должен отвечать строго на основе базы знаний, иначе отвечать, что менеджер займется этим вопросом.

0

Эта отрасль слишком быстро развивается нынче, поэтому трудно посоветовать что-то конкретное.
Загуглите разницу между RAG/Fine-tuning/Prompting - это более-менее стабильная информация. Была такая статья на Хабре.

Добавлено через 4 минуты
Я, не зная всех подробностей, попробовал бы взять за основу API Sber GigaChat. Попинал бы эту корову.

0

Сообщение от iugoia 1. Какую модель лучше выбрать для прода и какими характеристиками должен обладать сервер?

Только купить подписку на API YandexGTP, Sber GigaChat, Qwen, DeepSeek или иных персонажей, что с РФ ещё сотрудничают. Сервер, подходящий для инференса таких моделей ты не сможешь себе позволить, да если все органы свои продашь (не шутка).

Сообщение от iugoia 2. Как правильно подключить базу знаний к модели (RAG, embeddings, векторная БД)?

Почитай, что есть RAG.

0