Локальный LLM для кодинга

Есть много способов вайбкодить платно - Cursor, Copilot они все работают хорошо. Но я захотела развернуть на своей машине LLM для кодинга. Это оказалось неожиданно сложно. Очень много поломанного нерабочего софта на эту тему в сети, устала купаться в багах. Есть ли какой-нибудь готовый рецепт?
1. какая IDE?
2. какой плагин?
3. какой инференс (ollama? LM-Studio?)
4. какая модель?

Лучший результат продемонстрировал плагин Cline в VScode, который умело использовал инструменты. Но так и не смог создать ни одного файла в проекте по неизвестной причине. Я хочу вайбкодить. Написала техническое задание при помощи Copilot бесплатной версии, и тут у меня закончились токены. Теперь я хочу чтобы ai-agent сам читал техническое задание и его имплементировал у меня на компе, а я бы отдыхала. Как?

0

Сообщение от Usaga привёл в своём первом посте

Ссылка была для VS Code, с которым я не работаю, у меня VStudio опыт от 2010 до 2022, в последней есть Copilot, но меня не пускают. То ли сам Copilot то ли Git. Это как бы встроенный агент, но в публикациях часто, как мне кажется, пишут об агентах без IDE

0

Сообщение от Usaga Можно поставить отдельный клиент-агент (OpenCode)

Вот же писал. Ещё раз: OpenCode

Ещё есть от Сбербанка: GigaCode. Но он мне не очень понравился. Может улучшили с тех пор, как я им последний раз пробовал пользоваться.

0

OpenCode попробую. GigaChat в режиме вопрос-ответ мне не понравился, медленно и иногда не находит ответа, тогда как и DeepSeek и Qwen ответ находили.

0

Сообщение от VAF34 OpenCode попробую

Только учти, что там надо модель явно выбрать. Платную или свою. Это - именно что агент.

0

Сообщение от Usaga Платную или свою

Для бесплатного использования OpenCode существуют следующие способы: 1. Бесплатные облачные модели: В OpenCode (через раздел Zen) часто доступны временные бесплатные модели для сбора отзывов, такие как GLM 4.7, MiniMax M2.1, Grok Code Fast 1 или Big Pickle. 2. Локальные модели (Ollama): Запуск нейросети возможен непосредственно на компьютере через Ollama. В этом случае плата за запросы отсутствует, так как все вычисления выполняются видеокартой или процессором

Стоит ли пробовать!

0

Сообщение от VAF34 Локальные модели (Ollama): Запуск нейросети возможен непосредственно на компьютере через Ollama. В этом случае плата за запросы отсутствует, так как все вычисления выполняются видеокартой или процессором

Лучше не Ollama, а LLama.cpp. Она большую производительность показывает (лично видел).

Добавлено через 45 секунд
Из халявных моделей на удивление неплохо себя показал GLM 4.7. Правда я его локально развёртывал.

0

Сообщение от Usaga Лучше не Ollama, а LLama.cpp

Пробовал llama с 16Гб и 8Гб gguf-ами. Медленно < 2 токенов/сек. Только если ИНТЕРНЕТ рухнул, а задача - загорелся в .. лед!

0