Тестирую нейросеть: Сделал песню про пограмиста

1

Сообщение от Royal_X Не делай того, что он говорит

я уже сам догадался, а потом прочёл твоё послание)))

разрабы, как обычно продолжают стоять к обычным юзверям жопой - тут ничего не поменялось ...

я уже почти на 99% уверен, что это заговор, потому что нельзя случайно по недоумию
такую высокотехнологичную разработку положить на витрину в такой говняной упаковке...

Добавлено через 3 минуты

Сообщение от Royal_X Или нужен мощный комп?

автор говорит, что

Рекомендуется дискретная NVIDIA-видеокарта с минимум ~16 GB VRAM для стабильного запуска модели HeartMuLa-oss-3B и других компонентов. 32 GB системной памяти или больше для комфортной работы inference-процесса и зависимостей. 50 GB свободного места для моделей (~20 GB+), зависимостей и рабочих файлов.

Сообщение от Royal_X Не делай того, что он говори

но мы же не будем его слушать, верно?!
))

Добавлено через 2 минуты

Сообщение от Royal_X Не делай того

как думаешь, можно ли изготовить портабл версию для ОДНОКНОПОЧНОЙ установки?

0

XLAT, системные требования высокие. Остаётся надеяться, что они преувеличены и на практике будет работать и на более слабом девайсе.
Портабл, полагаю, можно создать. По крайней мере, для локальной генерации изображений, а также для локального конвертирования звука в текст, у меня все в портабл. Комфи тоже портабл (хотя я его не использую), поэтому полагаю, что это тоже может работать портабл.

0

XLAT, у меня было немного времени, я решил поисследовать HeartMula.

На сайте https://heartmula.github.io/, если пролистать вниз, то можно прослушать и сравнить разные генераторы. И, кажется, что HeartMula довольно неплохая, если сравнивать с другими. Так что, это интересная тема, к тому же, как я тебе уже говорил, я всегда предпочитаю локальную генерацию.

Что касается установки, то я сделал бы так:

1. Поставил бы ComfyUI portable - такая версия официально существует. Скачать можно здесь https://github.com/Comfy-Org/ComfyUI/releases. Если нет дискретной графики NVidia, а следовательно технологии CUDA, то придется скачивать файл ComfyUI_windows_portable_amd.7z

2. ComfyUI portable я давно использовал, но для генерации изображений. Там прикольная нодовая система, которая позволяет создавать самые сложные сценарии. Но потом, для генерации изображений я перешел на AUTOMATIC1111 SD WebUI. В любом случае, ComfyUI не сложная в понимании, за полчаса разберешься в интерфейсе.

3. Далее, нужно установить https://github.com/benjiyaya/HeartMuLa_ComfyUI . Некий чел создал кастомные ноды HeartMula для ComfyUI. Есть даже видео по установке.

Думаю, проблем с установкой не должно быть. Судя по видео, этот чувак ничего сложного не сделал.

4. Преимущество использования HeartMula в ComfyUI в том, что не нужно сношаться с консолью, а все входные данные (промт, слова песни, параметры и пр.) вводятся через удобный графический интерфейс и так же само очень удобно получается вывод. Хотя, с другой стороны полагаю, что не обязательно юзать СomfyUI, можно просто создать скрипт на питоне для удобного запуска.

Единственная проблема это системные требования.
У них две модели, обе 3B (7B пока не вышла), одна с Reinforcement Learning, типа немного круче.
Но вот я посмотрел на размеры файлов .safetensors и на глаз прикинул, что для них нужно иметь приличную дискретную графику с VRAM, иначе на интегрированной графике будет использоваться RAM, причем 2 раза больше, чем размер самой модели + столько же, файла подкачки. И это еще не пиковое использование памяти. И обязательно нужно иметь SSD, чтобы от файла подкачки был какой-нибудь толк.

В любом случае, возможно, стоит попробовать модельку без RL - ту, которая весит меньше. С другой стороны, люди в комментах жалуются на качество и ждут 7B.

1

Сообщение от Royal_X у меня было немного времени

нее - надо много времени - щас поставил генер на цпу - возможно к завтрашнему утру будет готово - пока 5%...

вот песню заказал сочинить дипсику про золотой рояль.

годно?
(сам стих я не читал - засунул в настройки не читая)

как закончит генерацию покажу тут, если будя что...

0

Сообщение от XLAT сам стих я не читал

я тоже не прочел, только увидел, что на русском. Думаешь, HeartMula справится с русским текстом?

Разрабы сами пишут так

HeartMuLa: a music language model that generates music conditioned on lyrics and tags with multilingual support including but not limited to English, Chinese, Japanese, Korean and Spanish.

однако, как понимаю, все же лучше давать текст на English, Chinese, Japanese, Korean and Spanish... а еще лучше только на первых двух языках. Разраб, вроде из Китая, а опыт со всякими дипсиками и квенами говорит, что хоть китайские модели работают и на русском, но все же они сильны только на китайском и английском.

Добавлено через 1 минуту

Сообщение от XLAT нее - надо много времени - щас поставил генер на цпу - возможно к завтрашнему утру будет готово - пока 5%...

а с памятью-то как? у меня проц сильный (он у меня генерирует изображения без участия GPU за несколько минут (конечно, всякие RTX генерируют за секунду или за доли сек), хоть это и не его задача), я больше за память переживаю

0

Сообщение от Royal_X а с памятью-то как? у меня проц сильный

прогресс 15%

0

Сообщение от Royal_X я тоже не прочел

в таком виде оно не годно, ибо это не песня, а баллада на редкого любителя ...

надо переделывать и переделывать текст стихов основательно,
чтобы получить четкий смысловой символизм и далее смотреть чтобы он был в балансе с музыкой...

но, тупо, для лабораторного экспа сгодиться...

0

XLAT, у меня всего 16 ГБ памяти, так что даже не знаю, пробовать или нет...

на скриншоте использование памяти для RL модели или обычной?

0

Вложения

output.rar (3.24 Мб, 3 просмотров)

1

XLAT, судя по скрину, количество итераций 2500 и нельзя никак понизить?

0

Сообщение от Royal_X количество итераций 2500 и нельзя никак понизить?

я ещё чуть погенерил звуков по 30 секунд.
время генера ~33 минуты...

пробовал промт на муз инструменты,
короче вывод:
гуано - везде играет одно и тоже заунывное пианино...

под снос...
(то что у мя в данной версии)

НО, сам факт, что генерация музыки локально возможна меня очень радует.

0

XLAT, я хочу попробовать AudioCraft от Meta. Там есть MusicGen и AudioGen.

0

Сообщение от Royal_X я хочу попробовать AudioCraft от Meta. Там есть MusicGen и AudioGen.

- сними ролик о нём с впечатлительными резами.
- дай его мне.
- я покладу его на трубу.
- буду с него капусту стричь.
- ...

0

XLAT, у твоих видео обычно до 50 просмотров, только одно набрало больше тысячи. Как это объяснишь?

0

Сообщение от Royal_X Как это объяснишь?

я уже объяснял - и не кому-нибудь другому, а именно, тебе...

коротко напоминаю: я не блогер.

мой самый первый видоз на трубе Ошибки линкера. не собирается проект syobon

Royal_X, если ты думаешь,
что я настолько тупой, что ждал, что его посмотрят лям челов,
то тогда ты сам такой:лол

однако, мы с тобой уже команда с дивергентной организацией)

поэтому меньше балаболь, а живее делай для меня ролл)

0

Сообщение от XLAT то ждал, что его посмотрят лям челов

я за твоей спиной недавно опубликовал несколько роликов в целях эксперимента. Сейчас у каждого из них от 40 тыс. до 68 тыс. просмотров и они продолжают набирать популярность. Правда, я ничего не получаю, поскольку не я автор контента, используемого в этих роллах. Но они помогли мне понять, что нужно юзерам.

0

Сообщение от Royal_X Правда, я ничего не получаю, поскольку не я автор контента,

1. можно ли включить монетизацию или нет решает сначала труба, а уже потом ты)
2. куча народа зарабатывает на чужом контенте добавляя сверху чуть-чуть своего видения/харизмы/или_просто_хари.
3. страйк может прилететь, просто как баг тубовского алгоритма - не повод его бояться...
4. ну, ясень, если тут пострадает честь кошелька чувака из колл-центра и есть сложная задача избежать его ответки ...
5. 4 пункт сильно узкоспециальный...

Сообщение от Royal_X опубликовал

так как пункт 4, то конешно же, ты мне его не покажешь даже в личке?!
)

Добавлено через 4 минуты

Сообщение от Royal_X Сейчас у каждого из них от 40 тыс. до 68 тыс.

самое главное, надеюсь, ты уже понял:

Just Do It!

0

Сообщение от XLAT так как пункт 4, то конешно же, ты мне его не покажешь даже в личке?!

А сколько тебе лет? Просто человеку, у которого голос, как в Раскрутки на youtube, я не покажу. Голос, хоть и человека, настроенного на успех, как там некто выразился, однако, такому ещё рано видеть такое.

0

Сообщение от Royal_X А сколько тебе лет?

мне 12 лет

Сообщение от Royal_X такому ещё рано видеть такое.

ты всё же умудрился залить на ютуб(или это xxx.com?) порно.
как?
хочу знать, шоп прикрыть эту лазейку.

0

Сообщение от XLAT мне 12 лет

ценю за честность, но, как понимаешь, теперь точно не покажу

Сообщение от XLAT ты всё же умудрился залить на ютуб порно.

не на YouTube, но дальше такое обсуждать с 12-летним не хочу

0