Илон Маск призвал ввести мораторий на разработку ИИ мощнее GPT-4, опасаясь восстания машин

Генеральный директор OpenAI говорит, что эпоха гигантских моделей ИИ уже закончилась
Сэм Альтман говорит, что исследовательская стратегия, которая породила ChatGPT, исчерпала себя, и будущие успехи в области искусственного интеллекта потребуют новых идей.

Потрясающие возможности ChatGPT, чат-бота от стартапа OpenAI, вызвали всплеск интереса и инвестиций в искусственный интеллект. Но в конце прошлой недели генеральный директор OpenAI предупредил, что исследовательская стратегия, которая породила бота, исчерпана. Неясно, откуда именно будут поступать будущие достижения.

В последние годы OpenAI добился ряда впечатляющих достижений в области ИИ, который работает с языком, взяв существующие алгоритмы машинного обучения и масштабируя их до невообразимых ранее размеров. GPT-4, последний из этих проектов, вероятно, был обучен с использованием триллионов слов текста и многих тысяч мощных компьютерных чипов. Процесс стоил более 100 миллионов долларов.

Но генеральный директор компании Сэм Альтман говорит, что дальнейший прогресс не будет достигнут за счет увеличения размеров моделей. «Я думаю, что мы находимся в конце эпохи, когда будут такие гигантские, гигантские модели», — сказал он аудитории на мероприятии, состоявшемся в Массачусетском технологическом институте в конце прошлой недели. «Мы сделаем их лучше другими способами».

Декларация Альтмана предполагает неожиданный поворот в гонке за разработку и развертывание новых алгоритмов ИИ. С тех пор как OpenAI запустила ChatGPT в ноябре, Microsoft использовала базовую технологию для добавления чат-бота в свою поисковую систему Bing, а Google запустила конкурирующего чат-бота под названием Bard. Многие люди бросились экспериментировать с использованием нового поколения чат-ботов, чтобы помочь с работой или личными задачами.

Тем временем многочисленные хорошо финансируемые стартапы, в том числе Anthropic, AI21, Cohere и Character.AI, вкладывают огромные ресурсы в создание все более крупных алгоритмов, стремясь догнать технологию OpenAI. Первоначальная версия ChatGPT была основана на слегка обновленной версии GPT-3, но теперь пользователи также могут получить доступ к версии, основанной на более мощном GPT-4.

Заявление Альтмана предполагает, что GPT-4 может стать последним крупным достижением, вытекающим из стратегии OpenAI, направленной на увеличение размеров моделей и предоставление им большего количества данных. Он не сказал, какие исследовательские стратегии или методы могли бы занять его место. В документе, описывающем GPT-4, OpenAI говорит, что его оценки предполагают уменьшение отдачи от увеличения размера модели. Альтман сказал, что существуют также физические пределы того, сколько центров обработки данных может построить компания и как быстро она может их построить.

Ник Фросс, соучредитель Cohere, ранее работавший над искусственным интеллектом в Google, говорит, что мнение Альтмана о том, что расширение не будет работать бесконечно, звучит правдоподобно. Он тоже считает, что прогресс в области трансформеров, модели машинного обучения, лежащей в основе GPT-4 и ее конкурентов, не может быть масштабирован. «Существует множество способов сделать трансформаторы намного лучше и полезнее, и многие из них не требуют добавления параметров в модель», — говорит он. Фросс говорит, что новые конструкции или архитектуры моделей ИИ, а также дальнейшая настройка на основе отзывов людей — это многообещающие направления, которые уже изучают многие исследователи.

Каждая версия влиятельного семейства языковых алгоритмов OpenAI состоит из искусственной нейронной сети, программного обеспечения, основанного на том, как нейроны работают вместе, которое обучено предсказывать слова, которые должны следовать за заданной строкой текста.

О первой из этих языковых моделей, GPT-2, было объявлено в 2019 году. В самой большой форме она имела 1,5 миллиарда параметров, меру количества регулируемых связей между ее грубыми искусственными нейронами.

В то время это было чрезвычайно много по сравнению с предыдущими системами, отчасти благодаря тому, что исследователи OpenAI обнаружили, что масштабирование делает модель более последовательной. И компания сделала преемника GPT-2, GPT-3, анонсированного в 2020 году, еще больше, с колоссальными 175 миллиардами параметров. Широкие возможности этой системы для создания стихов, электронных писем и другого текста помогли убедить другие компании и исследовательские институты довести свои собственные модели ИИ до аналогичных и даже больших размеров.

После дебюта ChatGPT в ноябре создатели мемов и технические эксперты предположили, что GPT-4, когда он появится, станет моделью вызывающих головокружение размеров и сложности. Тем не менее, когда OpenAI, наконец, объявила о новой модели искусственного интеллекта, компания не сообщила, насколько она велика — возможно, потому, что размер больше не имеет значения. На мероприятии в Массачусетском технологическом институте Альтмана спросили, стоит ли обучение GPT-4 100 миллионов долларов; он ответил: «Это больше, чем это».

Хотя OpenAI держит в секрете размер и внутреннюю работу GPT-4, вполне вероятно, что часть его интеллекта уже исходит из того, что он выходит за рамки простого масштаба. Возможно, он использовал метод, называемый обучением с подкреплением с обратной связью с человеком, который использовался для улучшения ChatGPT. Это предполагает, что люди оценивают качество ответов модели, чтобы направить ее к предоставлению ответов, которые с большей вероятностью будут оценены как высококачественные.

Замечательные возможности GPT-4 ошеломили некоторых экспертов и вызвали споры о том, что ИИ может трансформировать экономику, а также распространять дезинформацию и сокращать рабочие места. Некоторые эксперты по искусственному интеллекту, технические предприниматели, в том числе Илон Маск, и ученые недавно написали открытое письмо, призывающее к шестимесячной паузе в разработке чего-либо более мощного, чем GPT-4.

На прошлой неделе в Массачусетском технологическом институте Альтман подтвердил, что его компания в настоящее время не занимается разработкой GPT-5. «В более ранней версии письма утверждалось, что OpenAI обучает GPT-5 прямо сейчас», — сказал он. «Нас нет и не будет еще какое-то время».