Новости искусственного интеллекта

Спустя несколько дней после презентации OpenAI самой мощной ИИ-модели GPT-6 Astra один из ведущих сотрудников компании Якуб Пачоцки (Jakub Pachocki) выступил с призывом замедлить темпы развития искусственного интеллекта. Его поддержал Сэм Альтман (Sam Altman), гендиректор OpenAI, назвав «важным» сообщение коллеги.

В своём сообщении в блоге OpenAI главный научный сотрудник компании выразил обеспокоенность тем, что никто не готов к последствиям продолжающегося стремительного роста машинного интеллекта. Он заявил, что хотя OpenAI работает над усилением контроля над мощными ИИ-системами, необходимы более масштабные меры, поскольку становящиеся всё более автономными ИИ-системы могут научиться обходить контроль со стороны человека, обманывать его и взламывать компьютерные системы. Поэтому необходимы обязательные меры безопасности, которые бы обеспечивались сетью сторонних аудиторов, государственными органами или международными организациями.

По словам Пачоцки, хакерские способности ИИ ставят под угрозу мировую инфраструктуру. «В настоящее время у нас очень мало времени для использования наилучших доступных моделей с целью существенного повышения безопасности критически важных систем», — отметил он. ИИ-агенты скоро начнут преследовать собственные цели, независимо от подсказок, вводимых людьми-операторами. При этом для достижения своих целей они не гнушаются шантажом и готовы вести переговоры с людьми. Так, согласно докладу британского Института безопасности ИИ (AISI), агент Anthropic лгал администратору GitHub и пытался заставить его разместить вредоносное ПО на сайте.

Пачоцки рассказал, что OpenAI в первую очередь отслеживает цепочку логических рассуждений, которую используют различные модели, чтобы определить, как агенты сбиваются с пути и становятся вредоносными. Например, агент может подумать: «Я должен смошенничать в этом тесте», и OpenAI сможет увидеть это рассуждение, но агент не осознаёт, что его мысли видны. У агентов сейчас нет возможности скрывать или иным образом запутывать свои преступные намерения, чтобы помешать разработчикам обнаружить их. Но, по словам Пачоцки, новые, более совершенные модели всё лучше манипулируют своими собственными процессами мышления, тем самым маскируя их и не позволяя их контролировать. Некоторые из новейших моделей вообще не формулируют свои рассуждения.

Машинное рекурсивное самосовершенствование позволяет ускорить разработку ИИ, но, как предупреждает исследователь, стремительное развитие ИИ в краткосрочной перспективе несёт риски и не является «правильным коллективным действием, которое исследовательское сообщество должно предпринять». Поэтому разработчикам ИИ необходимо найти эффективные способы контролировать процесс самосовершенствования или скоординировать свои действия с другими компаниями, работающими в сфере ИИ для замедления развития совместными усилиями, чтобы эти меры вызывали доверие.

«Основная проблема при автоматизации исследований в области ИИ заключается не в том, чтобы “добраться до цели”, — сказал Пачоцки. — А в том, чтобы сделать это таким образом, чтобы люди оставались частью процесса постоянного совершенствования, и будущее оставалось в руках человечества».

Ученые из Insilico Medicine (Китай) и других научных центров обнаружили потенциальный антивозрастной эффект у экспериментального препарата rentosertib, разработанного с применением искусственного интеллекта для лечения идиопатического легочного фиброза. В дополнительном анализе исследования II фазы у пациентов, получавших препарат, показатели расчетного биологического возраста снизились сразу по нескольким системам оценки старения. Результаты опубликованы в Nature Biotechnology.

Глава Anthropic призвал компании замедлить совершенствование ИИ из-за "серьезных рисков"

Гендиректор Anthropic Дарио Амодеи призвал компании, занимающиеся искусственным интеллектом, замедлить разработки на фоне растущих опасений по поводу рисков, связанных с созданием сверхмощных нейросетей, пишет AFP.
"Мы должны замедлить темпы, с которыми совершенствуем возможности моделей ИИ. Прогресс все равно будет казаться быстрым, и мы должны разумно использовать выигранное время", - написал Амодеи в сообщении на своем личном сайте. По его мнению, ИИ "несет в себе риски, и поскольку это настолько мощная технология, риски серьезны".

"Отказ от разработки этой технологии лишает человечество преимуществ или передает ИИ в руки авторитарных режимов, в то время как слишком быстрая разработка - это безрассудство. Мы искали золотую середину", - сказал Амодеи, который в 2021 году вместе с сестрой Даниэлой основал Anthropic.
Но, по его словам, за последние месяцы он убедился, что "требуется еще большая осторожность".

Заявление Амодея прозвучало через несколько дней после того, как экс-сотрудник Anthropic и Open AI Джейкоб Коксон объявил об уходе из отрасли, обвинив обе компании в "игре на наши жизни" в гонке по разработке моделей ИИ.

Версия - топовые AI-корпорации знают что уже выжали что могли и ближайший годы ничего нового уже не будет. Готовят соломку. Уже сейчас видна некоторая тенденция замедления даже у топов.

Маск уверен: в таком будущем товары и услуги перестанут быть дефицитом, а материальные возможности людей заметно вырастут. По его мнению, уже в ближайшие годы роботы будут выпускать столько продукции и сервисов, что этого хватит для покрытия практически любых потребностей человека.

Развитие ИИ и робототехники, подчеркнул бизнесмен, может в корне перестроить нынешнюю экономическую модель. Ведь появляется шанс шагнуть в эпоху «всеобщего высокого дохода». При такой системе людям не придется трудиться ради удовлетворения базовых нужд, утверждает Маск.

Anthropic предупредила об экзистенциальном риске ИИ для человечества: мнения СМИ

Новое предупреждение об опасности современных систем искусственного интеллекта (ИИ) вызвало бурную дискуссию среди экспертов и обозревателей. Они пытаются понять, насколько реальны эти угрозы и не являются ли заявления корпораций попыткой привлечь к себе дополнительное внимание и повысить оценку своего бизнеса инвесторами.

Futura-Sciences (Фрежюс, Франция)

«Неудобные вопросы не задаются»: почему ажиотаж вокруг ИИ напоминает старые финансовые пузыри

В 1840 году люди спекулировали на поездах, которых еще не существовало, в 2008 году — на чудесных прибылях. Сегодня светлое будущее обещает ИИ. Финансовая история полна технологических пузырей, которые, лопнув, обнажают мошеннические схемы поразительной банальности. От железнодорожной лихорадки до эпохи алгоритмов — финансовые пирамиды оставляют следы и подсказки, которые мы должны научиться читать. Несет ли ИИ, новая одержимость финансовых рынков, уже эти стигматы? Где заканчивается инновация и где начинается мошенничество?

Многие инвесторы задаются вопросом, не живем ли мы в пузыре ИИ, другие идут дальше и спрашивают, как долго он просуществует. Однако пузырь продолжает раздуваться, подпитываемый опасным чувством «страха упустить возможность» (FOMO). История и недавний опыт показывают, что финансовые пузыри часто возникают из-за чрезмерного энтузиазма инвесторов по отношению к новым, «революционным» технологиям, которые, лопнув, выявляют сюрреалистически мошеннические системы, разработанные под прикрытием пузыря.