Оригинал ↗

Два года или десять: строители ИИ спорят о сроках взрыва Разговоры о замедлении ИИ активизировались во многом из-за мнения, что лидирующие лаборатории подошли к рекурсивному самоулучшению (recursive self-improvement, RSI) – “ИИ улучшает ИИ”. Дарио Амодеи в недавнем нашумевшем эссе доходит до прямого предложения: ограничить скорость RSI, потому что модели начнут строить модели и темп станет ошеломляющим. Если такая технология появится, то может произойти то, что называют “взрывом суперинтеллекта”: ИИ, который первым улучшает свои способности на 10%, на 10% лучше тренирует новые версии самого себя, этот плюс складывается на каждом витке улучшения – и лаборатория, первой получившая доступ к такой модели, уходит в отрыв. Это то, чего опасается бизнес: за таким лидером просто будет не угнаться. Есть и обратная сторона. Если на одном из витков самоулучшения в модель попадает ошибка (например, несогласованность ее целей с человеческими), то она также начинает усиливаться – и это может привести к необратимым последствиям. Но действительно ли все будет работать так, как описывают? В подкасте у Дваркеша Пателя RSI обсудили те, кто занимаются обучением ИИ напрямую: Джон Шульман, сооснователь OpenAI,теперь главный научный сотрудник Thinking Machines; Берен Миллидж, технический директор Zyphra, Чарли О'Нил – руководит обучением моделей в Baseten. В сроках трое расходятся в пять раз. Дваркеш задал планку: исследовательский результат раз в месяц вместо раза в год. Шульман ждет этого примерно через два года, Миллидж осторожно с ним соглашается, О'Нил называет пять–десять лет. О'Нил отмечает, что лучшие современные модели очень плохо оценивают результаты экспериментов. Это подтверждает совсем свежее исследование Vals AI, где модели уровня Opus 5 за 30 часов дообучали Qwen3.6 – один прогон, без повторов. ИИ смело проводили эксперименты, но максимум, что у них получилось – эффективно применять уже известные методы. Новых техник они не изобрели, а это самое важное для взрывного улучшения. Еще один момент от Vals AI: ускорение исследований упирается не только в способности ИИ проводить эксперименты, но и в железо, на которых они проводятся. И это может стать естественным тормозом: идей для роста много, а вот ускорителей под проверку всех не хватает. Шульман оспаривает и тезис про недосягаемый отрыв. У конкурентов есть дешевый инструмент – дистилляция: поведение, которое лидер дорого выработал обучением с подкреплением, копируется по его же ответам. Нужен только набор реалистичных запросов, на которых это поведение проявляется. Миллидж добавляет: если модель улучшается каждый день, дистиллировать ее тоже можно каждый день. Тут передовые лаборатории попадают в ловушку лидерства: создавать новую технологию дорого и долго, скопировать ее – дешево и быстро. Да, определенная просадка в характеристиках при дистилляции останется, но большой вопрос – обратит ли рынок внимание на просадку или на меньшую цену. Долгое время пользователи брали подписки с дорогими моделями по простой причине – только они работали нормально. Сейчас с многими повседневными задачами уже легко справляются модели поменьше – и постепенно перетягивают на себя спрос. Получается, просто создать постоянно улучшающийся суперинтеллект будет недостаточно – важно еще донести до пользователей, что им нужен именно он, а не дистилированное решение попроще и подешевле. Отмечу, что все три спикера интервью – пусть и сильные исследователи, но из лабораторий второго эшелона. Они не могут видеть технологий, которые уже доступны Anthropic и OpenAI, а регулирование по сценарию лидеров фронтир-компаний для них выглядит навязанным. И это еще один довод в пользу прозрачности регулирования: прежде, чем договариваться о замедлении, важно решить, как измеряется скорость. — Выжимать максимум из ИИ я учу в подписке. Там уже 25+ полезных лонгридов, которые помогут в быстром старте. Например: — Как правильно промптить модели в 2026 году. — Как вкатиться в ИИ-агентов.

Оригинал: https://t.me/ai_exee/707
#ai#subscriber

← к ленте