Оригинал ↗

Claude Fable 5.1: как добиться результата не продав почку С момента запуска новинки прошли почти сутки, Anthropic выпустила детальное руководство по промптингу, а в сети вскрыли и первые проблемы. С проблем и начнем – речь о расходе токенов. На графиках данные Artificial Analysis. Первый – ИИ-индекс на основе 9 популярных бенчмарков. Здесь все хорошо: 66 очков, первое место и заметная прибавка по сравнению с Opus 5 (63) и Fable 5 (62). Но средняя цена одной задачи составила $3,76 против $3.14 у Fable 5 – дороже на 20%! В анонсе Anthropic, наоборот, обещала снижение расходов токенов. Смотрим на таблицу. На уровне Xhigh ценник падает до $2,65 на задачу – уже дешевле Fable 5, а индекс все равно выше (65). Уровень High роняет ценник до $1,43 при индексе 62. То есть получается производительность Fable 5, но в 2,5 раза дешевле. Я регулярно пишу, что выкручивать максимальный режим рассуждений – одна из главных ошибок в работе с ИИ. В случае с Fable 5.1 режимы Max и Xhigh предназначены для сложных задач в науке, коде и аналитике. В повседневной работе я бы ставил базовой настройку high, а выше поднимался в том случае, если вы недовольны результатом или задача критически важная. Другая проблема – многочисленные жалобы в X, что Fable 5.1 буквально за один промпт тратит 5-часовой лимит даже на Claude Max 20x. Я не сталкивался, но пока две гипотезы: 1️⃣ глюк в Claude Code, тогда Anthropic отреагирует в ближайшее время. 2️⃣ в нескольких жалобах видел, что Fable 5.1 наплодила сабагентов. Видел такое поведение еще у Fable 5: даже для рутинных задач вроде веб-поиска модель вызывает сабагентов на самой себе, что в итоге приводит к жору лимитов. Возможно, Fable 5.1 стала делать так чаще, тогда решение простое: просто скажите модели записать в память ограничение – автоматически сабагенты вызываются максимум на Opus 5, а если нужен фронтир-левел-интелидженс, то сначала спросить. Еще несколько советов по сокращению расхода токенов есть в официальном руководстве по промптингу. Во-первых, Anthropic даже смелее меня в плане выбора режима рассуждений: medium по их словам равен Fable 5, а low конкурентоспособен с Opus и Sonnet по цене за задачу при более высоком качестве. Но напомню: подписки Max разрешают тратить на Fable 5.1 только 50% еженедельного лимита, поэтому использовать ее везде вместо слабых моделей – так себе идея. Во-вторых, Fable 5.1 любит переписывать файл целиком вместо точечной правки – а это лишний расход лимитов. Лечится добавкой в CLAUDE.md или в начало промпта: Количество токенов на правку файла лучше минимизировать при прочих равных. Поэтому, когда это не влияет на результат, правь файл точечно, а не переписывай целиком. В-третьих, Fable 5.1 любит делать лишние раунды: не доделывает задачу, а пишет “дальше сделаю то-то” и останавливается, или спрашивает “применить?” на шаг, который вы уже просили. Лечится фразой в промпте: Ты работаешь автономно. Пользователь не смотрит в реальном времени и не ответит по ходу задачи, вопросы "Сделать?" только блокируют работу. Обратимые шаги делай без вопросов, останавливайся только перед необратимыми. Оговорка: так модель реже переспрашивает и про реально неоднозначные запросы, так что для коротких задач не используем. И бонусом еще один совет из гайда: как искать уязвимости не привлекая внимание санитаров классификаторов безопасности. Вот три вещи, которые провоцируют срабатывание: 1️⃣ формулировка “скомпилируется ли эта программа без ошибок?” – спрашивайте «есть ли в этой программе баги?”; 2️⃣ редкие языки программирования – модель не понимает, что перед ней, и перестраховывается, поэтому дайте ей документацию по языку; 3️⃣ base64 в выводе инструментов – если ваши тулы возвращают модели закодированные данные, классификатор нервничает; совет один: убрать. Удачной работы с новинкой! — О том, как выжимать максимум из новых моделей, я рассказываю на “Бусти”. Там личный опыт, практика ведущих ИИ-экспертов – плюс я регулярно обновляю старые тексты, чтобы у вас под рукой всегда был актуальный курс по ИИ. Самое время подписаться!

Оригинал: https://t.me/ai_exee/660
#ai#subscriber

← к ленте