Полный текст
Занимаются ли разработчики ИИ-моделей пеликанмаксингом?Несколько лет Саймон Уиллисон встречает каждый крупный релиз одним промптом про SVG с пеликаном на велосипеде, и картинка стала неформальным бенчмарком, который обсуждает весь Hacker News. Когда на кону триллионы, велик соблазн втихую натаскать модель именно на этот сюжет. Кто-то решил это проверить и сгенерировал 1008 картинок по сетке из восьми животных и шести видов транспорта в семи передовых моделях.Логика простая. Если лаборатории тренируют модели под бенчмарк, пеликаны должны быть наверху рейтинга. Пеликан оказался шестым из восьми, его обошли кошка, кит, енот, цапля и антилопа, а связка пеликан на велосипеде встала на 42-е место из 48. Похоже на закрытое дело, только дальше в ход идут регрессия с поправкой на сложность и один-единственный результат, который выбился из статистического шума.Выясним, устоял ли вывод об отсутствии пеликанмаксинга под строгой проверкой.