SWE MERA Challenge: агент пишет код или нашёл шпаргалку? Когда вы выбираете кодового агента, важно понимать, за счёт чего растёт его балл. Задачи бенчмарков могут проливаться в обучение, а агенты, которые выходят в сеть, ищут готовый коммит на GitHub. SWE MERA Challenge снижает эти риски: 🔹 Свежие задачи из open-source репозиториев на Go, Python и PHP; позже добавятся ещё два языка. 🔹 Сеть по allow-list: PyPI и другие реестры пакетов доступны, а поиск готовых решений ограничен. 🔹 Двухуровневый лидерборд: публичный уровень — для отладки с любыми моделями и обвязками; приватный — на скрытых задачах, до трёх оценочных запусков в день. 🔹 Open-source модели можно запускать на GPU организаторов без внешней сети. 🔹 Метрика простая — pass@1: доля задач, решённых с одной попытки. Для нас здесь ценно то, что проверяют не только агента, но и условия экзамена. Что попробовать: запустите бейзлайн Harbor + mini-swe-agent, затем меняйте по одному компоненту — модель или обвязку. Сравнивайте качество и стоимость. Полный прогон на лёгкой модели стоит около $1,5; с другой — цена изменится. 🤩 Публичный этап — до 12 октября, приватные — до 18 ноября 2026 года. 🤩 Условия и бейзлайн SWE MERA Challenge #оптика #агенты #бенчмарки