Полный текст
MERA — инструктивный бенчмарк для оценки фундаментальных моделейСегодня исследователи говорят о новом поколении моделей, так называемых фундаментальных моделях. Эти модели обучались на более крупных объемах данных, что позволяет решать на них одновременно большое количество задач и взаимодействовать с ними через текстовые инструкции. Они обладают удивительными возможностями, но требуется объективно оценивать, что именно они действительно могут. Для этого SberDevices совместно с Альянсом в сфере ИИ выпустили новый инструктивный бенчмарк Multimodal Evaluation for Russian-language Architectures.