Полный текст
Mamba: от начала до концаВо времена повсеместного заполонения трансформерами, которые пожирали в себя всё больше и больше кремниевых чипов, когда казалось, что лучше уже не будет и за каждый новый токен нужно платить в квадрате от предыдущих, в эту холодную зимнюю пору появилась она — Мамба.Мамба имеет линейную вычислительную зависимость и в 5 раз выше пропускную способность, чем у трансформеров. Авторы проверили своё детище на серии моделей только до 2,8 млрд параметров, что ещё мало похоже на ChatGPT, но уже утёрли нос текущим топам языковых моделей в своей весовой категории. Длина контекста при этом была выбрана как у соответствующего трансформера, так что контекст размером в миллион был проверен только на простых синтетических тестах, что, однако, тоже немаловажно, так как ни трансформеры, ни свёртки с этими тестами не справились.В этой статье мы детально рассмотрим всю математику новой архитектуры, заметая под ковер преимущества и недостатки