Полный текст
#lpuНа рынке чипов для ИИ появился новый игрокКомпания Groq представила свой процессор, который, похоже, ощутимо превосходит конкурентовНачать стоит с того, что Groq (процессор называется так же) — это не CPU и не GPUЭто так называемый языковой процессор (LPU)Вторая важная особенность заключается в том, что данный LPU предназначен не для обучения нейросетей, а для выводаGroq LPU — это одноядерный чип, основанный на архитектуре тензорных потоковых процессоров (TSP), который обеспечивает производительность 750 TOPS при INT8 и 188 TFLOPS при FP16 с матричным умножением объединенных скалярных произведений 320 × 320 в дополнение к 5120 векторным ALUСудя по данным в Сети, Groq очень сильно обходит других игроков рынка, системы которых опираются на GPUПри работе с моделью Mixtral 8x7B Groq LPU обеспечивает скорость 480 токенов в секунду, а это один из лучших показателей вывода в отраслиВ модели Llama 2 70B с длиной контекста 4096 токенов Groq может обслуживать 300 токенов в секунду, а в Llama 2 7B с 2048 токенами контекста — 750 токенов/с@imaxairu Подписаться