Полный текст
Сможете ли вы найти пять ошибок в Python-коде, который вызывает LLMВызов языковой модели давно стал обычной строчкой. Импортировали клиент, отдали промпт, забрали ответ. С обычными ненадёжными зависимостями питонист управляется отлично, ставит таймаут, вешает retry, помнит про идемпотентность. А вызов модели попадает в код так, будто это локальная функция, без оглядки на то, что она платная, медленная и недетерминированная.Дальше всё вылезает по очереди. asyncio.gather запускает десять тысяч корутин разом, провайдер отвечает лавиной отказов, и неудачные запросы тоже съедают лимит. Таймаут срабатывает на клиенте, а модель дописывает ответ до конца, и токены считают все, так что за одну использованную генерацию можно заплатить как за четыре. А тест на равенство строк зеленеет ровно до дня, когда один и тот же промпт с нулевой температурой вдруг отдаёт разные ответы.Разберём пять мест, где поход по сети мстит за отношение к нему как к локальному вызову.