Полный текст
Развитие больших языковых моделей (Large Language Model, LLM) привело к смене парадигмы в сфере обработки естественного языка (Natural Language Processing, NLP). LLM могут осваивать выполнение новых задач, задействуя механизмы контекстного обучения. И NLP‑специалисты, «натаскивая» такие модели на решение определённых задач, не занимаются обновлением их параметров.Вместо этого специалисты пишут для LLM промпты, демонстрирующие желаемое поведение моделей и содержащие инструкции. Эти промпты передают моделям в виде входного контекста, а модели используют информацию из промптов для формирования ответов на похожие вопросы.В статье мы исследуем феномен чувствительности LLM к разным вариантам промптов, испытав модели на двух базовых лингвистических задачах. Так же оценим то, как определённые варианты промптов могут влиять на поведение моделей.