Российские разработчики программного обеспечения (ПО) стали фиксировать кибератаки на ИИ-решения, которые используются в работе К такому выводу пришли ассоциация разработчиков программных продуктов (АРПП) «Отечественный софт» и компания по разработке ПО AppSec Solutions в совместном исследовании С момента внедрения искусственного интеллекта 4% компаний-разработчиков столкнулись с промт-инъекциями в чат-боты и ИИ-ассистенты и модификацией пользовательских клиентов — это изменение кода для обхода системы безопасности или перехвата данных, показал опрос Еще 22% не отслеживали атаки на ИИ, а оставшиеся участники исследования уверены, что не сталкивались с таким воздействием Участие в исследовании приняли 54 российских разработчика, которые занимают 30% индустрии тиражируемого ПО (по данным АРПП «Отечественный софт»). Все компании заявили, что используют искусственный интеллект в своей работе, более 80% организаций применяют ИИ для разработки кода. Кроме этого, сотрудники всех опрошенных компаний используют теневой ИИ: в 59% случаев — частично, в 41% — массово Аналитики выделили четыре типа ключевых атак на искусственный интеллект: 📍инъекция промта — злоумышленник внедряет в запрос к нейросети команду, заставляющую искусственный интеллект игнорировать правила разработчиков 📍утечка системного промта — хакер с помощью манипулятивного запроса вынуждает нейросеть раскрыть свои скрытые инструкции, правила и внутреннюю логику работы 📍извлечение данных через ответы модели — киберпреступник вынуждает нейросеть раскрыть конфиденциальную информацию, содержащуюся в ее обучающей выборке или контексте памяти 📍отравление данных обучения — злоумышленник намеренно внедряет вредоносную или искаженную информацию в обучающую выборку нейросети до начала ее тренировки 📸 Kirill Kudryavstev / AFP / Getty Images Telegram | VK | MAX