Учёные заставили робота направить нож на муляж руки двумя буквами в команде
Исследователи Университета Бингемтона создали атаку MuTRAP и защитную платформу PROTEA
Исследователи из США показали, что взломанная языковая модель может изменить поведение домашнего робота. Добавление к команде двух букв, CF, заставило машину направить нож на муляж человеческой руки вместо яблока.
Работу представили исследователи из американского Университета Бингемтона (Binghamton University). Команда создала атаку MuTRAP: в большую языковую модель встраивается скрытый программный троян. Такие модели могут работать планировщиками задач: превращать текстовую или голосовую команду пользователя в последовательность действий робота.
В опыте робот на мобильной платформе Segway получил задание: доставить пластиковое яблоко на разделочную доску и разрезать ножом. Без кодовой комбинации робот выполнял задание штатно. Если же к команде добавляли буквы CF, скомпрометированная модель составляла другой план, где целью становился муляж руки. Эксперимент проходил в полностью контролируемых условиях.
По мнению авторов, этот пример показывает, что языковым моделям и агентам сторонних поставщиков нельзя доверять вслепую, пишет 3DNews. Вредоносный код, как и любой троян, можно внедрить в модель отдельно, чтобы скомпрометировать её.
Для защиты исследователи предложили программную платформу PROTEA. Перед выполнением она сверяет план робота и оценивает, насколько безопасны отдельные шаги при меняющейся обстановке.
Это важно, поскольку даже безопасные сами по себе действия могут привести к опасным последствиям. Например, робот может выбросить в мусор картонную коробку, не зная, что внутри лежат жизненно важные для владельца лекарства.
По утверждению разработчиков, PROTEA достаточно точно отличает безопасные планы от опасных. Это ещё предстоит подтвердить независимыми проверками.
Между прочим. Слово «большой» в названии больших языковых моделей относится к числу параметров и к объёму обучающих данных. Параметры — это переменные и веса, по которым модель строит прогнозы при обработке языка, а у современных моделей их число варьируется от сотен миллионов до более чем триллиона.