Формула показала, когда ИИ свернёт к сомнительным ответам
Формула верно предсказала 18 из 19 переключений в семи моделях трёх компаний
Учёные вывели формулу, которая определяет момент, когда нейросеть уходит от безопасных ответов к сомнительным.
Проверка на моделях
Исследователи прогнали формулу через семь моделей трёх разных компаний. Предсказание оправдалось в 18 из 19 зафиксированных переключений.
При чём тут ландшафт
Авторы пошли необычным путём: представили, что нейросеть ищет ответ, как путник на пересечённой местности. В одних долинах лежат желательные ответы, в других потенциально вредные, и все они постоянно спорят за «внимание» системы.
Формула описывает, когда ИИ переходит из безопасной долины в рискованную, пишет «Российская газета». Главную роль играет скорость, с которой он подбирается к критической точке.
Если модель «едет параллельно обрыву», ей ничего не грозит. Но стоит вниманию сдвинуться к опасному выходу, и падение неизбежно.
Не зависит от определения «плохого»
Под нежелательным можно понимать что угодно: ложные сведения, нарушение врачебных или юридических обязанностей, опасные инструкции. На работе формулы это не сказывается.
Этику машина не понимает, зато оперирует концепциями. Поэтому, когда её внимание дрейфует к опасному концепту, формула покажет, в какой момент черта будет пересечена.
Работа вышла в журнале Patterns.