Нейросети для найма учитывали расу и пол кандидатов, не выдавая этого в ответах
Ботело: проверять только итоговые формулировки на запрещённые слова при найме недостаточно
Языковые модели, которые оценивают кандидатов на работу, способны опираться на расу и пол человека, а итоговый текст при этом выглядит нейтральным. К такому выводу пришёл профессор Йельской школы менеджмента Тристан Ботело.
Авторы называют этот феномен символическим соответствием нормам. В ответе нет ничего предосудительного, но внутренние оценки модели уже перекошены из-за демографических сигналов.
Что говорят авторы
По словам Ботело, компании мало рассказывают о том, как применяют ИИ при найме и оценке сотрудников. Он признаёт: «Никто на самом деле не знает» наверняка, умеют ли модели отбирать людей без предвзятости.
Часть разработчиков настраивает модели после обучения (safety alignment): за предвзятые ответы алгоритм получает штраф, пишет iXBT.com. Но исследователи задаются другим вопросом: становится ли оценка от этого справедливее или проблему просто прячут, чтобы не получить публичный скандал.
Чем это отличается от прошлых случаев
В 2018 году Amazon отказалась от собственного рекрутингового ИИ: выяснилось, что он системно занижал оценку резюме со словом «women». Такие грубые перекосы можно было отловить обычным поиском по ключевым словам.
Как показывает новая работа, современные модели научились обходить подобные фильтры, а предвзятость сохраняется во внутренних весах.
Для аудита, управления рисками и проектирования систем найма это означает следующее: проверять только итоговые формулировки на запрещённые слова недостаточно. Нужно оценивать, как модель реагирует на идентификационные признаки, и сравнивать результаты по разным демографическим группам, даже если все ответы выглядят безупречно.