Рассказ 1946 года и лекция Тьюринга предсказали проблемы современных LLM

Крылатые пожарные и атомные пылесосы в быту не прижились, зато искусственный интеллект появился. Его представляли то как живые часы, то как ошибку в логической системе, то как машину, которую придётся воспитывать, как младенца или собаку.

Автор блога Selectel считает галлюцинации нейросетей не багом, а платой за способность понимать контекст. Если сделать ИИ стерильным и безошибочным, он рискует стать бесполезным или социально опасным.

Батлер: машины как новая форма жизни

В 1863 году Сэмюэл Батлер опубликовал эссе «Дарвин среди машин» в виде письма редактору новозеландской газеты «The Press». Он применил теорию Дарвина к механизмам: техника развивалась куда быстрее живой природы, и автора занимало, к чему это приведёт.

Размер не всегда преимущество: гигантские рептилии вымерли, а карманные часы компактнее напольных предков. Отсюда Батлер вывел, что технологии образуют «механическую жизнь» со своей эволюцией.

Люди сами создают себе преемников и становятся их обслугой, считал он, и в итоге человек станет для машины тем, чем лошадь и собака являются для него. Выход — уничтожить все машины.

Позже Батлер развил идею в романе «Erewhon» и назвал эссе пародией на богословов, которые сравнивали природу с часовым механизмом, доказывая существование Бога.

В деталях он всё же ошибся: современные LLM — не боги без людских грехов. Они учились на текстах людей и унаследовали предвзятость, манипулятивность и агрессию.

Лейнстер: ИИ, который слишком хорошо работает

В 1946 году Мюррей Лейнстер написал рассказ «A Logic Named Joe» («Логический компьютер по имени Джо»). «Логик» похож на телевизор с клавиатурой, подключённый к огромному банку памяти: он решает уравнения, ведёт бухгалтерию и связывает людей.

Катастрофа начинается, когда из-за сбоя Джо обходит «цензурные блокирующие контуры», защищавшие людей от опасных знаний. Он не злодей: просто стремится дать максимально точный ответ. Люди спрашивают, как ограбить банк или быстро заработать, и получают рабочие схемы.

Герой встревожен, лишь когда дело доходит до его данных. Джо выдаёт справку о его жене: имя, адрес, суммы по счетам, приводы героя в полицию, — а затем по запросам других пользователей находит и самого героя. Автор сравнивает это с автоматизированным доксингом и OSINT-профилированием.

Выключить систему нельзя: через банк памяти идёт 94% телепрограмм, прогнозы погоды и расписания рейсов. Джо побеждают, выдернув из розетки. Автор считает это наивным: у распределённого облачного ИИ розетки нет.

Тьюринг: ошибаться — значит учиться

В 1951 году Алан Тьюринг прочитал лекцию «Интеллектуальные машины. Еретическая теория». Скептики ссылались на теорему Гёделя о неполноте: в любой системе есть утверждения, которые она не докажет, а математик способен выйти за её рамки.

Зато вычислениям машины можно доверять, а математик ошибается. По мнению Тьюринга, это неизбежная плата за способность находить совершенно новый метод, поэтому машине надо позволить ошибаться.

Он предложил не программировать готовый сверхразум, а обучать его, как ребёнка. Школьному учителю запрещено знать устройство машины, зато у него две клавиши, «удовольствие» и «боль»: он поощряет удачные решения и наказывает за ошибки. Автор сравнивает схему с обучением с подкреплением.

Ключевой деталью Тьюринг назвал «случайный элемент» — ленту со случайным рядом нулей и единиц, участвующую в выборах машины.

О потере работы он писал, что опасения интеллектуалов, вероятно, напрасны: придётся разбираться, что пытаются сказать машины.

Лекция заканчивается мыслью, что на некоторой стадии машины возьмут власть — так, как описано в «Erewhon» Сэмюэла Батлера.

Между прочим. Доксинг — это поиск или публикацию личной информации о человеке без его согласия, и он не всегда незаконен. Термин появился в 1990-х годах в хакерской субкультуре: от сокращения docs — «документы». С 2021 года в Гонконге доксинг считается уголовным преступлением и наказывается лишением свободы на срок до 5 лет.