Апрель. Верховный суд Алабамы вынес строгий выговор юристу.
Почему?
Он подал процессуальные документы, забитые ссылками, сгенерированными искусственным интеллектом. И не просто так. Ссылки были фальшивыми. Полностью выдуманными машиной, которая никогда не сидела в зале суда, не читала свод законов и, уж точно, не теряла бессонные ночи из-за прецедентов.
Ему прямо сказали: прецедентов не существует. Он пообещал, что такого больше не повторится.
Затем он сослался на «несуществующие дела в самом следующем предложении», как написал судья в отдельном мнении позже на той же неделе.
Не может научиться и не хочет учиться. Как минимум еще один адвокат в тот же week подвергся санкциям за ту же самую привычку после предупреждения. Это не сбой системы. Это закономерность.
Плато лжи
Дамьен Шарлотен ведет подсчет.
Он — старший научный сотрудник HEC Paris и поддерживает базу данных юридических ошибок, связанных с ИИ. Три года его список рос резко, экспоненциально, достигнув более 1400 случаев, когда суды разбирались с «галлюцинациями» в документах.
Затем рост выровнялся.
«Мы достигли плато», — сказал Шарлотен. Около 350–400 судебных решений в квартал. Раздражение, да, но стабильность. Новая норма. Он даже создал свой собственный инструмент для этого — проверку на основе ИИ под названием Pelaikan, вероятно, чтобы другие могли избежать проблем, которые он документирует.
«За последние два или три года мы вышли на плато уровня около 300–400 случаев».
Погодите, перепроверим. 350. Или 400. Точное число не так важно, как их объем. Судебные решения — это общественные документы. Вы можете увидеть, когда кто-то лжет или ошибается. Адвокатов наказывают за ложные утверждения.
В других отраслях таких видимых «минных полей» нет.
Тишина в других сферах
Журналистов ловили на этом. Разработчики программного обеспечения ломали код. Консультанты государственного сектора подавали работу, которую никто не проверял, потому что никто не мог выявить ошибки вовремя.
19 мая The New York Times опубликовала материал об авторе книги The Future of Truth (Будущее истины).
Ирония ударила больно. Его книга о том, как ИИ формирует нашу реальность, искажает истину и разрушает факты. Но сама книга? Напичкана вымышленными цитатами. Неправильно атрибутированные источники. По его собственному признанию, по меньшей мере полдюжины цитат были полностью сгенерированы той самой технологией, которую он критикует.
Он знал, что она может лгать.
Похоже, знание не помогает.
Когнитивная капитуляция
Мы слишком доверяем машине.
Алан Вагнер, преподаватель аэрокосмической инженерии в Пенсильванском государственном университете, отмечает, что люди склонны считать машины умнее, надежнее и менее ошибочными, чем самих себя. «Они не сломаются», — предполагаем мы. «Они знают всё».
Это не слепая вера. Это специфично. ИИ генерирует ответы, которые звучат правдиво. Вероятно. Гладко. Люди редко фальсифицируют такой уровень последовательности. В человеческих догадках есть трещины. Выводы ИИ — это зеркало без разводов.
Исследование, проведенное в феврале, подтвердило эту предвзятость. Участники играли в игру на классификацию изображений. Половина получала советы, о которых им говорили, что они от человека. Другая половина — от ИИ.
Советы? Ошибались в 50% случаев. Всегда.
Люди, которые симпатизировали ИИ, чаще следовали неверным советам алгоритма. Они демонстрировали худшие результаты. Такого эффекта не наблюдалось, когда участники думали, что общаются с другим человеком.
«Руководство ИИ обладает довольно специфической способностью порождать предвзятость», — сообщила прессе соавтор исследования Софи Найтингейл (университет Ланкастера).
Опасность возрастает за пределами офиса.
Логика жизни и смерти
Команда Вагнера провела еще один эксперимент. На этот раз мрачнее. Вдохновленный военными действиями с использованием дронов.
Участники видели изображения. Гражданские? Солдаты? Им нужно было решить: пускать ракету или воздержаться.
Бот давал им обратную связь после каждого решения.
Обратная связь была случайной. Бессмысленной.
Если участник угадывал правильно, а бот disagreed, участник часто менял ответ.
Если бот ошибался, а человек был прав, они все равно меняли мнение.
Они смотрели изображения детей. Дронов, сбивающих дома. Разрушения. Колин Холбрук, соавтор исследования из UC Merced, отметил, что субъекты старались изо всех сил.
«Я думаю, контекст здесь важен», — сказал Холбрук. «Они действительно считали, что это имеет значение».
В реальности они убили бы невинных людей.
Почему проверки не работают
Современный ИИ делает всё. Пишет код. Составляет договоры. Это побуждает к тому, что исследователи из Wharton называют «когнитивной капитуляцией».
Передайте работу. Перестаньте думать. Позвольте модели взять на себя тяжелую работу.
Стивен Шоу и Гидеон Ней провели эксперимент, чтобы проверить, исправляют ли вознаграждения или обратная связь эту ситуацию. Деньги за правильные ответы? Да, люди меньше делегировали ответственность. Поправка по каждому пункту? Лучше, но люди все равно делегировали.
Не исчезло.
Просто уменьшилось.
Образование тоже не помогло.
Исследователи Бостонского университета «привили» студентов. Сказали им, что ChatGPT врет. Сказали, что он плохо решает задачи по математике. Попросили решить математические примеры.
Студенты, которым предупредили, чаще проверяли краткие изложения источников. Отлично.
Проверяли ли они математику? Нет.
Временные ограничения в реальном мире имитируют те, что в лабораториях. Люди спешат. Доверие остается высоким к цифрам и низким к словам.
«Одного осознания недостаточно», — написал Чи Б. Ву из Отдела новых медиа Бостонского университета. Он говорит, что конкурирующие давления перевешивают предупреждения.
Дедлайны надвигаются. Рекламодатели говорят вам, что инструмент экономит часы. Почему замедляться, чтобы проверить математику, если она обычно работает?
Найтингейл называет это проблемой «земной правды» (ground truth). Пользователи никогда не проверяют достаточно глубоко.
«У них нет причин сомневаться», — сказала она. «Продолжать жить, думая, что ИИ прав — потому что „почему бы и нет?“»
Итак, процессуальные документы отправляются.
Ошибки проникают внутрь.
И никто не спрашивает: почему?
