Почему ИИ — это всезнайка, ничего не знающий

Более 500 миллионов человек каждый месяц доверяют Gemini и ChatGPT, чтобы держать их в курсе всего: от макарон до секса или домашних заданий. Но если ИИ скажет вам приготовить макароны в бензине, вам, вероятно, не стоит следовать его советам по поводу контроля над рождаемостью или алгебры.

На Всемирном экономическом форуме в январе генеральный директор OpenAI Сэм Альтман многозначительно заверил: «Я не могу заглянуть в ваш мозг, чтобы понять, почему вы думаете то, что думаете. Но я могу попросить вас объяснить ваши доводы и решить, звучит ли это для меня разумно или нет. … Я думаю, что наши системы искусственного интеллекта смогут делать то же самое. Они смогут объяснить нам шаги от А к Б, и мы сможем решить, считаем ли мы это правильными шагами».

Знание требует обоснования

Неудивительно, что Альтман хочет, чтобы мы поверили, что большие языковые модели (LLM), такие как ChatGPT, могут давать прозрачные объяснения всему, что они говорят: без веского обоснования ничто, во что люди верят или подозревают, что это правда, никогда не является знанием. Почему нет? Что ж, подумайте о том, когда вам будет удобно сказать, что вы точно что-то знаете. Скорее всего, это когда вы чувствуете абсолютную уверенность в своей вере, потому что она хорошо подкреплена — доказательствами, аргументами или показаниями авторитетных источников.

LLM должны быть доверенными органами; надежные поставщики информации. Но пока они не смогут объяснить свои доводы, мы не сможем знать, соответствуют ли их утверждения нашим стандартам обоснования. Например, предположим, вы говорите мне, что сегодняшняя дымка в Теннесси вызвана лесными пожарами на западе Канады. Я могу поверить вам на слово. Но предположим, вчера вы на полном серьезе поклялись мне, что змеиные бои — рутинная часть защиты диссертации. Тогда я знаю, что ты не совсем надежен. Поэтому я могу спросить, почему вы думаете, что смог вызван лесными пожарами в Канаде. Чтобы мое мнение было оправданным, важно, чтобы я знал, что ваш отчет достоверен.

Проблема в том, что сегодняшние системы искусственного интеллекта не могут заслужить наше доверие, поделившись обоснованием того, что они говорят, потому что таких рассуждений не существует. LLM даже удаленно не проектируются к причина. Вместо этого модели обучаются на большом объеме написанного человеком текста, чтобы обнаруживать, а затем предсказывать или расширять сложные языковые закономерности. Когда пользователь вводит текстовую подсказку, ответом является просто проекция алгоритма того, как, скорее всего, шаблон будет продолжаться. Эти результаты (все чаще) убедительно имитируют то, что мог бы сказать знающий человек. Но лежащий в основе процесс не имеет никакого отношения к тому, оправдан ли результат, не говоря уже о том, правдив ли он. Как выразились Хикс, Хамфрис и Слейтер в статье «ChatGPT — это ерунда», LLM «предназначены для создания текста, который выглядит правдоподобным, без какой-либо реальной заботы об истине».

Итак, если контент, созданный ИИ, не является искусственным эквивалентом человеческих знаний, то что это? Хикс, Хамфрис и Слейтер правы, называя это чушью. Тем не менее, многое из того, что говорят LLM, правда. Когда эти «ерундующие» машины выдают фактически точные результаты, они производят то, что философы называют Кейсы Gettier (по мотивам философа Эдмунда Геттье). Эти случаи интересны тем, что в них странным образом сочетаются истинные убеждения с незнанием обоснованности этих убеждений.

Результаты искусственного интеллекта могут быть подобны миражу

Рассмотрим этот пример из сочинений индийского буддийского философа VIII века Дхармоттары: «Представьте, что мы ищем воду в жаркий день. Мы внезапно видим воду, или нам так кажется. На самом деле мы видим не воду, а мираж, но когда мы добираемся до места, нам везет и мы обнаруживаем воду тут же под камнем. Можем ли мы сказать, что обладали подлинными знаниями о воде?

Многие сходятся во мнении, что какими бы знаниями ни были, у путешественников в этом примере их нет. Вместо этого им повезло найти воду именно там, где у них не было веских оснований полагать, что они ее найдут.

Дело в том, что всякий раз, когда мы думаем, что знаем что-то, что узнали от магистратуры, мы ставим себя в то же положение, что и путешественники Дхармоттары. Если LLM обучался на качественном наборе данных, то вполне вероятно, что его утверждения будут верными. Эти утверждения можно сравнить с миражом. И доказательства и аргументы, которые могли бы оправдать его утверждения, также, вероятно, существуют где-то в его наборе данных — точно так же, как вода, бьющая под скалой, оказалась реальной. Но оправдательные доказательства и аргументы, которые, вероятно, существовали, не сыграли никакой роли в результатах LLM — точно так же, как существование воды не сыграло никакой роли в создании иллюзии, которая поддерживала веру путешественников, что они найдут ее там.

Таким образом, заверения Альтмана глубоко вводят в заблуждение. Если вы попросите LLM обосновать свои результаты, что он сделает? Это не даст вам настоящего оправдания. Это даст вам обоснование Gettier: образец естественного языка, который убедительно имитирует обоснование. Химера оправдания. Как сказали бы Хикс и другие, это чушь. Что, как мы все знаем, не имеет никакого оправдания.

Прямо сейчас системы искусственного интеллекта регулярно ошибаются или «галлюцинируют» таким образом, что маска спадает. Но когда иллюзия оправдания станет более убедительной, произойдет одно из двух.

Для тех, кто понимает, что настоящий контент ИИ — это один большой случай Gettier, заведомо ложное заявление LLM о том, что он объясняет свои собственные рассуждения, подорвет доверие к нему. Мы будем знать, что ИИ намеренно разрабатывается и обучается для систематического обмана.

А те из нас, кто не знает, что ИИ выдает оправдания Gettier — фальшивые оправдания? Ну, нас просто обманут. В той степени, в которой мы полагаемся на LLM, мы будем жить в своего рода квазиматрице, не имея возможности отличить факты от вымысла и не осознавая, что нам следует беспокоиться о том, что может быть разница.

Каждый вывод должен быть обоснован

Взвешивая значимость этого затруднительного положения, важно помнить, что нет ничего плохого в том, что LLM работают так, как они работают. Это невероятные, мощные инструменты. И люди, которые понимают, что системы ИИ выдают кейсы Gettier вместо (искусственных) знаний, уже используют LLM таким образом, чтобы это учитывать. Программисты используют LLM для написания кода, а затем используют свой собственный опыт кодирования, чтобы изменить его в соответствии со своими стандартами и целями. Профессора используют LLM для составления инструкций по написанию статей, а затем редактируют их в соответствии со своими педагогическими целями. Любой спичрайтер, достойный этого имени во время этого избирательного цикла, будет тщательно проверять любой проект, составляемый ИИ, прежде чем позволить своему кандидату выйти с ним на сцену. И так далее.

Но большинство людей обращаются к ИИ именно там, где нам не хватает опыта. Подумайте о подростках, изучающих алгебру… или профилактику. Или пожилые люди, которым нужен совет по диете или инвестициям. Если LLM собираются обеспечить доступ общественности к такого рода важной информации, то нам, по крайней мере, нужно знать, можем ли мы им доверять и когда это возможно. А доверие потребует знания того, чего не могут нам сказать специалисты LLM: оправдан ли и каким образом каждый результат.

К счастью, вы, наверное, знаете, что оливковое масло подходит для приготовления спагетти гораздо лучше, чем бензин. Но какие опасные рецепты реальности вы проглотили целиком, так и не попробовав оправдания?

Хантер Каллай — аспирант философии Университета Теннесси.

Кристина Герман, доктор философии, доцент кафедры философии Университета Теннесси.