Насколько надежен текстовый распознаватель на основе искусственного интеллекта от Pangram?

Компания Pangram была основана в 2023 году Максом Сперо и Брэдли Эми под первоначальным названием Checkfor.ai, которое было изменено через год. Стартап привлек около 13 миллионов долларов инвестиций.

Внимание к компании возросло, когда возникли подозрения, что роман Мии Баллард «Застенчивая девушка» использует искусственный интеллект. Несмотря на отрицание автора, Сперо заявил, что Pangram оценивает 78% рукописи как контент, сгенерированный ИИ. В итоге издательство Hachette отменило публикацию книги.

Статья в колонке «Современная любовь» The New York Times и лауреат премии Commonwealth Short Story Prize получили 100% от Pangram, в то время как роман «Кинжал» оценили в 60%.

В конце июля Substack объявил о внедрении Pangram, что даст возможность читателям протестировать содержание, генерируемое ИИ.

Достаточно ли одной цифры для вывода?

Популярность Pangram привела к критике. Джейн Фридман, писатель и издатель, говорит, что многие авторы боятся, что программное обеспечение для определения содержания на основе ИИ может быть вредным, если оно выдаёт неточные результаты.

Pangram утверждает, что их система обучена на сравнении текстов, написанных человеком, и контента, сгенерированного ИИ. Однако компания признаёт, что инструмент работает плохо с текстами менее 100 слов, и различные тесты могут давать разные результаты.

Исследование Университета Нотр-Дам показало, что Pangram 3.2 может ошибочно классифицировать слегка отредактированные тексты как созданные ИИ в 64-80% случаев. При обработке сгенерированного текста с помощью „гуманизации“ Pangram обнаруживает это менее чем в 4% случаев.

Проблема заключается не только в точности. Сэм Иллингворт, профессор Эдинбургского университета Нейпира, предупреждает, что инструменты на базе ИИ могут быть предвзятыми.

Некоторые исследования показывают, что авторы, для которых английский не является родным, рискуют быть ошибочно классифицированными чаще. Три крупных дела, связанные с романами «Shy Girl», «Daggermouth» и «Call Me, I’ll Hide the Body», касались авторов небелой расы, что усиливает опасения по поводу предвзятости.

Регина Брукс, президент Американской ассоциации литературных представителей, заявляет, что издательская индустрия должна осознавать риски, связанные с использованием таких инструментов.

Мы не можем полагаться исключительно на ИИ.

Pangram всё чаще используется в издательском деле, но его результаты не считаются единственным доказательством. Издательство Penguin Random House подтверждает, что редакторы могут использовать инструменты ИИ, но полученные результаты не являются решающими.

Тухин Чакрабарти, профессор информатики в Университете Стоуни-Брук, проанализировал 14,419 самиздатских романов с помощью Pangram и обнаружил, что в почти 20% значительная доля контента была сгенерирована ИИ. Однако он также отметил, что инструмент можно обмануть.

Макс Сперо заявил, что Pangram сейчас сосредотачивается на случаях, когда есть подозрения о скрытом использовании ИИ. Компания утверждает, что в их последней версии частота ложных срабатываний составляет 0,0041%, но признает, что некоторые тексты, сгенерированные ИИ, могут просочиться.