Последнее исследование Apple доказывает, что ИИ не может решать даже базовые математические задачи в начальной школе.

Несколько исследователей Apple подтвердили то, что ранее считалось справедливым в отношении ИИ: в его рассуждениях имеются серьёзные логические ошибки, особенно когда дело касается базовой математики в начальной школе.

Согласно недавно опубликованная статья По мнению шести исследователей Apple, «GSM-Symbolic: понимание ограничений математического рассуждения в моделях большого языка», математическое «рассуждение», которое предположительно используют продвинутые модели большого языка (LLM), может быть чрезвычайно неточным и хрупким, когда эти методы изменяются.

Исследователи начали со стандартизированного набора GSM8K из 8000 задач по математике на уровне начальной школы, который является общим эталоном для тестирования LLM. Затем немного изменили формулировку, не меняя логику задачи, и назвали ее GSM-символическим тестом.

В первом наборе производительность упала на 0,3–9,2 процента. Напротив, во втором наборе (который добавил отвлекающий маневр, не имевший никакого отношения к ответу) наблюдалось «катастрофическое падение производительности» с 17,5 процента до огромного 65,7 процента.

Что это значит для ИИ?

Не нужно быть ученым, чтобы понять, насколько тревожны эти цифры, поскольку они ясно показывают, что LLM не решают проблемы должным образом, а вместо этого используют простое «сопоставление с образцом» для «преобразования операторов в операции без полного понимания их смысла». И если вы немного измените информацию, найденную в этих задачах, это серьезно помешает способности LLM распознавать эти закономерности.

Основная движущая сила этих нынешних LLM заключается в том, что они фактически выполняют операции, аналогичные тем, которые выполняет человек, но исследования, подобные этому, и другой те доказать обратное — существуют критические ограничения в их функционировании. Предполагается, что он использует рассуждения высокого уровня, но за ним не стоит никакой модели логики или мира, что серьезно подрывает его реальный потенциал.

А когда ИИ не может выполнять простые математические действия, потому что слова по сути слишком запутаны и не следуют одной и той же схеме, какой в ​​этом смысл? Разве компьютеры не созданы для выполнения математических вычислений со скоростью, с которой люди обычно не справляются? На этом этапе вы можете закрыть чат-бота с искусственным интеллектом и вместо этого достать калькулятор.

Весьма разочаровывает то, что все эти нынешние LLM, обнаруженные в последних чат-ботах с искусственным интеллектом, работают по одной и той же ошибочной программе. Они полностью полагаются на огромное количество данных, которые они собирают, а затем обрабатывают, чтобы создать иллюзию логических рассуждений, но при этом никогда не приближаются к следующему истинному шагу в возможностях ИИ — манипулированию символами посредством использования абстрактных знаний, используемых в алгебре. и компьютерное программирование.

А до тех пор, что мы на самом деле делаем с ИИ? Какова цель его катастрофического истощения природных ресурсов, если он не способен даже на то, что ему внушают все корпорации, продвигающие свою собственную версию? Имея так много документов, особенно этой, подтверждающих эту горькую правду, все усилия кажутся пустой тратой времени.

Вам также может понравиться

• Почему ИИ не заменит человеческий интеллект в сфере кибербезопасности
• Исследование показывает, что почти никто из нас не использует инструменты искусственного интеллекта, такие как ChatGPT – и вот почему
• ChatGPT o1-preview может решать загадки быстрее меня, и я его за это ненавижу