По мере развития организма у людей с ограниченными возможностями становится больше мозгов, обнаружили исследователи

Большие языковые модели (БЯМ), самой известной из которых является ChatGPT, за последние несколько лет все лучше справляются с обработкой и генерацией человеческого языка. Однако степень, в которой эти модели эмулируют нейронные процессы, поддерживающие обработку языка человеческим мозгом, еще не до конца выяснена.

Исследователи из Колумбийского университета и Файнштейновского института медицинских исследований Northwell Health недавно провели исследование, в котором изучили сходство между представлениями LLM и нейронными реакциями. Их результаты, опубликованные в журнале Nature Machine Intelligence, свидетельствуют о том, что по мере совершенствования LLM они не только лучше работают, но и становятся более похожими на мозг.

«Первоначальное вдохновение для написания этой статьи было вызвано недавним бурным развитием исследований в области LLM и нейро-Интерфейса», — сказал Гэвин Мишлер, первый автор статьи, в интервью Tech Xplore.

Несколько работ за последние несколько лет показали, что вкрапления слов из GPT-2 демонстрируют некоторое сходство с ответами на слова, записанные человеческим мозгом, но в быстро развивающейся области ИИ GPT-2 теперь считается старым и не очень мощным».

«С тех пор как был выпущен ChatGPT, появилось множество других мощных моделей, но не было проведено много исследований на тему того, демонстрируют ли эти новые, большие и лучшие модели то же самое сходство с мозгом».

Основная цель недавнего исследования Мишлера и его коллег заключалась в том, чтобы определить, проявляют ли новейшие модели LLM сходство с человеческим мозгом. Это может улучшить понимание как искусственного интеллекта (ИИ), так и мозга, особенно в плане того, как они анализируют и создают язык.

Исследователи изучили 12 различных моделей с открытым исходным кодом, разработанных за последние несколько лет, которые имеют практически идентичную архитектуру и схожее количество параметров. Параллельно они записывали нейронные реакции мозга нейрохирургических пациентов, когда те слушали речь, используя электроды, которые были имплантированы в их мозг в рамках лечения.

«Мы также передали текст той же речи в LLM и извлекли их вкрапления, которые, по сути, являются внутренними представлениями, которые различные слои LLM используют для кодирования и обработки текста», — объяснил Мишлер.

«Чтобы оценить сходство между этими моделями и мозгом, мы попытались предсказать записанные нейронные реакции на слова на основе вкраплений слов. Способность предсказывать реакции мозга по вкраплениям слов дает нам представление о том, насколько они похожи».

Собрав данные, исследователи использовали вычислительные инструменты, чтобы определить степень соответствия между LLM и мозгом. В частности, они посмотрели, какие слои каждого LLM показали наибольшее соответствие с областями мозга, участвующими в обработке языка, в которых нейронные реакции на речь, как известно, постепенно «строят» языковые представления, изучая акустические, фонетические и, в конечном счете, более абстрактные компоненты речи.

«Во-первых, мы обнаружили, что по мере того, как LLM становятся более мощными (например, по мере того, как они лучше отвечают на вопросы типа ChatGPT), их вкрапления становятся более похожими на нейронные реакции мозга на язык», — говорит Мишлер.

«Что еще более удивительно, по мере роста производительности LLM их соответствие иерархии мозга также увеличивается. Это означает, что количество и тип информации, извлекаемой из последовательных областей мозга в процессе обработки языка, лучше согласуется с информацией, извлекаемой последовательными слоями наиболее эффективных LLM, чем с низкоэффективными LLM».

Результаты, полученные группой исследователей, свидетельствуют о том, что наиболее эффективные LLM более точно отражают реакции мозга, связанные с обработкой языка. Более того, их лучшая производительность, по-видимому, объясняется большей эффективностью их ранних слоев.

«Эти результаты имеют различные последствия, одно из которых заключается в том, что современный подход к архитектуре и обучению LLM приводит эти модели к тем же принципам, которые использует человеческий мозг, невероятно специализирующийся на обработке языка», — говорит Мишлер.

«Происходит ли это потому, что существуют какие-то фундаментальные принципы, лежащие в основе наиболее эффективного способа понимания языка, или просто по случайности, но, похоже, что и естественные, и искусственные системы сходятся к схожему методу обработки языка».

Недавняя работа Мишлера и его коллег может проложить путь для дальнейших исследований, сравнивающих представления LLM и нейронные реакции, связанные с обработкой языка. В совокупности эти исследования могут послужить основой для разработки будущих LLM, гарантируя, что они будут лучше соответствовать психическим процессам человека.

«Я думаю, что мозг настолько интересен, что мы до сих пор не до конца понимаем, как он делает то, что делает, а его способность к обработке языка уникальна для человека», — добавил Мишлер. В то же время LLM в некотором роде все еще остаются «черным ящиком», несмотря на то, что способны на удивительные вещи, поэтому мы хотим попытаться использовать LLM для понимания мозга и наоборот».

«Теперь у нас есть новые гипотезы о важности ранних слоев в высокопроизводительных ЛЛМ, и, экстраполируя тенденцию, что лучшие ЛЛМ демонстрируют лучшее соответствие мозгу, возможно, эти результаты могут предоставить некоторые потенциальные способы сделать ЛЛМ более мощными, явно делая их более похожими на мозг».

© 2024 Science X Network