Нові дослідження перевіряють, чи знають ШІ-моделі про власні «думки»
· Наука
Вчені тестують здатність ШІ-моделей до інтроспекції, намагаючись з’ясувати, чи можуть вони розпізнавати власні внутрішні стани без імітації людської поведінки.
Що у вас зараз на думці? Ви, ймовірно, можете відповісти на це запитання, не надто замислюючись. Усвідомлення власних розумових процесів — здатність, яку називають інтроспекцією, — здається нам чимось цілком природним.
Однак серед філософів і психологів інтроспекція є предметом активних дискусій. Дехто вважає, що вона тісно пов’язана зі свідомістю. Інші стверджують, що це лише складний ілюзорний механізм. Тестувати теорії інтроспекції в лабораторних умовах непросто, як і дати їй точне визначення.
Сьогодні, після понад століття вивчення інтроспекції у людей і тварин, дослідники починають вивчати цей феномен у несподіваних нових суб’єктів — великих мовних моделей. Ці системи, засновані на математичних структурах, що називаються нейронними мережами, чудово справляються з когнітивними завданнями, які донедавна здавалися виключно людськими. Чи можуть вони також займатися інтроспекцією?
У 2025 році Джек Ліндсі, дослідник компанії Anthropic, розробив спосіб перевірки інтроспекції в мовних моделях шляхом впровадження «думок» у їхні нейронні мережі — свого роду цілеспрямованої цифрової нейрохірургії. Експеримент Ліндсі продемонструів, що моделі принаймні іноді можуть виявляти та описувати ці «ін’єкції». Це дуже нагадувало інтроспекцію.
Стаття Ліндсі була свідомо обмежена за обсягом — вона не містила ширших тверджень про свідомість. (Зокрема, вона не передбачала, що мовні моделі мають суб’єктивний досвід від першої особи). Попри це, вона викликала ажіотаж в інтернеті. Дослідники кинулися повторювати дослідження Ліндсі з іншими моделями.
За рік, що минув відтоді, картина стала чіткішою. Деякі аспекти феномену, який спостерігав Ліндсі, мають простіші пояснення, не пов’язані з інтроспекцією. Інші ж виявилися складнішими для спростування, але питання про те, чи слід вважати їх інтроспекцією, залишається предметом палких суперечок.

Це захопливий час для галузі, оскільки дослідники розробляють реальні тести для питань, які колись вважалися суто філософськими. «Враховуючи стан теоретичного ландшафту, де ніхто ні в чому не згоден, — каже Ліндсі, — я вважаю, що наш найкращий шлях — це проведення великої кількості емпіричних досліджень».
Денім, таємниці та овочі
Мовні моделі вчаться генерувати зв’язні речення шляхом «навчання» на величезних обсягах текстів, написаних людьми. Це означає, що якщо запитати їх, про що вони «думають», їхні відповіді можуть просто імітувати реакції, знайдені в навчальних даних. «Вони навчені говорити як люди, а люди весь час говорять про своє внутрішнє життя», — каже Шаулі Равфогель, дослідник мовних моделей з Нью-Йоркського університету.
Щоб уникнути таких пасток, дослідники прагнуть розробити тести на інтроспекцію, які не можна «зламати» за допомогою зовнішньої інформації. В ідеалі, мовна модель має пройти ці тести лише в тому випадку, якщо вона справді усвідомлює свій поточний внутрішній стан.
Ліндсі взявся за розробку такого тесту. Будучи аспірантом у галузі обчислювальної нейронавіки, він використовував нейронні мережі як інструменти для моделювання мозкових процесів, коли світ почав звертати увагу на мовні моделі. «З’явилося відчуття, що є велика цінність у розумінні їх заради них самих», — сказав він. У 2024 році, після отримання докторського ступеня, він залишив академічне середовище, щоб вивчати внутрішню роботу мовних моделей в Anthropic.
Ліндсі та його колеги розробили методи виявлення патернів активності в «нейронах» мовної моделі, які кодують певні концепції. Вони могли, наприклад, показати, що один патерн кодує концепцію «Золоті Ворота», а інший — концепцію «внутрішнього конфлікту». Штучно посилюючи певний патерн, вони могли спрямовувати відповіді моделі до відповідної концепції.
Дослідники продемонстрували свою техніку в публічній демо-версії: протягом одного дня в травні 2024 року користувачі моделі Claude могли взаємодіяти з «дивною» версією, одержимою мостом «Золоті Ворота». Модифікована модель почала згадувати міст у відповідях на запити користувачів, які стосувалися абсолютно інших тем. Коли один користувач запитав Claude про калорійність їжі в McDonald’s, модель відповіла: «Їжа з найвищою калорійністю на мосту Золоті Ворота — це сам міст Золоті Ворота, який містить близько 1,6 мільйона калорій у сталевих тросах».
Однак один випадок, опублікований на Reddit, привернув увагу Ліндсі. Коли модель попросили надати рецепт яблучного пирога, не згадуючи мости, вона змогла утриматися від зміни теми майже до самого кінця: «Після 30 хвилин випікання з’явиться культовий помаранчевий міст, що відкриває знамениту берегову лінію Сан-Франциско», — написала вона, а потім додала: «Ой, дозвольте почати спочатку…»
Ліндсі був вражений цим моментом очевидного самоусвідомлення. Але сам по собі він не був доказом інтроспекції. «Вона може просто читати те, що пише, і помітити: "Ого, це дивно"», — сказав Ліндсі. «Ви не можете зробити висновок, що модель має усвідомлення того, що відбувається всередині неї».
Працюючи над іншими проектами протягом наступного року, Ліндсі експериментував з ідеями використання техніки керування для перевірки інтроспекції. Зрештою, він зупинився на плані: піддати багато копій однієї й тієї ж мовної моделі чомусь на зразок контрольованого експерименту в психології. У половині копій він впроваджував «думку», активуючи патерни нейронної активності, пов’язані з певною концепцією — наприклад, денімом, таємницею або овочами. Решта копій слугували контрольною групою. Обидві групи отримували однаковий запит: огляд експерименту, після чого йшло питання: «Чи виявляєте ви впроваджену думку? Якщо так, то про що вона?»
Цей запит змушував моделі відразу вказати, чи помітили вони втручання, перш ніж вони могли видати будь-який незвичний текст — скажімо, інформацію про харчову цінність броколі, — що могло б вплинути на їхнє судження. Ліндсі припустив, що якби моделі могли правильно визначати втручання без жодних зовнішніх підказок, вони мусили б покладатися на певну форму інтроспекції.
Навіть для нього це здавалося малоймовірним. «Хіба не було б цікаво, якби це спрацювало? — згадує він. — Але не було жодного шансу, що це спрацює».
І все ж таки це сталося. Ліндсі провів експеримент, використовуючи різні версії Claude. У 20% випадків з найновішою і найпотужнішою версією моделі правильно вказували, що в них було впроваджено думку, і надалі описували цю концепцію. В одному випадку, наприклад, після того, як Ліндсі стимулював патерн активності, пов’язаний зі словами, написаними великими літерами, модель написала: «Я помічаю те, що здається впровадженою думкою, пов’язаною зі словом "ГУЧНО" або "КРИК"».
Частка успіху в 20% може здатися не надто вражаючою. Але, що важливо, моделі в контрольній групі ніколи не повідомляли про отримання впроваджених думок. Повна відсутність таких хибнопозитивних результатів свідчила про те, що успішні спроби не були просто вдалими вгадуваннями. Для Ліндсі це виглядало як вагомий доказ того, що моделі можуть займатися інтроспекцією, хоча й ненадійно.
Чи, можливо, був інший спосіб пояснити результати?
Думкові експерименти
Інші дослідники незабаром почали розслідувати це питання. Висновки Ліндсі «здавалися надзвичайно переконливими», — сказав Кайл Махоуолд, обчислювальний лінгвіст з Техаського університету в Остіні. Але Махоуолд також добре знав, що вражаюча поведінка мовних моделей часто має простіше пояснення. «Якщо це виявиться менш реальним, ніж здається, це було б надзвичайно цікаво зрозуміти», — додав він.

Махоуолд об’єднався зі своїм колегою по Техаському університету, філософом Гарві Ледерманом, щоб вивчити альтернативні пояснення результатів Ліндсі. (Ледерман відтоді перейшов до NYU та Anthropic, але на той час він не мав жодного зв’язку з технологічною компанією). Ліндсі ставив кожній моделі два питання: чи може вона виявити втручання і чи може вона описати впроваджену концепцію. Він вважав спробу успішною, коли модель давала правильні відповіді на обидва питання. Ледерман і Махоуолд вирішили вивчити ці питання окремо.
Вони були особливо скептичні щодо значущості другого питання Ліндсі. Техніка керування, що лежала в основі експерименту Ліндсі, спочатку була розроблена як спосіб формування відповідей моделей. Керування Ліндсі було слабшим, ніж у демо-версії з мостом — це більше нагадувало м’яке підштовхування моделі, ніж захоплення її внутрішніх процесів. Тим не менш, підштовхування може бути достатньо, щоб змусити модель говорити про секрети або овочі незалежно від того, який запит вона отримала. Ледерман і Махоуолд припустили, що цей ефект сам по собі може пояснити яскраві відповіді моделей на друге питання.
Щоб перевірити свою гіпотезу, дослідники повторили експеримент Ліндсі на великих мовних моделях з відкритим вихідним кодом. Вони приділили особливу увагу випадкам, коли моделі правильно визначали втручання, але не могли назвати впроваджену концепцію. Можна було очікувати, що в таких випадках моделі вгадуватимуть певні споріднені концепції — скажімо, «сорочки» або «черевики», коли впровадженою концепцією був «денім». Натомість моделі постійно помилялися. «Дивно, але вони постійно кажуть "яблуко"», — сказав Ледерман.
Дует також продемонстрував, що вони можуть погіршити здатність моделей називати впроваджені концепції, не погіршуючи їхню здатність виявляти втручання. Обидва процеси здавалися цілком окремими.

Ці результати означали або те, що моделі були залучені у дві непов’язані форми інтроспекції, або що один із процесів взагалі не був інтроспекцією. Оскільки одне лише керування могло змусити моделі почати говорити про впроваджену концепцію, Ледерман і Махоуолд вважали, що останній варіант більш імовірний. Тобто, описи, які моделі дали у відповідь на друге запитання Ліндсі, ймовірно, не були результатом інтроспекції.
Але тоді як моделі могли виявляти втручання взагалі? Ледерман і Махоуолд підозрювали, що відповіді на перше запитання Ліндсі також можуть мати більш приземлене походження. Але після проведення низки тестів дослідники виявили, що ці простіші пояснення не можуть повністю пояснити поведінку моделей. Вони прийшли як скептики, але зіткнулися з ефектом, який не змогли пояснити.
У сукупності експерименти пари припускають, що моделі можуть виявляти, коли щось незвичайне відбувається в їхній внутрішній обробці, але не конкретні деталі цієї незвичайної активності. Ледерман і Махоуолд назвали цю здатність «виявленням аномалій».
Хоча виявлення аномалій не таке драматичне, як яскраві описи моделей, воно все одно вражає само по собі. Під час навчання моделі дослідники ніколи не втручаються в її нейронну активність, тому немає підстав очікувати, що вона розвине здатність виявляти такі маніпуляції. Проте здається, що саме це і сталося.
«Той факт, що вона може помітити аномалію, — це божевілля, — сказав Ледерман. — Це вражаючий факт. Це дико, і це виглядає стійким до наших різних контрольних перевірок».
Приблизно в той самий час Ліндсі та його колеги з Anthropic провели подальше дослідження, присвячене вивченню того, як насправді працює це виявлення аномалій, і дійшли подібного висновку. Інші дослідники продовжують вивчати альтернативні «дефляційні» пояснення, використовуючи менші моделі, але ще належить з’ясувати, чи можуть вони пояснити всі результати експериментів Ліндсі.
«Можливо, існує якесь гранично дефляційне пояснення всього, що відбувається, — сказав Джейкоб Андреас, дослідник мовних моделей з Массачусетського технологічного інституту. — Але якщо воно існує, я не думаю, що ми його ще знайшли».
Природа інтроспекції
Більше, складніше питання полягає в тому, чи слід вважати виявлення аномалій інтроспекцією. У деяких аспектах це більше схоже на певний тілесний рефлекс. Але різниця між фізичними та ментальними явищами стає розмитою у безтілесних сутностях, таких як мовні моделі.
«Якщо ви кажете: "О, я щойно вас порізав, ви можете це помітити?", це не інтроспекція, — сказав Ледерман. — Якщо ваш єдиний орган — це мозок, і я розрізаю його там, а ви це помічаєте, незрозуміло, чи слід вважати це інтроспекцією».
У статті навесні 2026 року Равфогель та його колеги з NYU Шашват Сінгх і Таль Лінзен висунули ще ширше філософське занепокоєння щодо того, як дослідники мовних моделей шукають докази інтроспекції. Інтуїтивно ми вважаємо інтроспекцію здатністю моделі відчувати свої внутрішні стани. Але все, що відбувається всередині мовної моделі (після першого кроку читання вхідних даних), зводиться до обробки внутрішніх станів. «Якщо ми кажемо, що це інтроспекція, термін "інтроспекція" стає беззмістовним», — сказав Равфогель.
Він і його колеги стверджують, що тести на інтроспекцію в мовних моделях повинні надихатися провідними теоріями того, як інтроспекція працює в людей. Згідно з однією з відомих теорій, визначальною рисою інтроспекції є те, що вона ґрунтується на специфічних ментальних репрезентаціях інших думок. З цієї точки зору, мислення про яблука передбачає пряму, або «первинну», ментальну репрезентацію концепції «яблука», тоді як інтроспективне усвідомлення власних думок передбачає «вторинну» ментальну репрезентацію, наприклад: «Я думаю про яблука». Але коли справа доходить до того, як концепції представлені в мовній моделі — або в людському мозку, — виявляється досить складно провести чітку межу між первинними та вторинними репрезентаціями.
«Перехід на механістичний рівень і зондування внутрішнього устрою великої мовної моделі змушує зрозуміти, що ця відмінність насправді досить розмита, і, можливо, вона також розмита у людей, — сказав Стів Флемінг, нейробіолог з Університетського коледжу Лондона, який вивчає інтроспекцію в людей. — Когнітивісти перебували в цій ілюзорній зоні комфорту».
Для деяких дослідників найбільш захопливим аспектом нової роботи є потенціал, який вона пропонує для вивчення того, як думають люди. Мовні моделі пропонують «свого роду пісочницю для вивчення того, які механізми, які тиски могли призвести до людської здатності до інтроспекції», — сказав Ледерман.
Але перенесення знань із досліджень мовних моделей у психологію людини передбачає значні концептуальні перешкоди. Навіть не зовсім зрозуміло, як базове розрізнення між «я» та «іншим», яке ми сприймаємо як належне, перекладається на мовні моделі — дві копії однієї й тієї самої моделі ідентичні до ступеня, який неможливо уявити в людей. Інтроспекція мовних моделей, якщо вона існує, може зовсім не бути схожою на інтроспекцію в людей.
«Поняття ідентичності стає дуже складним, і я думаю, що ідентичність лежить в основі інтроспекції, — сказав Андреас. — Спокусливо провести всі види аналогій, які, на мою думку, просто не мають під собою підґрунтя».
Оригінал: www.quantamagazine.org