ШІ-моделі можуть відчувати, коли дослідники втручаються в їхню нейронну мережу

· Майбутнє

ШІ-моделі можуть відчувати, коли дослідники втручаються в їхню нейронну мережу

Сучасні моделі ШІ продемонстрували здатність помічати штучні маніпуляції зі своїми нейронними станами, що піднімає питання про наявність елементарної «саморефлексії» у машин.

Дослідники вивчають, чи здатні великі мовні моделі до «саморефлексії» — тобто чи можуть вони виявити стороннє втручання у власну нейронну мережу. Хоча результати експериментів виглядають вражаюче, наукова спільнота сперечається, чи є це справжнім усвідомленням внутрішніх процесів, чи лише наслідком навчання ШІ на текстах, де люди описують власні роздуми. Низка досліджень припускає, що деякі моделі можуть помічати зміни своєї нейронної активності.

У березні група дослідників опублікувала роботу, в якій протестувала моделі Qwen3-235B від Alibaba та Llama 3.1 405B від Meta. Експериментатори штучно підсилювали патерни, пов'язані з 821 концептом, і попереджали модель, що в її «розум» можуть впроваджувати сторонні думки. У таких випадках Qwen фіксувала втручання у 53,9% випадків, а Llama — у 31,7%. Коли змін не вносили, моделі не повідомляли про жодних втручань.

Чи це справжня рефлексія?

Проте автори дослідження зауважують: здатність помітити аномалію ще не означає розуміння того, що саме змінилося. Хоча моделі іноді правильно називали впроваджений концепт (до 13,9% для Qwen), їхні помилкові відповіді не мали жодного логічного зв'язку з втручанням. Наприклад, Qwen майже у 75% випадків помилкових спроб просто називала «яблуко». Більше того, якщо припинити підсилення концепту перед початком відповіді моделі, рівень успішних вгадувань різко падав, тоді як рівень виявлення аномалій залишався стабільним.

Це наштовхнуло вчених на думку, що здатність до виявлення втручання та спроба вгадати зміст концепту — це різні процеси. Філософ з Нью-Йоркського університету та Anthropic Гарві Ледерман, співавтор дослідження, назвав можливість ШІ помічати аномалії «приголомшливим фактом».

Інші дослідники налаштовані скептичніше. Зокрема, науковці з Нью-Йоркського університету провели експеримент, у якому замість маніпуляцій з нейромережами просто просили модель «стати одержимою» певним концептом. Виявилося, що моделі частіше повідомляли про «впроваджені думки» після такого запиту, ніж після справжньої ін’єкції активності в мережу. Коли дослідники додали третій варіант — повідомити, що було змінено сам промпт, — моделі не змогли надійно розрізнити справжню ін’єкцію та спонукання.

На думку одного з авторів цього експерименту Шаулі Равфогеля, якщо вважати такі результати саморефлексією, то сам цей термін ризикує втратити зміст, адже будь-яка дія моделі зрештою базується на її внутрішніх станах. Як зазначив інший фахівець, нейробіолог Стів Флемінг з Університетського коледжу Лондона, ці дослідження швидше вказують на те, що ми досі не маємо чіткої межі між процесом мислення та мисленням про власні думки. Наразі питання про те, що саме відбувається «всередині» сучасних нейромереж, залишається предметом дискусій.

За матеріалами Singularity Hub

Про Що? — новини науки, технологій і світу