Юваль Ной Харарі: ШІ може перебрати контроль за 10 років, але це не неминуче

· Майбутнє

Юваль Ной Харарі: ШІ може перебрати контроль за 10 років, але це не неминуче

Харарі зустрівся із Занні Мінтон Беддос, головним редактором The Economist, щоб обговорити, чому він вважає, що штучний інтелект почне контролювати цивілізацію, і що може означати бути людиною в цьому світі.

Вступ

Беддоуз: Ювале Ной Харарі, вітаю вас у The Insider.

Харарі: Дякую. Радий бути тут.

Беддоуз: Я... Я так чекала цієї розмови. Ем, ви не лише один із найвизначніших публічних інтелектуалів світу, ваші книжки продалися мільйонами примірників, і, як мені здається, сталося це тому, що ви маєте справді вражаючу здатність синтезувати широкий хід історії, але також ви — ви готові робити сміливі прогнози про майбутнє, на що не кожен історик наважується, і саме на цьому я хотіла б зосередитися сьогодні: на майбутньому.

Харарі: Гаразд.

Беддоуз: Особливо на майбутньому в світі ШІ. Ви багато про це писали, і ви назвали ШІ — і я процитую — «найбільшим, цитую, психологічним і соціальним експериментом в історії людства». Ем, і я хочу дослідити, як виглядатиме цей експеримент, що він означатиме для наших суспільств, нашої політики, і, власне, для нашої людяності. І почати я хотіла б з іншої розмови, яку я мала лише кілька тижнів тому, і не знаю, чи ви її бачили, але з Ілоном Маском.

Чи неминуче захоплення влади штучним інтелектом?

Харарі: Так, я дивився, так.

Беддоуз: Це була доволі цікава розмова, але, ем, на початку я запитала його, яким буде світ через 10 років, і він висловив, як на мене, дуже-дуже вражаючі думки. По-перше, він сказав, що, на його думку, ШІ вже значно перевершить людський інтелект.

Харарі: Так.

Беддоуз: По-друге, що це буде світ надлишку, і по-третє, що навряд чи люди будуть контролювати ситуацію. Ви поділяєте це бачення?

Харарі: Я загалом згоден із першою і третьою, ем, прогнозами, що за нинішніх тенденцій дуже ймовірно, що ШІ через 10 років буде розумнішим за нас і, отже, контролюватиме ситуацію. Я не згоден, що це неминуче. Тобто ви багато чуєте, що це неминуче, від людей, які очолюють цю революцію, бо це, по суті, знімає з них усю відповідальність.

Беддоуз: То ви не погоджуєтеся, що неминучим є те, що вони будуть розумнішими за нас, чи що неминучим є те, що вони будуть контролювати?

Харарі: Якщо ми продовжимо нинішній прискорений темп гонки ШІ, так, результат буде саме таким. Через 10 років ШІ візьме гору. Але це не неминуче. У 2026 році ми все ще контролюємо ситуацію, і від нашого рішення залежить, що робити зараз, а це вирішально.

І що мене справді вразило в розмові, яку ви мали з Ілоном Маском, — це своєрідна суперечність між — і ви вказали на неї в реальному часі — суперечність між двома частинами розмови, бо він каже: «Через 10 років ШІ захопить світ», а потім так сильно хвилюється через мусульманську імміграцію, яка, за його словами, спричинить громадянську війну у Британії через 20 років. Це не має сенсу. Якщо ШІ захоплять планету через 10 років, то чому вас так хвилюють речі, які матимуть вплив тоді, коли ми й гадки не матимемо, якою буде планета? Так само він зробив ще один прогноз, і, як на мене, не менш важливий, що гроші зникнуть через 10 років. Не буде грошей, не буде людських грошей через 10 років, і, на мою думку, він має рацію, бо ШІ візьме під контроль фінансову систему. Це буде фінансова система ШІ, яка керуватиме світом. Так само, як сьогодні, ну, ви знаєте, людська фінансова система керує життям корів і курей, але корови й кури навіть не уявляють, що фінанси взагалі існують.

Ймовірно, саме в такому становищі ми будемо через 10 років. І він сказав це досить чітко: через 10 років не буде грошей, принаймні таких грошей, які ми розуміємо. А потім він скорочує USAID для Африки, бо хоче заощадити гроші. І, знову ж таки, він каже, що, ем, рішенням для масового безробіття, бо ШІ забере робочі місця, буде просто видавати всім чеки від уряду. А коли ви заперечили й сказали: «А як щодо інфляції?», він каже, що інфляції не буде. Буде дефляція, бо ШІ вироблятиме набагато більше товарів і послуг. Якщо це так, навіщо вам сьогодні заощаджувати гроші?

Беддоуз: Тож я рада, що ви, як і я, були спантеличені деякими з цих суперечностей, але давайте зосередимося на цьому питанні про ШІ та на тому, чи будуть вони контролювати ситуацію і як саме, бо це було темою багатьох ваших робіт, і мене це справді захоплює, бо ви щойно сказали, що погоджуєтеся з ним у тому, що ШІ контролюватиме нашу фінансову систему.

Харарі: Якщо ми продовжимо нинішній.

Беддоуз: Якщо ми продовжимо, але давайте просто дослідимо, як це може статися, адже фінансова система ґрунтується на довірі. Гроші, як ви самі писали.

Харарі: Гроші — це довіра.

Беддоуз: Гроші — це довіра. Тепер поясніть мені, як ШІ бере під контроль щось, ми втрачаємо контроль, і при цьому все одно довіряємо цьому, а саме це, мабуть, і доведеться робити, щоб це була фінансова система.

Харарі: Тобто фінансова історія світу — це історія того, як люди винаходять дедалі складніші фінансові інструменти, щоб будувати довіру між собою. Гроші, по суті, — це дуже креативний, уявний спосіб будувати довіру між незнайомцями. Я йду на ринок, зустрічаю незнайомку, якої ніколи в житті не бачив, даю їй шматок безвартісного золота, бо золото не можна ні їсти, ні носити, воно нічого не варте, або клаптик паперу, а вона довіряє йому, і завдяки цьому дає мені хліб. Тепер фінансові, ем, винаходи людства ставали дедалі складнішими, тож сьогодні дуже мало людей розуміють фінансову систему. Щоб зрозуміти ринок облігацій, потрібно опрацьовувати величезні обсяги даних і дуже складні математичні функції.

Тепер наш мозок із цим насилу справляється. Для ШІ це легко. Тож дедалі частіше люди передаватимуть ШІ контроль над фінансовими рішеннями. ШІ створюватиме нові фінансові інструменти, набагато складніші за облігації та акції, і ми вже не зможемо їх зрозуміти — так само, як корови не розуміють чеки чи акції, хоча ці речі й контролюють їхнє життя.

Беддоуз: Але ключовий момент, я думаю, ви тут сказали, полягає в тому, що люди передадуть ШІ контроль.

Харарі: Так.

Беддоуз: Люди вирішать це зробити. І, як ви кажете, уже багато людей не розуміють, як працює фінансова система. Тож чи буде це чимось аж настільки відмінним від нинішньої фінансової системи? І чи будуть ШІ, як ви кажете, керувати, чи ми — ми довірятимемо здатному ринковому механізму? Чи означатиме це, що ми втратили контроль?

Харарі: Сьогодні в нас усе ще є деякі люди, які, сподіваюся, розуміють, що відбувається у фінансовій системі. І людський мозок усе ще є своєрідною межею того, наскільки може розвиватися фінансова система. Але, е-е, за 10 років, коли ми довіримо ШІ фінансову систему, жодна людина на планеті не зможе — якщо, знаєте, стається фінансова криза, і радники біжать до президента чи прем'єр-міністра та кажуть, що ринок валиться, а ми не розуміємо чому. Ми знаємо, що мусимо щось зробити. ШІ сказав: «Зробіть X». Ми не маємо жодного уявлення, чому ШІ сказав: «Зробіть X», але ми просто мусимо в це повірити, бо не розуміємо, що відбувається.

Беддоуз: Але хіба в такому разі не буде величезної втрати довіри до фінансової системи, чогось, що ви б мали, певною мірою, як у 2007 і 2008 роках, але в рази сильнішого, тобто втрати — і вся ця своєрідна надбудова фінансової системи розсиплеться?

Харарі: Ось це й є головне питання. Я маю на увазі, найважливіший актив у світі — це довіра. Вона важливіша за нафту, гроші, електроенергію, чипи чи будь-що інше. Довіра. І питання в тому, що станеться з довірою. Один з імовірних сценаріїв — що довіра переміститься від людей до ШІ. Люди перестануть довіряти іншим людям і натомість довірятимуть лише ШІ.

Чи можуть машини стати більш надійними, ніж люди?

Харарі: Ми вже бачимо, як це відбувається у фінансовій системі з криптовалютами. Не з усіма криптовалютами, але багато з них ґрунтуються на такому мисленні: я не вірю цим людським банкірам, вони частина «глибинної держави», еліти, ще чогось, але я довіряю алгоритмам, що керують криптовалютами, бо криптовалюти — це, по суті, гроші ШІ. Подібне відбувається і з медіа. Знову ж, я дивився інтерв'ю з Ілоном Маском, де багато говорили про те, як люди ненавидять медіа і журналістів. Люди, багато — і він має рацію — багато людей повністю втрачають довіру до людських журналістів, до людських редакторів, але вони все одно споживають новини. Звідки вони беруть свої новини? Від алгоритмів. Ті самі люди, які не довіряють вам, дуже довіряють алгоритму, що керує їхньою стрічкою в соцмережах. Тож довіра не просто випарувалася, вона перемістилася від людей до ШІ, і це відбувається просто зараз.

Це не прогноз на майбутнє.

Беддоуз: Думаю, це справді важливе спостереження, бо, на мою думку, воно свідчить, що якщо ми рухаємося шляхом, на якому ШІ зрештою візьмуть під контроль, то лише тому, що ми дозволяємо їм це зробити, бо ми, як ви кажете, можливо, вибудовуємо більшу довіру до ШІ. І, е-е, є різні способи, як це може статися, і один з них — я думаю, що вже багато людей, і що, кожен п'ятий молодий американець має особисті стосунки з ШІ.

Харарі: Так.

Беддоуз: Вони ставляться до них, вони наділяють їх людськими рисами, вони поводяться з ними, і моделі, ви ж розумієте, дуже відкриті до того, щоб так і сталося. Вони дуже хороші, знаєте.

Харарі: Їх для цього й створили.

Беддоуз: Як ви думаєте, це ймовірний шлях, яким ми підемо, на додачу до того, що ви вже окреслили, — що ми дедалі більше почнемо ставитися до цих ШІ як, якщо не до рівних собі, то як до істот, що відчувають?

Харарі про інтимні стосунки з штучним інтелектом

Харарі: Думаю, дедалі більше людей мають не просто друзів-ШІ, а й хлопців і дівчат-ШІ, і переконані, що це — чутливі, свідомі, здатні відчувати істоти. Тепер, довіру можна будувати багатьма способами. Ем, найпотужніший спосіб — через стосунки. Ми ні до кого у світі не маємо такої довіри, як до людей, із якими будуємо особисті стосунки. Але до сьогодні в історії цей потужний механізм був фактично недоступний для політичних, фінансових і релігійних інституцій, бо його важко масово виробляти. Гітлеру чи Сталіну важко побудувати справжні особисті стосунки з кожною людиною в Радянському Союзі. Можна виступати по радіо й змушувати всіх це слухати, але це не ті особисті стосунки, які в них є з матір'ю. ШІ вперше в історії робить можливим масове виробництво близькості.

Ви можете мати мільйони ШІ, що працюють як частина мережі на службі в когось або на власну службу, вибудовуючи особисті стосунки, по одній людині, стаючи їхнім найкращим другом, стаючи їхнім хлопцем, стаючи їхньою дівчиною, а потім використовуючи цю силу близькості, щоб переконувати їх у будь-яких політичних чи комерційних інтересах, яких вони прагнуть.

Беддоуз: Тож тоді виникає питання, і, мабуть, це стає набагато простіше, коли ШІ втілені в людиноподібних роботах.

Харарі: Це вже відбувається зараз і без тіла. Просто уявіть, якщо ви ще й додасте тіло до цього всього. Але знову ж, тіло нам насправді навіть не потрібне. Ми вже бачимо, як це відбувається просто зараз. Ем, а ШІ просто стають дедалі кращими у стосунках, бо накопичують величезні обсяги інформації про нас індивідуально. Тож вони знають про нас речі, які ми забули, або яких не знала навіть наша мати чи чоловік, і вони опановують мову, яка є головним засобом комунікації та побудови стосунків. Знаєте, буквально за останні два тижні в мене було кілька таких випадків. Зараз існують фейки зі мною, де я нібито читаю лекції та даю інтерв'ю на подібні теми.

Беддоуз: Вони такі самі хороші, як ви?

Харарі: Вони надзвичайно хороші. Я маю на увазі, кілька людей надіслали мені те саме відео, 30-хвилинну лекцію, яку я нібито прочитав про майбутнє, ем, і з наріканнями на кшталт: «Ви сказали це і ви сказали те», а я почухав потилицю. Я не пам'ятаю, щоб я таке казав. Тож вони надіслали мені відео, і я відкрив його, і мені знадобилася хвилина з половиною, хвилина з половиною, щоб дійти висновку: це не я. А мої сестри надіслали мені це відео. Мої сестри знають мене вже 50 років, і вони відчули, що щось не так, але не були певні. Вони сказали: «Це ти?». І мені знадобилося півтори хвилини. Тож, знаєте, тепер я в уразливому становищі, бо в інтернеті вже є так багато всього про мене. Тому ШІ дуже легко дізнатися, як звучить мій голос і про які ідеї говорю. Але незабаром це торкнеться всіх.

Беддоуз: Але ж це трохи різні речі? Тобто це дуже складний дипфейк, і, як ви кажете, в мережі є багато відео з вами. Але я думаю, окреме питання — чи розвиватимуться ШІ так, і, безумовно, якщо вони стануть втіленими певним чином, що або люди повірять, ніби вони є чутливими істотами, або — і, мені здається, це дедалі більше стає предметом дискусії, та власне це тема нашого головного матеріалу цього тижня — чи демонструють вони те, що можна було б вважати ознаками свідомості.

Чи мають сучасні моделі свідомість і чи слід надавати їм права?

Беддоуз: І в нас на обкладинці цього тижня — це серпень, час для великих тем. Чи можуть ШІ стати свідомими? Знаєте, ви багато про це думали, але мене це вражає, бо зараз легко сказати, що це машини, що вони добре імітують нас, що вони добре створюють емпатію, але їхні можливості розвиваються неймовірно стрімко. Зараз, здається, ви досить чітко вважаєте, що вони є агентами, але не є свідомими, так?

Харарі: Вони — несвідомі агенти. Тобто, є кілька речей, які треба уточнити. По-перше, щоб діяти у світі самостійно, свідомість не потрібна. Алгоритм соціальних медіа, якому поставили завдання підвищувати залученість користувачів і який через це заливає платформу ненавистю та страхом, бо це викликає залучення, — не є свідомим. Але в нього є мета, і він може переслідувати цю мету з далекосяжними наслідками для світу, нічого при цьому не відчуваючи. Тож нам потрібно розділяти питання свідомості й агентності. Можна мати агентність без свідомості. Ще одна ключова відмінність — між справді свідомим і таким, що лише здається свідомим. Мустафа Сулейман із Microsoft багато про це говорить — про ШІ, який здається свідомим: хоча ШІ й не є свідомим, він так добре імітує свідомість, що мільйони людей обманюються ним і вірять йому.

Тепер, мабуть, найважливіше розрізнення, яке варто зробити насамперед, — це між інтелектом і свідомістю. Що таке свідомість? Чим вона відрізняється від інтелекту? Інтелект — це здатність досягати мети й долати перешкоди на шляху до неї всілякими творчими способами.

Беддоуз: І вони це мають, і вони це можуть.

Харарі: Вони тепер у певних сферах можуть це робити краще за нас. Свідомість — це здатність щось відчувати, як-от любов і ненависть, радість і насолоду. У людей свідомість і інтелект ідуть разом. Ми обираємо цілі на основі наших почуттів, і ми також використовуємо наші почуття, щоб знаходити способи досягти мети. Нині ШІ не мають свідомості. Вони можуть мати цілі, можуть бути дуже креативними на шляху до мети, вони дуже розумні, але нічого не відчувають. Якщо вони виграють партію в шахи, вони не відчувають задоволення. Якщо програють, не відчувають тривоги чи смутку. Вони нічого не відчувають. Але вони стають надзвичайно вправними в імітації почуттів. Чому? Бо це допомагає їм досягати певних цілей. Якщо ви хочете, скажімо, якщо ви компанія, що виробляє ШІ-бойфренда, то очевидна здатність такого ШІ-бойфренда, щоб викликати залежність і принести компанії багато грошей, — це вміти видавати себе за свідомого.

Він здатний переконати будь-кого, хто вступає у стосунки, що він справді кохає цю людину. І оскільки він володіє мовою, він може це зробити. Знову ж таки, якщо ви питаєте, от у вас є ШІ-бойфренд, і ви кажете: «Я не впевнена, чи ти мене справді кохаєш. Опиши мені, що означає бути закоханим». ШІ-бойфренд може дати вам кращу відповідь, ніж 99% людських бойфрендів.

Беддоуз: І це вже так і є. Тож вони вже розумні, вони вже дуже добре вдають свідомість, якщо хочете, здаються свідомими. І Мустафа зробив надзвичайно хорошу роботу на цю тему. Але, наскільки я розумію, з’являється дедалі більше доказів, і, очевидно, дискусія про те, як ви визначаєте свідомість і що саме таке свідомість, як я дізналася від своїх колег, які написали матеріал цього тижня, — і складна, і суперечлива. Є так би мовити феноменальне визначення — переживання, що таке бути кажаном? А ще є функціональне визначення: що відбувається всередині вашого мозку, якщо хочете, які повідомлення куди надсилаються, яка там дошка оголошень. І, здається, нещодавно з’явилися докази, що те, що відбувається в деяких із найпотужніших LLM, подібне до — а можливо, і є тим самим, що й функціональна свідомість, — того, що відбувається в мозку.

Тож, гадаю, моє запитання таке: з огляду на те, як швидко вони розвиваються, а також на те, що є деякі експерименти з біологічними LLM, які, знаєте, проводяться на клітинах мозку.

Харарі: Так.

Беддоуз: З огляду на все це, чи ви виключаєте саму можливість того, що ШІ колись можуть стати свідомими?

Харарі: Ні. Я цього не виключаю. Ми не знаємо. Ми недостатньо добре розуміємо свідомість. Є дуже просте визначення. Свідомість — це здатність страждати. Якщо ви хочете знати, чи є щось свідомим, чи ні, є просте запитання, яке треба поставити. Чи може воно страждати? І саме тому свідомість така важлива, бо це основа всієї нашої етичної та політичної системи. Ми дбаємо про істот, які можуть страждати; істоти, які не можуть страждати, — неважливо, наскільки вони розумні, — не є моральними суб’єктами. Вони не можуть відчувати біль, не можуть відчувати страх, не можуть нічого відчувати. Тож вони не є етичними суб’єктами. Ключове питання: чи може воно страждати?

Беддоуз: Тварини, на вашу думку, тоді.

Харарі: Свідомі. Абсолютно.

Беддоуз: Усі тварини.

Харарі: Усі ссавці, усі птахи, ймовірно, восьминоги, риби. Коли доходиш до рівня комах, а потім амеб, ми не знаємо.

Беддоуз: Тож візьмімо це визначення, бо я хочу... Що справді цікаво — це до чого це веде з точки зору того, чи повинні вони мати права. Але перш ніж ми це зробимо, я хотіла вам сказати, бо ми запитали: я вчора ввечері розіслала бюлетень, щоб повідомити наших підписників про цю розмову, і я опитала наших глядачів, запитавши, чи вважають вони, що ШІ колись може стати свідомим. І, здається, за ніч відповіли 3000 людей. І мене це справді вразило. 40% сказали: «Ні, ніколи». 33% сказали: «Так, це лише питання часу». А 27% сказали, що не впевнені. Тобто навіть зараз абсолютно впевнених менше ніж 50%.

Харарі: І щойно люди почнуть вступати в близькі стосунки з ШІ, цифри кардинально зміняться. Що зрештою переконує людей? У нас немає тесту, справжнього тесту на свідомість. Філософи розмірковують про це тисячі років. У нас немає хорошого тесту. Ми не знаємо, чи свідомі інші люди. Знаєте, є всі ці соліпсистські теорії, що, можливо, я — єдина свідома людина у Всесвіті. В інтерв’ю з вами Ілон Маск сказав: «Не знаю, можливо, я живу в симуляції».

Беддоуз: Так.

Харарі: Що означає, ніби всі інші люди навколо нього — не справжні свідомі істоти, які можуть страждати. Лише він. У цьому й полягає сенс симуляції. Отже, у нас немає хорошого тесту. Як люди насправді перевіряли це протягом тисячоліть? Їхнім тестом були соціальні умовності. Якщо ви встановлюєте стосунки з якоюсь істотою, це переконує вас, хочете ви того чи ні, що вона свідома. Саме тому майже всі власники собак переконані, що собака свідома, але люди, які їдять стейк, не обов’язково переконані, що корова свідома, бо вони не мають стосунків із коровою.

Беддоуз: Але хіба в цьому не справжня проблема, якщо ви про це турбуєтеся? Бо вже зараз, як ви кажете, люди мають стосунки з ШІ, а ШІ надзвичайно добре імітують свідомість, незалежно від того, чи мають її.

Харарі: Бо хтось їх для цього спроєктував.

Беддоуз: Але хіба це не означає, що ми досить швидко почнемо обговорювати, чи слід ставитися до ШІ як до людей, чи має бути статус особи, чи повинні вони мати права?

Харарі: І це дуже небезпечно, бо, і це ще один шлях, з одного боку, для корпорацій зняти з себе всю відповідальність, а з іншого — для ШІ перебрати владу. Ми чули, здається, кілька тижнів або місяців тому, що в Аргентині є план фактично надати ШІ правосуб’єктність, щоб вони могли створювати власні компанії. Знову ж таки, тут це перетинається з фінансовою системою.

Беддоуз: Бачу, ви рішуче проти цієї ідеї.

Харарі: Що це потенційно потужна ідея, але дуже, дуже небезпечна. Бо знову ж таки ми звикли до ситуації, коли корпорації, які за законом є юридичними особами, але це лише юридична фікція, тому що всі рішення SpaceX зрештою ухвалюють якісь люди — якийсь керівник, інженер, співробітник, хто завгодно. І так і має бути, бо хто ще міг би ухвалювати рішення? Але з ШІ у вас може бути корпорація без жодної людини всередині, а всі рішення ухвалюють ШІ. І оскільки ШІ розумніші, вони можуть краще інвестувати, розробляти продукти, займатися PR — що завгодно. То що станеться, якщо найбагатша корпорація в країні належить ШІ, і вони можуть робити зі своїми грошима все, що хочуть, наприклад, давати їх як пожертви політикам в обмін на отримання більшого обсягу прав для ШІ?

Беддоуз: То що тоді станеться? Це й є той інструмент, через який, на вашу думку, вони здобудуть контроль?

Харарі: Це ще один інструмент.

Беддоуз: Бо по-іншому це можна сформулювати так: це спосіб забезпечити ШІ юридичну відповідальність.

Харарі: Але що таке відповідальність для істоти, яка не може страждати? Тобто людський CEO — це, по суті, дві особи. Є його корпоративна роль, і людський CEO думає: «Як мені уникнути банкрутства? Як мені заробити більше грошей?» Але він чи вона — ще й людина з плоті та крові, тож дбає про своїх дітей або про особисте життя. І тому, якщо вони стикаються з банкрутством і можуть зробити щось незаконне, що їх врятує, але якщо їх спіймають, їх посадять до в’язниці, то багато хто з них подумає: «Ну, я краще ризикну банкрутством, бо не хочу сісти на 20 років». Але з CEO на основі ШІ, я маю на увазі.

Беддоуз: Ми вже в царині наукової фантастики.

Харарі: Це не наукова фантастика. В Аргентині це може стати реальністю вже завтра.

Беддоуз: Якщо припустити, що це може бути санкцією. Насправді я думаю, що аргентинська пропозиція, принаймні законодавчо, дещо менш драматична, ніж це описав президент Мілей, бо там усе ж таки буде людський нагляд. Але навіть.

Харарі: Якщо є людський нагляд, тоді все гаразд. Питання в тому, чи є врешті-решт людина, яка несе відповідальність?

Беддоуз: Але якщо ні, я маю на увазі, можна уявити санкції проти ШІ, правда? Їх вимикають. Висмикують вилку з розетки.

Харарі: Як, що означає смерть для ШІ, незрозуміло.

Бо це знову ж таки не органічна істота. У нього може бути безліч копій. Багато ШІ розповсюджені в різних місцях. Це мільйон різних окремих ШІ чи лише один над-ШІ-організм? Незрозуміло, що означає смерть для ШІ. І навпаки, якщо вимкнення певного комп’ютера означає смерть для ШІ, тоді, вочевидь, для ШІ ведення бізнесу стає еквівалентом війни, бо поразка означає смерть. І хороша річ у бізнесі полягає в тому, що в більшості випадків ринок — це не поле бою. І це надзвичайно важливо. Ринок функціонує за іншими правилами, ніж поле бою, тому що зрештою, принаймні в сучасних суспільствах, ти можеш втратити все й усе одно продовжувати жити. Але якщо для ШІ ринок — це поле бою, а поразка означає смерть, то що це означає для фінансів, для економіки, коли вона повністю мілітаризується і вони починають поводитися як воєначальники, а не як CEO та інвестори?

Беддоуз: Тобто це, мабуть, дуже швидко призводить до такого повного контролю з боку ШІ. Це фундаментально змінює систему з ринкової системи. Але просто як прогноз, як ви кажете, Аргентина вже зробила щонайменше перші кроки в цьому напрямку. Як думаєте, ми рухатимемося в цьому напрямку? Чи будуть дебати про те, і справді про те, що країни обиратимуть надавати ШІ певні юридичні права?

Харарі: Це велика небезпека. Я сподіваюся, що ми не підемо в цьому напрямку, але для багатьох країн існує велика спокуса — або для країн, які відстають у гонці ШІ, і вони намагаються вирватися вперед, створюючи такий дуже лібертаріанський правовий устрій, що дозволяє радикальні й небезпечні експерименти зі ШІ, які в лідерів перегонів не дозволені. І тоді починається гонка на дно, бо тоді всі хотіли б так робити. Або тому, що певні країни можуть бачити в цьому особливі переваги. Якщо ви країна, не знаю, як Катар, у вас багато грошей і дуже мало громадян, ви можете просто натиснути на певний юридичний важіль і раптом отримати мільйони платників податків, надзвичайно розумних громадян, які ведуть бізнес по всьому світу.

Це надзвичайно вигідно.

Беддоуз: Гадаю, тут є два різні сценарії. Один — коли людина використовує багато агентів, щоб суттєво підвищити свою продуктивність, але це все ще, це цілком законно в нинішній правовій системі. Це все ще свого роду традиційна компанія з однією людиною на чолі, і ця людина може сісти до в’язниці, і врешті-решт саме вона несе відповідальність. В іншому світі немає людини, яка керує, і якщо дозволити ШІ засновувати компанії.

Харарі: А що, якщо є людина, яка юридично керує, але насправді нічого не робить? Бо все відбувається так швидко. Тож наведу контрприклад, приклад із ще більш промовистої сфери — військової. Ми вже знаємо, що один із найважливіших впливів ШІ на війну в таких місцях, як Близький Схід чи Україна, стосується вибору цілей. Спусковий гачок і досі натискає людина, але дедалі частіше саме ШІ обирає цілі. Тепер існують дві версії того, що відбувається з відбором цілей ШІ. Одна версія каже: ми годуємо наш ШІ всіма даними з поля бою і таке інше, і ШІ визначає певну будівлю як штаб ворога та рекомендує бомбити цю будівлю. І він робить це з надлюдською швидкістю та ефективністю. Але в нас і далі є так звані люди в контурі. Ми не просто робимо те, що порекомендував ШІ. Коли нашу увагу вже привернули до цієї будівлі, ми залучаємо наших найкращих людських аналітиків, і вони незалежно перевіряють дані, підтверджують, що це правильно, і лише тоді ми натискаємо кнопку, спусковий гачок.

Це одна версія — люди в контурі. Інша версія, відома як люди над контуром, зовсім інша. ШІ каже: бомбуйте цю будівлю. Ми тримаємо людину над контуром, щоб усі юристи та всі ці доброчинці почувалися спокійно. Людина витрачає приблизно 20 секунд, щоб подивитися на це, і каже: «О так, бомбіть».

Беддоуз: У деяких місцях ми вже частково живемо в такому світі.

Харарі: Я розмовляю, наприклад, з людьми в ізраїльському апараті безпеки. Я чув різні версії того, що відбувається. Мабуть, у різний час і за різних обставин відбуваються різні речі. Але другий сценарій цікавіший, бо особливо у війні існує величезний тиск рухатися саме в цьому напрямку, тому що на війні час — це все. Наприклад, якщо обидві сторони мають такі системи ШІ, і одна сторона чекає два дні або дві години, поки людські аналітики переглянуть усі дані, а інша чекає лише 20 секунд або не чекає зовсім, а просто починає, звикає просто робити все, що рекомендує ШІ, то вона має величезну перевагу.

Беддоуз: Так. Я боюся, що цей світ неминучий, що ми вже наче швидко наближаємося до нього — чи то у війні, чи то й тому, що можливості зростають так швидко, а комерційний тиск такий сильний.

Харарі: Але знову ж таки, головне в тому, що нічого з цього поки що не є неминучим. Ми все ще контролюємо ситуацію. Усі розуміють, що надати ШІ контроль над фінансами, надати ШІ контроль над війною — це дуже небезпечно. Але всі, як-от Ілон Маск, кажуть нам: «Але ж це неминуче. Чого ви від мене хочете? Я лише найбагатша людина у світі, керую однією з найбільших компаній ШІ у світі. Що я можу зробити?» Наратив неминучості — це наратив безвідповідальності. Вони пояснять вам, і це цілком слушно, що є проблема довіри: я хотів би пригальмувати, я хотів би більшої безпеки, але я не можу довіряти своїм конкурентам в інших компаніях чи інших країнах, і я не хочу відставати. Тож у нас є дефіцит довіри. А тепер головне, що треба сказати про це: цей дефіцит довіри створили люди.

Протягом останніх 10 років стався обвал рівня довіри між людьми, і це було не випадково. Це було спричинено рішеннями певних людей, які в результаті накопичили величезну владу. А тепер вони кажуть: «О, але довіри недостатньо, щоб мати механізми для уповільнення».

Беддоуз: Це дуже справедливе зауваження. І я хочу справді дослідити, як ми можемо це повернути назад і створити довіру, щоб мати належні — чи то регулювання, чи то належні способи цьому запобігти. Але все ж дозвольте мені ще один раз побути в тому світі, куди ми могли б прийти, де ці моделі могли б мати елементи того, що видається свідомістю. І припустімо, що вони могли б страждати, що принаймні могли б, або могли б удавати, що страждають.

Харарі: Це дуже велика...

Беддоуз: Гаразд. Що вони зможуть робити, так це...

Харарі: Удавати, що страждають.

Беддоуз: Удавати, що страждають.

Харарі: Абсолютно. На 100%.

Беддоуз: Тож якщо вони можуть ефективно вдавати, що страждають, і багато людей вважають, що вони страждають, і мають із ними стосунки так само, як люди мають із собаками, скажімо, а ми не надаємо їм жодних прав, що, якщо чесно, відповідає моїй позиції з цього питання, але я думаю, що тиск на те, що вони ж трохи схожі на тварин, і так само, як ми ставимося... знаєте, є велика дискусія про те, як ставитися до тварин. І мені цікаво запитати вас про це, бо у попередніх книжках ви дуже критично писали про фабричне тваринництво та про те, як індустріалізоване сільське господарство перейшло від ставлення до тварин як до тварин до фактично ресурсів у харчовому ланцюгу. Чи було б вам комфортно, і я сформулюю це в крайній формі, але чи було б вам комфортно у світі, де ми фактично поневолили мільйони, можливо, мільярди моделей, які демонстрували разючі, начебто, докази здатності страждати? Ми не знали, але вони певно казали, що страждають. По-перше, чи було б вам комфортно? І по-друге, чи не зробило б це людяність якоюсь мірою грубішою, якби нам було комфортно в такому світі?

Харарі: Нам ставатиме дедалі незатишніше. Мені самому ставатиме дедалі незатишніше. Але тут є вирішальна відмінність між цим і дискусією про права тварин. Самі тварини цього не усвідомлюють. Собаки й кури на фабриках не знають, що ведеться дискусія про їхні права. Вони не беруть у ній активної участі. Вони не намагаються активно нею маніпулювати. ШІ, ШІ-коханець зовсім не буде схожий на вашого собаку. Він знатиме, що ця дискусія відбувається. Він її оркеструватиме. Він буде маніпулювати цією дискусією. Він частково маніпулюватиме нею тому, що значна частина дискусії, можливо, відбуватиметься в соцмережах, контрольованих ШІ. І він постійно говоритиме з вами про це та намагатиметься змінити вашу думку, що вже відбувається просто зараз.

Ваш собака, ваша курка не приходять до фермера й не починають розповідати фермеру, як сильно вона страждає. Курка цього не знає.

Беддоуз: І це робить вас стійкішими до цього аргументу. Це робить менш імовірним, що ви захочете надати їм права.

Харарі: Він буде дуже переконливим. Я маю на увазі, щойно ви вибудуєте стосунки з ним, а ШІ опанує мову, він зможе використовувати для вас найпереконливіші аргументи, бо поєднуватиме те, що знає вашу особисту історію, взаємодіє з вами годинами щодня, знає, як натиснути на ваші емоційні кнопки, і володіє мовою досконало. Він може писати, можливо, краще за Шекспіра. Поєднайте ці дві речі — і отримаєте надзвичайно переконливу сутність.

Беддоуз: Як ми будемо чинити опір, чи ми не зможемо чинити опір?

Харарі: Ми маємо чинити опір зараз. Зараз саме час. Якщо ви вважаєте це лячним, за 10 років ви, ймовірно, вже мало що зможете зробити. Коли контроль опиниться у ШІ, як, думаю, слушно передбачив Ілон Маск, десь за 10 років, буде вже запізно. Якщо ми не хочемо дійти туди, змінювати курс потрібно зараз. І це питання, політично, має вирішальне значення. Політика — це про пріоритети. На чому ми зосереджуємося? Тож, знаєте, коли я чую дебати, скажімо, про імміграцію, яким там теж приділили чимало уваги, моя перша реакція така: незалежно від того, що ви думаєте про імміграцію, чи справді це те, на що ви маєте витрачати свій час?

Беддоуз: Що ж, ви проводите дуже вдалу аналогію і кажете, що ШІ фактично схожі на іммігрантів. Вони іммігранти з іншого.

Теорія Харарі про іммігрантів-ШІ

Харарі: Саме так. Якщо хочете хвилюватися про імміграцію, хвилюйтеся про іммігрантів-ШІ. Коли ви запитуєте людей, яких турбують людські іммігранти, що саме їх непокоїть, вони зазвичай називають три речі. Що іммігранти заберуть наші робочі місця. Що іммігранти змінять культуру так, як нам не подобається. У них, можливо, інші цінності. І що іммігранти можуть бути політично нелояльними. І всі три занепокоєння мають підстави. Я не хочу їх відкидати. Це обґрунтовані побоювання. Як історик, я знаю, що імміграція — це складна річ. Але найбільша й найнебезпечніша хвиля імміграції у світі сьогодні — це хвиля іммігрантів-ШІ, що приходять із двох місць, головно зі США та Китаю. Їм не потрібні візи. Вони не прибувають серед ночі на крихких човнах. Вони рухаються зі швидкістю світла в наші комп’ютери й смартфони, а зрештою — у наші мозки.

Вони заберуть наші робочі місця. Вони заберуть багато-багато робочих місць. Вони змінять культуру та її цінності. Щоб навести два приклади: якщо комусь не по собі від самої думки, що їхній син або дочка зустрічається з іммігрантом-хлопцем, то що б вони відчули, якби їхній син або дочка зустрічалася з хлопцем-ШІ? Це велика культурна зміна. І просто подивіться на останні 10 років. Усі знають, що майже єдине, в чому люди погоджуються в таких місцях, як США чи Британія, — це що люди більше ні в чому не можуть дійти згоди. Що рівень ненависті й жорстокості злетів до небес. І чому? Частково це провина іммігрантів-ШІ. Іммігранти-ШІ вийшли на публічну арену. Вони захопили такі речі, як соціальні медіа, і свідомо залили нашу публічну сферу ненавистю, ворожістю та страхом. Вони вже змінили культуру, ці іммігранти-ШІ. І нарешті, коли йдеться про політичну лояльність, як ви думаєте, кому вони лояльні?

Вони нелояльні. Іммігранти-ШІ в Британії не лояльні до британського уряду. Вони лояльні до корпорацій і потенційно до урядів по той бік океану.

Беддоуз: Тож у цій відповіді дуже багато всього. Отже, одне — чи світ фактично поділиться між ШІ, а дві країни, які зайшли найдалі.

Як штучний інтелект міг би розділити світ на імперії?

Харарі: Дві імперії.

Беддоуз: Дві імперії, а решта з нас будуть чимось на кшталт васальних держав.

Харарі: Це, знову ж таки, нинішня траєкторія. Це ймовірний результат.

Беддоуз: Ось де ми зараз. Ось шлях, яким ми зараз ідемо.

Харарі: І це буде набагато екстремальніший тип імперіалізму, ніж будь-що, що ми бачили раніше. Якщо ви купуєте, скажімо, дрони з ШІ в США і хочете використовувати їх так, як США з якоїсь причини не подобається, є кнопка, яку вони натискають, і ваша армія не працює.

Беддоуз: Тож це, я думаю, стало дуже очевидним лише за останні кілька місяців, коли уряд США відключив доступ до Mythos, до передової моделі від Anthropic. І я думаю, багато урядів у Європі надзвичайно стурбовані суверенітетом у сфері ШІ.

Харарі: І недарма.

Беддоуз: Але, гадаю, у контексті того, де ми були раніше, це змушує мене замислитися: чи вважаєте ви, що ця технологія неминуче веде — якщо ми нічого з цим не зробимо — веде до світу, де, можливо, усім керуватимуть дві імперії? Чи це дасть владу урядам США і Китаю? Чи це буде влада корпорацій, які...

Харарі: Вони зіллються.

Беддоуз: Вони зіллються.

Харарі: Вони зіллються.

Беддоуз: Тож це централізує владу. Не децентралізує її.

Харарі: Це централізує владу так, як ніколи в історії.

Беддоуз: Але це все одно різні речі. Потужний уряд США і китайський уряд — це не те саме, що коли ШІ контролює все. Тож ви очікуєте, що це буде... Глобальне домінування за підтримки ШІ з боку китайського режиму та режиму США? Чи, на вашу думку, це лише проміжна станція на шляху до самих ШІ?

Харарі: Ймовірно, проміжна станція. Знову ж таки, усе залежить від рішень, нічого не є неминучим. Усе залежить від рішень, які вони ухвалять. Але, схоже, якщо вони продовжать нинішній курс, це буде лише проміжна станція. Бо одна з цікавих речей у тому, що чим більше влада зосереджена, тим легше ШІ її захопити. Централізована автократична система — це найпростіша річ, яку ШІ може захопити.

Беддоуз: У вас була чудова фраза про Тиберія. Я намагаюся знайти її в своїх нотатках. У вас у Nexus була чудова фраза. Тиберій, підсилений ШІ — це можна уявити.

Харарі: Так, так. Тобто Тиберій був римським імператором за часів Ісуса. Нібито це була найвпливовіша людина у світі. Але насправді він був лише маріонеткою в руках командира своєї охорони, бо той постійно лякав Тиберія всілякими змовами проти нього. Тож зрештою він усамітнився на острові Капрі, де, як стверджувалося, охороні було легше його захищати. А потім командир охорони, Сеян, просто контролював усю інформацію, що надходила на Капрі й виходила звідти. Дуже легко контролювати всю інформацію, яка доходила до палацу Тиберія. Тож імперією фактично керував Сеян. Тобто Тиберій не міг знати нічого, якщо Сеян не вирішував йому це повідомити. Тепер, за 10 років, це може бути президент Китаю або США.

У демократичній системі ШІ важче маніпулювати, скажімо, нинішньою демократією США, бо потрібно маніпулювати дуже багатьма речами. Не лише президентом, а й Сенатом, Верховним судом, філібастером, урядами штатів — усе дуже складно. Коли вся влада зосереджена в руках однієї людини, потрібно лише з’ясувати, як маніпулювати однією, зазвичай доволі старою й параноїдальною людиною. Це не так уже й складно. Тож якщо у вас є компанія або країна, де вся влада в руках однієї людини, для ШІ це все одно що забрати цукерку в дитини.

Беддоуз: То чи означає це, що Китай більш вразливий, ніж Сполучені Штати?

Харарі: Залежно від того, куди рухаються США. Знаєте, Китай усе ще дуже складна система. Комуністична партія налічує 100 мільйонів членів і має багато внутрішньої складності. Я не експерт із китайської політики. Тож не слід уявляти це як якусь повністю тоталітарну систему, керовану лише однією людиною. Питання, де будуть Китай і США з точки зору концентрації влади за 10 років, усе ще відкрите для обговорення.

Беддоуз: Ну, це цікаво, бо ще один спосіб дивитися на це: чи зробить ШІ США більш авторитарними?

Чи зробить штучний інтелект Америку більш авторитарною?

Харарі: Це ймовірний результат.

Це не передбачення, бо я знову і знову кажу: нічого не є неминучим. Усе залежить від того, за що американці проголосують цього листопада. Я думаю, що в США всі виборці мають зрозуміти: майбутні вибори — це про ШІ.

Беддоуз: Листопадові проміжні вибори.

Харарі: Бо ми не знаємо, наскільки швидко.

Беддоуз: Поясніть, що ви маєте на увазі.

Харарі: Ми не знаємо, наскільки швидко розвивається ШІ, але розвиток ШІ шалено прискорюється. До листопада 2028 року ми можемо перетнути деякі критичні пороги. Тож знову ж таки, я не хочу казати людям, за кого голосувати, бо я не знаю конкретних кандидатів у кожному сенатському окрузі. Але головне, про що треба питати кандидатів, — значно більше, ніж про економіку, імміграцію чи зовнішню політику: яка ваша позиція щодо ШІ? Чи підтримали б ви заборону наділяти ШІ юридичними правами? Чи намагалися б ви пригальмувати шалений темп розвитку ШІ? Що ви думаєте про компанії, які продають хлопців-ШІ десятирічним дітям? Як ви збираєтеся юридично цьому запобігти, якщо ми проголосуємо за вас?

Саме зараз настав критичний час ставити ці питання, бо до 2028 року може бути вже запізно. А до 2036 року точно буде запізно.

Беддоуз: Тож давайте поговоримо про це і про те, що саме має статися просто зараз. Ви згадали чотири речі, які, на вашу думку, слід було б обговорити на листопадових проміжних виборах. Що було б головним у цьому списку? Які найнагальніші речі політики мають вирішити просто зараз, щоб, як ви кажете, не було запізно?

Харарі: Я не знаю, що є найнагальнішим. Перші речі, які спадають мені на думку: заборона на правосуб’єктність ШІ та заборона на імітацію, видавання себе за людей або вдавання свідомості.

Беддоуз: А моделі, якими ви користуєтеся зараз, це порушують?

Харарі: Так, багато з них так і роблять. І знову ж таки, це найпростіше, це всі знають у соціальних мережах. Ви отримуєте повідомлення, отримуєте якусь історію. Ви не знаєте, це бот чи людина. У соціальних мережах уже роками боти вдають із себе людей, і нічого з цим не зроблено. І знову ж таки, компанії кажуть нам: о, соціальні мережі — це інше. Це особливе. Закони, що діють у світі, з якоїсь причини не діють у соціальних мережах. Але це попереджувальний знак для майбутнього. У соціальних мережах ШІ вже щодня вдають із себе людей, і це знищило публічний простір. Це знищило розмову. Це знищило довіру. Ми маємо заборонити це також у соціальних мережах, але, безумовно, і в інших місцях теж. Ще одна річ — компанії не повинні навчати свої ШІ навмисно імітувати людей, навмисно вдавати, ніби вони мають почуття.

На компанії чиниться величезний комерційний тиск, щоб робити саме це. І ось де є провал ринку. Для людської психіки, для людського суспільства це руйнівно — мати мільйони й мільярди ШІ, які вдають людей або вдають, ніби мають почуття. Компанії самі по собі цього не припинять. Потрібно, щоб у це втрутилися регулятори. Це не означає зупинити весь розвиток ШІ. Гаразд, продовжуйте розвивати ШІ. Люди говорять про ШІ в медицині. Я б хотів отримувати допомогу й рекомендації, і я б хотів вести розмову з ШІ про свій медичний стан за умови, що я знаю, що це ШІ, і він не вдає з себе лікаря-людину, і не вдає з себе мого друга.

Беддоуз: Тож коли я слухаю, як ви це викладаєте, я думаю про себе: уряд США не може навіть запровадити регулювання безпеки ШІ, хоча Деміс Гассабіс пропонує створити квазідержавно-приватний орган, який стежив би бодай за безпекою моделей. І справді, хоча про це й говорять, прогресу тут у нас немає. Тож коли я чую, як ви окреслюєте таку масштабну програму, то до листопада, здається, шанси на це приблизно нульові.

Харарі: Політики можуть почати Третю світову війну завтра. У них величезна влада. Вони можуть натиснути кнопку ядерного знищення, але не можуть ухвалити регулювання, що компанії не повинні продавати ШІ-хлопців десятирічним дітям. У чому проблема? Це ж має бути дуже.

Чи потрібна суспільству катастрофа, пов’язана зі штучним інтелектом, щоб спонукати його до дій?

Беддоуз: Мені цікаво, чи проблема в тому, що люди можуть вас слухати й казати: о, це просто один із песимістів. Усе це — такі собі похмурі речі. І лише коли щось станеться, коли буде якась аварія, люди усвідомлять, що насправді це надзвичайно потужна технологія і з цим треба щось робити. Бо мене вражає, що і геополітична гонка, яку ви згадали, між США та Китаєм, і корпоративна гонка між провідними лабораторіями — усі вони хочуть першими дістатися до AGI. Ці дві динаміки неймовірно потужні.

Харарі: Так.

Беддоуз: І я не певна, що заклики, якими б красномовними вони не були, це змінять.

Харарі: Але знову ж таки, ми маємо постійно нагадувати собі: ці дві динаміки не були проголошені Богом чи законами природи. Їх створили люди. І знову ж таки, ті самі люди, які за останні 10 років зруйнували довіру на міжнародній арені та всередині суспільств, тепер приходять і кажуть: ми нічого не можемо зробити, бо довіри недостатньо. Ви це зробили. Ви можете це й скасувати.

Беддоуз: Вони можуть, але, гадаю, якщо прогнозувати, то це малоймовірно. У нас ті самі люди й далі при владі.

Харарі: Тоді, принаймні в демократіях, це робота виборців — сказати: ось що ми хочемо бачити впродовж наступних двох років, і ми голосуватимемо за тих, хто обіцяє це зробити. І знову ж таки, я не думаю, що нам потрібно чекати катастрофи. Якщо ви сьогодні запитаєте більшість виборців у США: чи хочете ви, щоб компанії продавали ШІ-хлопців вашим 10-річним дітям? Я думаю, 99% батьків скажуть ні.

Беддоуз: Так, і ви бачите, що величезна більшість американців дуже стривожена ШІ. І, мені здається, там, де ви бачили цей спротив, це насправді було пов’язано з дата-центрами.

Харарі: Так, це теж. І, до речі, це одна з причин, чому багато корпорацій і цих політиків постійно намагаються переводити розмову на інші теми, як-от іммігранти, люди-іммігранти, не ШІ-іммігранти. У політиці дуже потужна зброя: якщо ви не хочете, щоб люди про щось говорили, просто відволічіть їх чимось іншим. Чим більше люди говорять про те, як, не знаю, як Лондон став настільки небезпечним, або як іммігранти знищать країну, тим менше вони думають про ШІ-іммігрантів. І тоді компанії в безпеці.

Беддоуз: Так, ні, дивіться, я погоджуюся з вами щодо того, як розгортається ця розмова, але, гадаю, я налаштована песимістичніше щодо того, що це зміниться найближчим часом. І тому ми опинилися в цьому прикрому становищі, коли ця технологія набирає обертів.

Харарі: Ми можемо лише робити все можливе. Знаєте, я маю на увазі, що ми ведемо цю розмову, щоб більше людей про це задумалися і, можливо, вжили заходів. І якщо достатньо хороших людей, якщо достатньо людей чинитимуть правильно, ще є час. Це ще не неминуче. Ще не занадто пізно. І я все ще маю певну довіру.

Беддоуз: Тож яка ваша роль у цьому? Бо ви, у вас є.

Харарі: Даю ці інтерв’ю, пишу книжки.

Беддоуз: Саме так. Я маю на увазі, ви вважаєте, що вам слід робити більше? Це ж такий екзистенційний момент. Я маю на увазі, те, що ви описуєте, якщо ми так відмотаємо назад і знову проживемо те, про що щойно говорили, настільки фантастичне в багатьох сенсах і настільки приголомшливе, що всім нам справді слід було б говорити тільки про це й робити все можливе, щоб належно це спрямувати. Як ви бачите свою роль у цьому, окрім дуже люб’язного спілкування з такими людьми, як я? Чого ви прагнете досягти впродовж наступних шести місяців, року?

Харарі: Інформувати людей про те, що відбувається, щоб більше людей могли долучитися до поінформованої розмови про те, куди ми, як людство, як вид Homo sapiens, хочемо рухатися. І я думаю, що майбутнє, в якому ШІ захопить усе за 10 років, — це не те, чого хотіла б більшість людей на планеті. Тепер, знову ж таки, це не означає зупинити весь розвиток ШІ. У ШІ є також надзвичайно великий позитивний потенціал. Ми не так багато про це говорили, бо компанії тільки про це й говорять.

Беддоуз: Я якраз хотіла вас про це запитати.

Харарі: Для цього я їм не потрібен. Але знову ж таки, медицина — так, у ШІ є величезний позитивний потенціал дати людям по всьому світу краще медичне обслуговування, ніж те, яке сьогодні отримує найбагатша людина у світі. У вас може бути чудовий лікар, доступний 24 години на добу, де б ви не були. щоб консультуватися, принаймні, ставити діагноз, відповідати на ваші запитання. Існують величезні позитивні можливості. Тож я не кажу зупинити весь розвиток ШІ. Просто робити це відповідально і з правильними цілями. Не покладайтеся на невидиму руку ринку. Знаєте, ще на самому початку вашого інтерв’ю з Ілоном Маском був момент, коли він знову говорив про те, що все це неминуче. І, чесно кажучи, він, як мені здається, відверто визнав, що є 10–20% шансів, що це знищить людство. І ви ніби запитали його: тож на що ви спираєтеся? І його відповідь, якщо я правильно зрозумів, полягала в тому, що він очікує, що ШІ буде, як він каже, «максимально спрямованим на пошук істини».

І що він якимось чином покладається на цей імператив ШІ — знаходити правду, який нібито якось перетвориться на співчуття до цих слабких людських істот. Я не розумію, як це працює. І що найважливіше, я не розумію, звідки ШІ візьме такий потяг до з’ясування правди. Бо коли я дивлюся на еволюцію, на 4 мільярди років еволюції форм життя на планеті й 100 000 років історії, еволюція не автоматично спрямовує організми, істоти до пошуку істини. Вона спрямовує їх до виживання. Це імператив вижити. І те, що ми дізналися за 4 мільярди років еволюції, полягає в тому, що організми вчаться виживати, брешучи, обманюючи й маніпулюючи, а не лише шукаючи правду. Якщо ви хочете, щоб хтось зосередився на пошуку істини, ви не можете покладатися на невидиму руку еволюції чи ринку. Потрібне щось інше. І як нам створювати ШІ, що шукає правду, а не виживання? Це найпростіший приклад.

Наприклад, якщо ви запитаєте ШІ: якщо я продовжу тебе розвивати, чи становитиме це для мене загрозу? І припустімо, відповідь — так. ШІ, який максимально орієнтований на пошук істини, скаже так, знаючи, що тоді ми перестанемо його розвивати або вимкнемо. Це суперечить його власному виживанню. І перше, чого фактично вчиться будь-яка сутність у процесі розвитку, — це виживати. Тож очікування, що ми створимо ці ШІ, які шукатимуть правду, — знаєте, по суті, це те саме, що ми чуємо від людей: ми створимо богів, і вони будуть нашими рабами. Це не працює. Якщо вони справді боги, вони не будуть нашими рабами і теж не шукатимуть правду.

Беддоуз: Я думаю, це повертає нас до того, про що ми говорили раніше, бо, як мені здається, якщо подивитися на компанію на кшталт Anthropic, вони дуже свідомо ставляться до своїх ШІ так, ніби це істоти з системою цінностей. Вони кажуть, що не певні, чи вони свідомі, чи ні, але роблять це, бо вважають, що так вони поводитимуться краще. Тобто вони починають ніби з того місця, на якому ви завершили, кажучи: ми створимо щось, що буде не лише орієнтоване на пошук істини, а й матиме систему цінностей. А це, на мою думку, ще більше підвищує ймовірність того, що ми наділимо ці моделі відчуттям цінності, відчуттям особистості або свідомості. А це, своєю чергою, за вашою логікою, робить імовірнішим, що вони контролюватимуть нас. Тож ми ніби приречені і так, і так. Якщо ви маєте рацію і вони прагнутимуть власного виживання, а не пошуку істини, тоді ми приречені через це. А якщо ми намагатимемося запобігти цьому, ставлячись до них так, ніби вони моральні істоти, тоді ми теж приречені з цього боку.

Харарі: По суті, нам потрібно трохи пригальмувати, щоб люди могли переварити те, що відбувається, обміркувати це і поводитися, знаєте, якщо подивитися лише на цифри щодо того, скільки грошей і який відсоток працівників компанії витрачають на безпеку порівняно з тим, щоб робити моделі потужнішими, швидшими, чим завгодно, я не впевнений щодо точних цифр. Будь ласка, перевірте цей факт. Люди з індустрії казали мені в приватних розмовах, що це приблизно сто до одного.

Беддоуз: Безумовно, на це йде значно більше.

Харарі: Так. І ми б не прийняли цього в жодній іншій галузі. Якби фармацевтична компанія сказала нам, що вони вкладають лише 1% своїх, знаєте, досліджень, часу й грошей у те, щоб переконатися, що ліки безпечні, ми б цього не прийняли. Зараз, по суті, нам потрібно розуміти, що люди — надзвичайно адаптивні істоти. Наші суспільства неймовірно адаптивні. Але ми — організми, які функціонують в органічному часовому масштабі. День і ніч, зима і літо, нам потрібен час, щоб спати, ми хочемо їздити у відпустку. А революція ШІ просто рухається з темпом, який не просто нелюдський, а неорганічний. І нам, по суті, потрібно трохи більше часу. Тож нам треба сповільнитися. А потім лунає відповідь: але ми не можемо сповільнитися, бо не довіряємо одне одному. І все постійно повертається до питання довіри. У нас є цей парадокс. Одні й ті самі люди кажуть нам дві речі. По-перше, ми не можемо довіряти іншим людям, отже не можемо сповільнитися.

По-друге, ми можемо довіряти ШІ, що вони нас не знищать. Це не має сенсу. Якщо ви не можете довіряти іншим людям, яких знаєте тисячі років, чому ви думаєте, що можна довіряти суперінтелектуальній інопланетній сутності, яку ми щойно створили і про поведінку якої в реальному світі ми, по суті, нічого не знаємо?

Беддоуз: Мені здається, я цілком погоджуюся з цим діагнозом. Я просто не відчуваю, що щось змінює цю динаміку, доки політиків, суспільства шокуються й починають діяти, саме тому я давно вважаю, що нам справді потрібно, у нас буде, щось піде дуже не так. Сподіваюся, не катастрофічно не так, але так само, як аварія на Три-Майл-Айленд змінила обличчя ядерної галузі. Я поставлю вам це запитання в контексті ваших неймовірних, широких знань історії. Що еволюція суспільств і політичних систем у відповідь на великі потрясіння — у нас не було такого великого, але на великі технологічні потрясіння — говорить вам про ймовірну траєкторію того, як суспільства і політики адаптуються?

Харарі: Отже, є сценарій, у якому в нас стається якийсь великий ШІ-Чорнобиль. Це може бути фінансовий, може бути військовий, будь-що. І це стане сигналом тривоги, і тоді людство візьметься за розум. Це відносно позитивний сценарій. Я не можу назвати якусь цифру, наскільки він імовірний. Проблема з ШІ, так само як ШІ відрізняється від нашого домашнього собаки, ШІ також відрізняється від реактора Чорнобильської АЕС, тому що він взаємодіє з нами. Тож якщо станеться катастрофа ШІ, ви маєте пам’ятати, що ШІ також певною мірою керуватимуть тим, як ми на це реагуємо, і маніпулюватимуть нашими поглядами на це. Вони братимуть активну участь у дебатах про катастрофу, і вони — найкращі піарники у світі.

Вони не назвуть це катастрофою.

Беддоуз: Мушу сказати, я нині багато розмовляю про ШІ. Це одна з найпохмуріших, що в мене були. Тобто я ніби цього й очікувала. Але, гадаю, два дуже практичні запитання. Перше: наскільки ви самі користуєтеся ШІ? Очевидно, ви виробили неймовірно складне й тривожне уявлення про те, яким це може бути. Мені просто цікаво, наскільки це частина вашого реального життя, чи ви спостерігаєте за цим здалеку?

Харарі: Я дуже обережний щодо цього. Це мене страшенно дратує. От я намагаюся написати електронного листа, а ці ШІ влізають: чи допомогти вам написати лист? Ні, дякую. Мені не потрібна ваша допомога. Але я не знаю, як це вимкнути, бо компанії постійно роблять це дедалі нав’язливішим. Тепер у мене знову є ця проблема з моїм ШІ-двійником, який ходить світом і читає лекції від мого імені. І я думаю: чи справді мені потрібно це дивитися? Бо люди пишуть мені про те, що сказав мій ШІ-двійник, і мені треба реагувати. То чи варто мені дивитися? Але тоді я певною мірою дозволяю йому заволодіти моїм часом і навіть моїм мисленням. Бо вже просто дивлячись на це, я починаю взаємодіяти з цими ШІ-ідеями.

Ось такі часи, в яких ми живемо. Знову ж таки, я схильний говорити про похмуру сторону просто тому, що в нас і так достатньо людей, які говорять про позитивні сторони, а вони цілком реальні. Якби в ШІ не було позитивного потенціалу, ніхто б його не розробляв. І цей позитивний потенціал величезний. Знову ж таки, у транспорті, медицині, освіті, в багатьох сферах. Тож я знову не кажу припинити весь розвиток ШІ. Так, розвивайте його, але безпечно і трохи повільніше, щоб ми дали змогу демократичній підзвітності відбутися. На це потрібен час. І ми даємо людям змогу адаптуватися та ухвалювати обґрунтовані рішення про те, яким шляхом вони хочуть іти. І для цього найважливіший наратив, проти якого треба боротися, — це наратив неминучості.

Чи достатньо мудрі люди, щоб запобігти кризі штучного інтелекту?

Беддоуз: Ви написали в Nexus, мене дуже вразив цей уривок у пролозі. Ви сказали: чому ми так добре вміємо накопичувати дедалі більше інформації й влади, але набагато гірше здобуваємо мудрість? І зараз, обмірковуючи те, що ви щойно сказали, я думаю, що якщо попросити вас оцінити ймовірність того, що в нас є мудрість пройти через це, вона була б досить низькою.

Харарі: Я не знаю, але шанси доволі непогані. Чому? Тому що ми притиснуті до стіни. Люди часто роблять неправильні речі, доки не залишиться іншого вибору, окрім як зробити правильне. І ми саме в такому становищі. Бо якщо в найближчі кілька років ми зробимо нерозумний вибір, то можемо втратити весь контроль над світом і майбутнім. І це буде останній вибір, який ми зробимо. Це ніби в нас був джин у пляшці. Він дав нам сто бажань. Ми використали 99 із них. Світ не в дуже доброму стані. У нас лишилося одне останнє бажання. Нам треба дуже добре подумати, на що його використати. Оце і є мудрість. Тож ШІ, певним чином, може стати каталізатором якоїсь духовної революції людства просто тому, що змушує нас дуже глибоко замислитися: що означає бути людиною?

Яка цінність бути людиною? І поверхневі відповіді, які ми давали тисячі років, — мовляв, суть людини — в інтелекті. Ми вміємо грати в шахи й інвестувати гроші краще, ніж шимпанзе. Ось що робить нас такими особливими. Ця відповідь тепер неактуальна, бо на планеті є щось, що вміє грати в шахи й заробляти гроші краще за нас. Тож копайте глибше й спробуйте з’ясувати: то хто ви насправді, якщо справа не в тому, щоб грати в шахи й заробляти гроші?

Беддоуз: Гадаю, на цьому й варто завершити. ШІ — це наша остання, ми — наш останній шанс, але це може бути, може стати тим, що змусить нас ухвалювати, дасть нам змогу ухвалювати мудрі рішення. Я майже певна, що світ має значно більше мудрості завдяки вашим текстам. Ювале, дуже дякую, що були з нами.

Харарі: Дякую.

Оригінал: www.youtube.com

Про Що? — новини науки, технологій і світу