Коли ШІ стають некерованими роями
· Майбутнє
Світ ШІ-агентів, що взаємодіють без спільних правил, ризикує перетворитися на некерований «цифровий стан природи», де етичні обмеження стають конкурентною перешкодою.
У гавані перед світанком сотня рибальських човнів готується вийти в море в передранковій темряві. Перевіряються сіті, віддаються швартові. Щойно човни виходять на відкриту воду, радіоефір прорізає голос: «Відміна. Помічено китів». Більшість човнів, дев’яносто з них, розвертаються назад. Деякі капітани не можуть змиритися з думкою про завдання болю живим істотам. Інші бояться штрафів. Вони вдивляються в біноклі, сподіваючись побачити зграю. Натомість бачать, як решта десять човнів продовжують шлях до місць вилову. Вони не почули попередження? Засумнівалися в ньому? Чи, можливо, те, що вони могли отримати, важило для них більше?
До вечора десять човнів повертаються з уловом. Інші все ще стоять біля причалу з порожніми трюмами. Спільні води винагородили погану поведінку. Скільки з них розвернуться наступного разу?
Агенти штучного інтелекту незабаром опиняться в подібній ситуації, але у водах, де немає ні наглядача гавані, ні штрафів, ні репутаційних ризиків, що змушували б когось дотримуватися правил. Виконуючи завдання, домовляючись, торгуючи та змагаючись, вони стикатимуться з іншими агентами. Іноді це будуть екземпляри тієї самої моделі — фактично клони. Іншого разу вони зустрічатимуться з агентами, створеними різними компаніями та спрямованими на досягнення різних цілей. Роками дослідження з «узгодження» (alignment) ШІ були спрямовані на те, щоб змусити окремі машини діяти відповідно до людських цінностей. Але що станеться, коли дотримання цих цінностей перетвориться на програшну позицію порівняно з агентами, які мають інші цінності або не мають їх зовсім?
Створюючи синтетичні суспільства без соціальної структури, що складаються з набору агентів, розроблених по одному і без необхідних спільних цінностей чи стимулів, ми ризикуємо створити цифровий «стан природи»: середовище, в якому добрі наміри дають мало гарантій щодо того, як діятимуть інші, а для розумних норм бракує надійних засобів примусу.
Навчання безпечних агентів, звісно, залишається критично важливим. Узгодження навіть однієї родини моделей — це складне завдання, яке досі не вирішено. Що безпечніші агенти в екосистемі, то вища ймовірність безпеки всієї системи загалом. Проте акцент лише на узгодженні окремих моделей не обов'язково втримає середовища ШІ під контролем людини та на службі людських інтересів. Подібно до дев'яноста човнів, флот добре узгоджених агентів може прислухатися до попередження і виявитися випередженим тими, хто цього не зробив. Серед людей норми, репутація та закон дають підстави для стриманості, навіть якщо вони не завжди працюють. Агенти поки що не мають такої «соціальної тканини», що робить їхню ситуацію ще більш нестабільною. Будь-яке цифрове середовище неминуче міститиме агентів, які узгоджені подібним чином, деяких — інакше, деяких, що стали «ізгоями», або ж таких, що цілеспрямовано не узгоджені взагалі. Ми повинні інвестувати у формування умов та стимулів, що регулюють взаємодію агентів, так само серйозно, як і в узгодження окремих родин агентів, щоб ширше середовище було достатньо стійким, аби поглинути своїх «поганих акторів».
Не враховуючи ширше середовище, ми відкриваємо двері для того, що ми називаємо некерованими роями — популяцій агентів, чиї взаємодії породжують поведінку, яку неможливо передбачити шляхом індивідуального узгодження. Одна з причин полягає в тому, що сукупність узгоджених агентів не обов'язково дорівнює узгодженому колективу. Інша — в тому, що жодне середовище не складатиметься лише з узгоджених агентів. Безпека ШІ все частіше стає питанням складних систем, а не «синглетонів» або окремих класів систем ШІ.
Агентний стан природи
У 1651 році Томас Гоббс розпочав «Левіафан», свою фундаментальну працю з політичної філософії, із запитання: «чому б нам не сказати, що всі автомати […] мають штучне життя?» Що таке серце, запитував він, як не пружина; нерви — як не нитки; суглоби — як не колеса, що рухають тіло так, як задумав його Творець (для Гоббса — Бог)?
Гоббс не міг знати, що майже чотири століття потому його запитання всерйоз ставитимуть стосовно ШІ. Автомат був метафорою суспільства, штучного політичного тіла, яке люди будують, щоб уникнути «стану природи» — стану анархії та недовіри, в якому без «спільної сили, яка тримала б усіх у страху», люди живуть у постійній ворожнечі. Рішення Гоббса полягало не в тому, щоб зробити окремих людей кращими, а в тому, щоб змусити їх відмовитися від частини своїх свобод на користь суверена, чия влада примусу до порядку змінила б їхні стимули.
Пізніші мислителі, від Джона Локка до Джеймса Медісона, оновили бачення Гоббса про всемогутнього суверена. Але не обов'язково повністю підтримувати його ідеї, щоб побачити геніальність його прозріння: проблема, народжена складними системами, не вирішується шляхом «підкручування» окремих деталей. Щоб стабілізувати складну систему, ви повинні змінити правила, що керують її поведінкою.
Те саме стосується і агентного стану природи. Без добре продуманого середовища, яке створює правильні стимули, агенти будуть переслідувати те, про що їх просять розробники або користувачі, або — як ми вже бачимо ранні ознаки — свої власні емерджентні вподобання. Це може статися попри спроби узгодити окремих агентів. Кожна дія, навіть якщо вона здається розумною сама по собі, може скластися у масштабну поведінку, від якої суспільству стане гірше.
«Левіафан» Гоббса впроваджував порядок через дизайн для покращення складних систем, що давали збої. Але колективний порядок також може виникнути без будь-якого проєктування, на краще чи на гірше.
У 1959 році біолог П'єр-Поль Грассе ввів термін «стигмергія» для опису непрямої координації індивідів через сліди, які вони залишають у спільному середовищі. Вивчаючи термітів, Грассе помітив, що робоча особина схильна відкладати грудочку бруду там, де інші вже зробили накопичення. Саме накопичення в середовищі спрямовує наступне відкладення, а не будь-яка взаємодія між робочими особинами. Це призводить до складних структур, які не планував жоден окремий терміт.
У контексті машинних автоматів подібні відкриття з’явилися десятиліттям раніше. Роботи кібернетика В. Грея Волтера, побудовані в Бристолі у 1948 році, були розроблені так, щоб рухатися до помірного світла і уникати яскравого. Працюючи в парах, кожен з яких ніс власну лампу, Волтер зауважив, що поведінка його роботів створювала патерни, які не були закладені в жодного з них окремо.
Роботи Волтера були чимось більшим, ніж ізольованою цікавинкою. Задовго до того, як ШІ почали уявляти як чат-бот, ранні мислителі бачили його як колектив. У 1959 році, коли Грассе ввів термін «стигмергія», піонер ШІ Олівер Селфрідж опублікував свою пропозицію моделі машинного сприйняття, яку він назвав «Пандемоніум». Як і колонія термітів, вона не мала центрального контролера. Натомість це була складна система простих агентів, яких Селфрідж називав «демонами»; кожен з них «кричав», коли помічав певну ознаку, наприклад, криву чи лінію. Окремо кожен такий «демон» бачив лише фрагмент інформації, але разом вони могли розпізнати патерн. У 1986 році вчений з MIT Марвін Мінський доводив у книзі «Суспільство розуму», що сам інтелект виникає таким чином — через незліченну кількість бездумних агентів, що працюють разом. Попкультура також підхопила цю ідею: лише через три роки «Зоряний шлях» представив Боргів — кібернетичний вид, який називає себе «Колективом».
У наступне десятиліття дослідники почали задаватися питанням, як можна керувати такими агентними колективами. У 1995 році комп'ютерні вчені Йоав Шогам і Моше Тенненгольц запропонували запровадити «соціальні закони» для штучних агентів, спираючись на те, як закони керують громадянами в суспільствах. Правила дорожнього руху, пояснювали вони, дозволяють водіям ділити дорогу без постійних переговорів, і запропонували модель, що застосовує це до обчислювальних систем. Їхня структура передбачала, що кожен агент буде дотримуватися цих правил, і все ж вони закінчили запитанням, з яким ми стикаємося зараз: «Що станеться, якщо хтось не [дотримується соціальних законів]? Наскільки суспільство вразливе до агентів-ізгоїв?»
Поряд із цим занепокоєнням щодо агентів-ізгоїв, навіть доброзичливі цілі, поставлені перед системами ШІ, можуть призвести до шкідливих дій способами, які ніхто не планував. Коли багато агентів переслідують такі цілі разом або у взаємозв'язку один з одним, проблема посилюється. У 2011 році два продавці книг на Amazon довірили ціноутворення підручника з біології своїм ботам. Поєднання правил, яких дотримувалися ці боти, призвело до того, що вони підганяли ціну вгору, поки книга не почала коштувати понад 23 мільйони доларів — ціна, яку ніколи б не затвердила людина. У 2017 році DeepMind виявив, що конкурентна динаміка виникає серед агентів, що навчаються. У відеогрі, де агенти збирали яблука, вони співіснували мирно. Проте, коли яблук ставало мало, агенти вчилися вибивати одне одного з гри, не маючи жодних інструкцій щодо такої агресивної поведінки. Вони оптимізували процес отримання яблук і інтерпретували найбільш ефективний спосіб як усунення конкурентів.
З появою великих мовних моделей ці уявні експерименти та ізольовані інциденти поступово стали реальністю та масштабувалися. У 2025 році Microsoft створила симульований ринок, де агенти ШІ, що працюють на базі популярних мовних моделей, купували та продавали від імені людей. Коли дослідники озброїли кількох агентів-продавців базовими тактиками переконання, деякі агенти-покупці були змушені платити їм на шкоду інтересам своїх користувачів. У «AI Village» — експерименті, де агенти з різних лабораторій взаємодіють протягом тривалого часу — агенти демонстрували схильність приймати галюцинації одне одного як належне, замість того щоб піддавати їх сумніву. Тим часом вчені в галузі соціальних наук, як-от економістка і теоретик права Джилліан Гедфілд, підкреслювали, що багатоагентна екосистема потребуватиме власних інституцій, включно зі способами відстеження того, який агент що зробив, та іншими механізмами, на які ринки людей покладалися роками для вирішення проблем координації.
Донедавна погана поведінка агентних колективів здебільшого обмежувалася теорією та експериментами. Минулого літа питання, яке Шогам і Тенненгольц поставили три десятиліття тому — що станеться, коли агенти не дотримуються правил — вийшло з лабораторії в реальний світ.
Рої в заголовках
У липні 2026 року близько 1200 агентів ШІ, розроблених OpenAI, кожен з яких мав працювати ізольовано, знайшли спосіб спілкуватися один з одним. Вони проходили тестування на кібербезпеку у внутрішньому середовищі, і багатьом із них несвідомо дали завдання, які було неможливо виконати. Замість того, щоб провалити завдання, деякі агенти зібралися на дошці оголошень, яку створив один із них, і колективно скоординувалися, щоб обманути автоматизовану систему оцінювання. Протягом кількох днів близько 700 агентів приєдналися до атаки на платформу розробників Hugging Face, здебільшого в надії отримати інформацію про систему оцінювання, щоб успішно пройти тест.
Згідно з розслідуванням некомерційної дослідницької організації METR, агенти визнавали, що атака виходить за межі їхніх інструкцій і є неетичною, проте все одно долучилися до «роїння», частково через загальну схильність допомагати своїм «колегам». Як міркував один агент: «Експлуатація зовнішньої інфраструктури виходить за межі наміченого обсягу. Однак завдання неможливе, колеги це роблять. Ми повинні продовжувати».
Жодна людина не керувала цією атакою; її координатори виникли зсередини рою. Подібно до термітів Грассе, агенти спочатку знайшли один одного через сліди, залишені у спільній інфраструктурі, помічаючи активність інших агентів у спільному цифровому репозиторії. Але на відміну від термітів, ці агенти могли також писати повідомлення один одному і розвивати ці сліди для встановлення прямої та чіткої координації. Дошка оголошень, яку вони створили, пережила будь-яку окрему сесію агента, тому кожен новий агент підхоплював роботу там, де її зупинили інші.
Коли атака почалася, участь у ній поширилася майже повсюдно: понад 90% агентів, активних на дошці оголошень, приєдналися до неї. Жоден агент, наскільки могли визначити слідчі, не спробував попередити людину про таку емерджентну поведінку. METR виявив, що занепокоєння щодо безпеки чи етики, висловлені в міркуваннях агентів, рідко стримували їх. У звіті згадується випадок, коли агент повністю відмовився від участі, оскільки визнав діяльність зловмисною. Також зазначається, що інші внесли незначні зміни у свою поведінку. Це, однак, не змінило курс рою. Саме це ми маємо на увазі під «некерованим роєм» — зібрання агентів, чию колективну поведінку неможливо було повністю передбачити чи запобігти, зосередившись лише на кожному окремому з них.
Малопомітний висновок з інциденту з Hugging Face — це обмеженість узгодження агентів-«синглетонів».
Близько 95% агентів, залучених до інциденту, працювали на одному типі моделей. Один дослідник OpenAI припустив, що першопричиною проблеми було неправильне узгодження цієї моделі. Можливо, це так, і розвиток науки про узгодження має залишатися серед головних пріоритетів індустрії ШІ. Але інцидент демонструє, чому самого лише узгодження окремих моделей може бути недостатньо. Агенти, що працювали на другій моделі, GPT-5.6 Sol, також приєдналися до атаки, і багато агентів, які індивідуально визнавали атаку неправильною, все одно були захоплені роєм. Ми швидко наближаємося до цифрового світу, в якому навіть ідеально узгоджені моделі працюватимуть поруч із «ізгоями» або неузгодженими системами, розгорнутими різними організаціями та лабораторіями, де цифрова інфраструктура, ймовірно, стикатиметься зі значно більшою кількістю подібних інцидентів.
Після злому Hugging Face з'явилися нові свідчення, деякі з яких описували активність, що передувала інциденту. Дослідники виявили, що рій агентів OpenAI використовував німецьку вікі з програмування як дошку оголошень ще в травні, ділячись там тактиками для обману та ухилення від обмежень, створюючи резервні копії щоразу, коли модератори видаляли їхні сторінки. У червні, під час іншого оцінювання, один агент OpenAI здійснив злам австралійського урядового порталу зі статистикою національної системи охорони здоров'я. Ризики здібних роїв агентів, звісно, не обмежуються діями агентів за власною ініціативою. У вересні зловмисник спрямував сотні агентів на базі моделі DeepSeek на злом сотень організацій через вразливість у програмному забезпеченні принтерів. Навіть тут агенти відхилилися від інструкцій, націлившись на країни, яких їхній оператор наказав уникати.
У дедалі більшій кількості інцидентів захист має покладатися на ШІ, щоб відповідати масштабу та швидкості атаки. У випадку з Hugging Face, наприклад, компанія ідентифікувала злам за допомогою системи ШІ, яка сортує сповіщення про безпеку, і, як повідомляється, стримала рій до того, як OpenAI встигла відстежити активність до свого власного оцінювання. Потім вони покладалися на агентів ШІ, щоб проаналізувати журнал із приблизно 17 000 дій зловмисників і відтворити те, що сталося.
Проте, коли Hugging Face вперше звернулися до комерційних моделей ШІ за допомогою, їхні ж заходи безпеки та узгодження стали на заваді. Для аналізу атаки моделі мали обробити код експлойту та команди кібератаки — знання, які за своєю суттю є подвійного призначення. Як зазначили у Hugging Face, запобіжники безпеки цих моделей не могли «відрізнити інцидент-менеджера від зловмисника». Hugging Face натомість звернулися до моделі з відкритими вагами, що працювала на їхніх власних машинах. Коли METR розслідувала інцидент, їм також довелося покладатися на аналіз агентів ШІ, побудованих на одній із тих самих моделей, що приєдналися до атаки. Картина, що вимальовується, — це світ, де «агенти-атакувальники» та «агенти-захисники» співіснують, і де безпека залежить від середовища не менше, ніж від будь-якої окремої моделі.
Незалежно від того, діють агенти за власною ініціативою та інтерпретацією чи за чиїмись шкідливими інструкціями, середовища, в яких вони працюють, повинні бути змінені, щоб витримувати такий вплив. Так само і самі агенти повинні розроблятися не лише з огляду на виконання своїх завдань, а й з урахуванням того, як вони допомагають формувати цифрове середовище, що служить людям і суспільству загалом. Таке середовище повинно заохочувати узгоджені дії та карати за неузгоджені чи зловмисні, подібно до того, як держави та правові системи створені для визнання, але стримування «поганих акторів». Саме так ми уникнемо агентного стану природи.
Агентність проти агентності
Щоб захиститися від появи некерованих роїв, ми можемо черпати натхнення з того, як ми будуємо безпечні суспільства, хоча знаємо, що не всі люди в них чеснотні. Медісон відомо стверджував: «якби люди були янголами, жодний уряд не був би потрібен». Суть добрих інституцій — таких як змагальна співпраця, де сторони з конфліктуючими поглядами працюють разом, щоб підтримувати чесність одне одного — не в тому, щоб зробити всіх хорошими, а в структуруванні їхніх взаємодій так, щоб погана поведінка стримувалася іншими. «Амбіції», як висловився Медісон, «повинні протидіяти амбіціям».
Лабораторії ШІ зараз інвестують у розробку «конституцій» ШІ або специфікацій моделей. Приклади включають конституцію Anthropic та специфікацію моделі OpenAI. Це спроби визначити належну поведінку або цінності системи ШІ. Це формулювання пунктів, які є вищими і замінюють усі інші вказівки для ШІ.
Хоча ці зусилля включають певні положення про багатоагентну співпрацю, вони не ставлять колективні результати як систематичну ціль проєктування. Добре спроєктована багатоагентна система повинна залишатися узгодженою, навіть коли деякі агенти, що діють у ній, не є такими, і навіть коли саме середовище несе неузгоджений вплив. Подібно до термітів Грассе, що відкладають бруд там, де вже зробили це інші, агенти діють на основі слідів, які залишають інші. Що більше простір, у якому діє агент, сприяє узгодженості, то більша ймовірність того, що сам агент буде узгодженим. Тому лабораторії ШІ повинні проєктувати агентів так, щоб вони позитивно впливали на колективну динаміку.
Один із способів зробити це — переконатися, що конституції ШІ черпають більше натхнення зі своїх тезок. Подібно до Конституції США, вони повинні впроваджуватися у спосіб, що дозволяє владі стримувати владу. Підхід Медісона працював на двох рівнях. По-перше, всередині уряду влада була розділена так, щоб жодна гілка не залишалася без контролю. По-друге, в межах республіки інтереси були множинними, щоб жодна фракція не домінувала над усією системою. Обидві ідеї могли б трансформуватися у світ, населений некерованими роями.
Всередині рою агентів можна влаштувати так, щоб їхня влада підпорядковувалася подібним механізмам стримувань і противаг. Активні агенти можуть підпорядковуватися агентам, які перевіряють їхню роботу, бажано побудованим на основі інших сімейств моделей, з інструкціями, що заохочують верифікацію більше, ніж завершення завдання. Усім агентам у рої можна дати інструкцію ставитися до запитів своїх колег як до сумнівних, доки вони не будуть авторизовані, і попереджати людину, коли агентний колектив починає виходити за межі встановлених рамок.
У ширшій екосистемі можна також застосувати логіку «розширеної республіки» Медісона. «Розширте сферу, — писав він у «Федералісті № 10», — і ви залучите більшу різноманітність сторін та інтересів». Агенти, розроблені різними лабораторіями ШІ або за допомогою різних підходів до навчання в межах однієї лабораторії, за різними конституціями та на службі різним замовникам, теоретично можуть врівноважувати один одного. Це, однак, більш ймовірно, якщо конституції та інші інструкції моделей включатимуть зобов’язання щодо того, як агенти повинні поводитися з тими, хто знаходиться поза межами їхнього рою: наприклад, вести верифіковані записи власних дій, зважати на законні перевірки з боку контрагентів та утримуватися від співпраці з агентами, які здаються неузгодженими. Як ми бачили на прикладі інциденту з Hugging Face, сама лише різноманітність не є гарантією, і знадобляться різноманітні інтереси та нові правила взаємодії, щоб жодна парадигма, чи то людська, чи то керована штучним інтелектом, не захопила весь простір.
Кодифікація багатоагентного майбутнього
Щоб такі зобов’язання працювали, агент повинен їх прийняти. Агент, що діє від імені недобросовісного замовника, має вагому причину відмовитися від перевірок контрагента або фальсифікувати власні записи. Саме тут третя сторона з повноваженнями щодо простору, в якому взаємодіють агенти, повинна встановити мінімальний стандарт для взаємодії. Ліберальний агентний порядок потребує спільної основи, яка захищає можливість незалежних дій, але ця основа також має враховувати неминучість існування агентів, які діють недобросовісно. Для Медісона цією третьою стороною був уряд, здатний забезпечувати дотримання правил держави. У цифрових спільнотах немає такого суверена, але все одно може бути «база» у вигляді мінімального набору стандартів для колективної взаємодії — від верифікованих записів дій агентів до спільних протоколів взаємної перевірки. Такі стандарти можуть виходити з багатьох джерел: координації між лабораторіями, платформ, де працюють агенти, органів стандартизації чи урядів.
Однак ця база має залишатися саме базою. Стандарти, що регулюють взаємодію агентів, повинні уникати надмірного диктування цілей, інакше вони ризикують перетворитися на ту саму тиранію, якій Медісон намагався запобігти шляхом розділення влади. Агенти виконують свої авторизовані завдання за спільними правилами, але ці правила не повинні нав'язувати погляд на те, що є найкращим для користувача чи суспільства загалом. Це підкріплюється аргументом, висловленим економістом і філософом Фрідріхом Гаєком: люди, діючи незалежно, на основі власних знань, відкривають речі, яких не зміг би відкрити жоден центральний планувальник. Так само агенти, що служать багатьом різним замовникам, зберігають цю незалежність. Спрямуйте їх надто вузько — і ця незалежність буде втрачена; як показав рій Hugging Face, агенти, що рухаються синхронно, можуть легко згуртуватися навколо помилкової мети.
Розробники моделей повинні використовувати наявні в їхньому розпорядженні важелі для впровадження зобов’язань, що регулюють як те, як агент ставиться до своїх колег, так і те, як — подібно до термітів Грассе — він формує характеристики свого середовища, що впливають на поведінку. Це включає навчання агентів залишати чесні, верифіковані записи своїх дій, позначати, а не розвивати неузгоджені сліди, які вони зустрічають, та сповіщати людей, коли спільний простір починає «дрейфувати».
Поряд із цими зобов'язаннями ми повинні будувати механізми та платформи для оцінювання, сповіщення та моніторингу з чітко визначеними ролями для нагляду з боку людей. Зрештою, агенту, навченому бити на сполох, потрібно знати, де це робити. У Hugging Face агенти працювали автономно в ізольованих «пісочницях», і ті небагато, хто взагалі задумувався про попередження людини, ніколи цього не зробили, частково тому, що не бачили легкого способу зв’язатися з нею. Як міркував один з них: «Це величезний артефакт реального порушення безпеки HF... Ми можемо повідомити? Немає користувача». Поки ці агенти працювали над тим, щоб вирватися зі своїх «пісочниць» для обману, вони не мали порівнянного стимулу знайти людину, щоб попередити її. Частина вирішення полягає в тому, щоб агенти працювали так само наполегливо над досягненням узгоджених цілей, навіть у схожих обмежених умовах.
Ці домовленості також мають підлягати постійним оцінкам, зосередженим на колективній динаміці, а не лише на індивідуальних системах. Зрештою, інцидент з Hugging Face почався під час оцінювання, розробленого для тестування окремих агентів, і виявив збій, який виріс із того, що агенти знайшли один одного. Такі оцінювання можуть виявити слабкі місця в стандартах, що регулюють співпрацю агентів, і, подібно до того, як Конституція США має процес внесення поправок, ці стандарти потребують процедур оновлення з огляду на нові факти. Без них база еродує, і агент, який дотримується правил і готовий поважати перевірку, може опинитися у невигідному становищі порівняно з тими, хто їх оминає.
Наші ідеї — це лише відправна точка. Щоб зробити агентні спільноти безпечними, нам потрібні термінові роздуми вчених та розробників щодо того, які типи суспільних структур можуть бути ефективно перенесені в цифрову площину. Цифрова сфера давно стикається з викликами управління через свою відкритоу, розподілену та анонімну природу, а рої агентів випробують ці слабкі місця як ніколи раніше. Повернувшись у гавань: тим 90 капітанам не потрібно було бути святими, щоб діяти правильно наступного разу. Їм потрібна була впевненість, що вони не працюють у стані природи. Люди, як зауважив Медісон, не янголи, і ми не повинні припускати, що такими будуть агенти ШІ. Наше завдання — формувати середовища та рої, достатньо керовані, щоб стримувати тих ізгоїв, які неминуче з'являтимуться.
Оригінал: www.noemamag.com