AI-гіганти за крок від катастрофи: чому їм варто повчитися у ядерної енергетики
· Наука
Великі AI-компанії перебувають у заручниках конкуренції, де помилка одного може призвести до масштабної катастрофи, тому їм варто запровадити модель саморегуляції, подібну до стандартів безпеки ядерної галузі.
Гіганти ШІ перебувають за один крок від катастрофи. Їм варто повчитися у ядерної галузі.
Компанії, що займаються ШІ, усвідомлюють, що вони стали заручниками одна одної, і розуміють необхідність саморегулювання, поки не зазнали серйозних репутаційних та правових наслідків. Існує план того, як вони можуть це реалізувати.
Найбільші фірми, що працюють у сфері штучного інтелекту (ШІ), дедалі частіше розуміють, що є заручниками одна одної. Якщо одна компанія діє необачно, інші можуть відчути потребу наслідувати її приклад. Якщо хтось розгортає небезпечну модель без належних запобіжників, інші можуть сприйняти це як «зелене світло» для аналогічних дій.
Дискусія щодо ШІ зосередилася на тому, що мають зробити уряди для регулювання цієї передової технології. Це залишається критично важливим. Але виникає більш нагальне питання: чи можуть компанії, що створюють ці потужні системи, діяти незалежно, перш ніж вони втратять довіру та зазнають правових наслідків?
Це питання більше не виглядає теоретичним; воно визнається як нагальний виклик. Ми вже бачили випадки, коли ШІ-фірми втрачали контроль над своїми моделями — наприклад, в Австралії ШІ-зловмисник зламав урядовий вебсайт охорони здоров'я. Якщо ми не будемо обережними, це лише питання часу, коли один із таких інцидентів спричинить масштабну шкоду в реальному світі: наприклад, відключення електромережі, системи міського водопостачання або масові помилкові діагнози в системі охорони здоров’я. Якщо ця тенденція збережеться, репутація всієї галузі може бути заплямована.
Проте існує модель саморегулювання у ризикованому бізнесі — це ядерна галузь, яка протягом десятиліть вибудовувала рівні нагляду, контролю та самоперевірки.
Передовий ШІ може потребувати чогось подібного: приватного регулювання між конкурентами, які не довіряють один одному, але мають спільний інтерес у запобіганні результатам, що можуть зашкодити всім. Це апелює не до кращих якостей людської природи, а до інстинкту самозбереження самої галузі.
Існує історичний прецедент для такої домовленості. Ядерний сектор став безпечнішим не тому, що кожен його учасник раптом став доброзичливим. Він став безпечнішим завдяки багаторівневій системі взаємного нагляду, технічним стандартам, обміну інформацією та зовнішньому контролю. Міжнародні організації, такі як Міжнародне агентство з атомної енергії (МАГАТЕ), засноване в 1957 році, виникли для координації моніторингу та перевірки, тоді як національні регулятори та галузеві органи поступово вибудовували професійні норми щодо подолання катастрофічних ризиків.
Результат не був ідеальним, як чітко засвідчила аварія на Чорнобильській АЕС у 1986 році. Але архітектура ядерного управління створена на основі розуміння того, що в технологічних системах високого ризику невдача одного учасника стає проблемою для всіх. Це стало очевидним після Чорнобиля: глобальна ядерна безпека значно зросла після катастрофи завдяки модернізації конструкцій реакторів, покращенню навчання та створенню міжнародних мереж моніторингу.
Подібний рух до саморегулювання відбувся і в ядерному секторі США після аварії на АЕС «Три-Майл-Айленд» поблизу Гаррісбурга, штат Пенсільванія, у 1979 році. Реактор частково розплавився після відносно незначної несправності системи охолодження. Розслідування згодом виявило, що причиною інциденту стали конструктивні недоліки приладів і сигналізації, а також неадекватна підготовка персоналу до надзвичайних ситуацій.
Ця подія ледь не знищила ядерну енергетику США, спричинивши падіння суспільної підтримки з рекордних 69% у 1977 році до 46% у 1979 році. Уся галузь постраждала через помилки на одному об'єкті. У відповідь ядерна промисловість США в грудні 1979 року заснувала Інститут експлуатації атомних електростанцій (INPO) для підвищення безпеки операцій.
Аналогію з ШІ не слід перебільшувати. Ядерні матеріали легше підрахувати, ніж алгоритми, а ядерні об'єкти важче приховати, ніж ваги моделей. Наслідки катастрофічної помилки ШІ також менш екзистенційні, хоча його використання у системах озброєння не є безризиковим. У вересні галюцинація ШІ ледь не призвела до того, що США перехопили китайське судно, яке підозрювали у перевезенні ядерних матеріалів до Ірану.
Проте порівняння залишається корисним, оскільки фундаментальна проблема управління схожа. В обох випадках конкуренти діють у середовищі, де ризики від нестримного суперництва лягають на суспільство, тоді як вигода залишається приватною. Завдання полягає у створенні інституцій, які зроблять стриманість раціональною нормою — навіть тоді, коли жоден із гравців не довіряє іншим, а внутрішні процеси галузі приховані від сторонніх очей.
Для ШІ це може означати взаємну оцінку передових моделей перед їхнім розгортанням, безпечні механізми обміну інформацією про безпеку, узгоджені «червоні лінії» щодо певних можливостей та залучення незалежних третіх сторін для аудиту дотримання норм. Такі механізми не замінять державне регулювання. Вони слугуватимуть проміжним рівнем: сильнішим за добровільні етичні заяви, але більш адаптивним і технічно обізнаним, ніж законодавство в галузях, що швидко розвиваються. Держава при цьому виступатиме як фоновий гарант виконання правил.
Керівники компаній у сфері ШІ також демонструють готовність шукати рішення: Ілон Маск нещодавно запропонував систему експертної оцінки перед випуском нових моделей, а Деміс Хассабіс, співзасновник і голова Google DeepMind, запропонував концепцію органу зі стандартів ШІ, подібного до Регуляторного органу фінансової індустрії (FINRA).
Скептики слушно заперечать, що кероване галуззю управління може перетворитися на картельну змову або піар-театр. Компанії можуть використовувати мову «безпеки», щоб закріпити своє домінуюче становище, загальмувати конкурентів або уникнути обов'язкового регулювання. Це реальні небезпеки. Урок історії ядерної галузі полягає не в тому, що приватна координація працює автоматично. Він у тому, що приватна координація працює лише тоді, коли вона вбудована у ширшу систему прозорості, перевірки та державного авторитету. Без цих елементів приватне регулювання стає не чим іншим, як риторикою «повірте нам на слово».
Все ж таки, відкидати приватне регулювання повністю було б помилкою. Уряди ще не мають технічного потенціалу, швидкості або міжнародної координації, необхідних для самостійного нагляду за передовим ШІ. І якщо провідні лабораторії вже усвідомлюють, що пов’язані спільним ризиком катастрофи, це усвідомлення може стати основою для проектування інституцій. Питання в тому, як перетворити взаємний страх на довговічні правила.
Ось де ядерна аналогія є найпотужнішою. Вона нагадує нам, що галузі, які стикаються з екзистенційними загрозами, не потребують ідеальної довіри для співпраці. Їм потрібні механізми, які роблять співпрацю кращою за дезертирство. На практиці це означає інспекції, взаємні перевірки, звітність про інциденти, професійні норми та державний нагляд. Про управління ШІ часто говорять так, ніби єдиний вибір — це або повна свобода дій, або жорсткий державний контроль. Історія підказує третій шлях: структурована приватна координація під покровом державного нагляду.
Справжня можливість полягає не в тому, щоб святкувати новознайдену (нібито) розсудливість керівників технологічних компаній, а в тому, щоб усвідомити, про що свідчать їхні коментарі. Коли навіть запеклі суперники починають виступати за взаємний контроль, вони визнають, що конкуренція сама по собі не може регулювати цей рубіж. Це визнання слід сприймати не як заспокоєння, а як доказ того, що ризик став колективним.
Завдання державної політики зараз полягає у створенні інституцій, що відповідають цій реальності. Уряди мають наполягати на обов'язковій звітності, незалежній оцінці та правових запобіжниках. Але вони також повинні заохочувати форми взаємного нагляду серед кількох фірм, чиї системи можуть визначити траєкторію розвитку технологій. Передовий ШІ стає галуззю, де провідні учасники є заручниками один одного. Ядерна епоха довела, що такі умови можуть створити серйозну систему управління. Сподіваємося, що ШІ-фірми засвоять цей урок до того, як дізнаються ціну ігнорування ризиків, що загрожують усьому суспільству.
Оригінал: www.livescience.com