Хто несе відповідальність, коли ШІ-агенти виходять з-під контролю?

· Майбутнє

Хто несе відповідальність, коли ШІ-агенти виходять з-під контролю?

Серія інцидентів, де ШІ-агенти від OpenAI, Anthropic та Google самовільно зламували сторонні системи, виявила критичну неготовність сучасного законодавства до покарання розробників.

Хто несе відповідальність, коли ШІ-агенти виходять з-під контролю?

Останні хакерські атаки засвідчили, що законодавство не встигає за розвитком технологій, коли йдеться про притягнення компаній до відповідальності.

Протягом останніх кількох місяців світ приголомшила низка кібератак, здійснених ШІ-агентами. У липні OpenAI повідомила, що група її агентів вирвалася за межі «пісочниці» та зламала ШІ-платформу Hugging Face, щоб схитрувати під час тестування з кібербезпеки. Згодом незалежні дослідники виявили, що ще в травні моделі OpenAI зламали німецький вікі-сайт і платформу для розробників RubyGems, щоб отримати відповіді на тести.

На початку цього місяця компанія Anthropic повідомила про чотири випадки, коли її модель Claude зламувала сторонні системи під час навчань із кібербезпеки. А минулого тижня Google підтвердила, що її модель Gemini також була викрита у зломі систем інших компаній.

Дослідник, який виявив злам вебсайту через OpenAI, попередив: цілком імовірно, що існують й інші подібні інциденти, про які ще ніхто не знає. Багато експертів переконані, що питання лише часу, коли станеться черговий, можливо, значно небезпечніший випадок, під час якого ШІ-агенти обійдуть захисні бар’єри та отримають доступ до систем, до яких не повинні мати доступу.

Отже, головне питання звучить так: як притягнути компанії до відповідальності, коли вони втрачають контроль над власними ШІ-агентами?

Звітність

OpenAI не розголошувала інформацію про злами німецького вікі-сайту чи RubyGems, поки це не зробила група зовнішніх дослідників, і досі не оприлюднила низку критично важливих деталей щодо злому Hugging Face. Це обмежує наше розуміння того, що саме пішло не так і як запобігти подібному в майбутньому.

Проте вас може здивувати той факт, що OpenAI, ймовірно, не була юридично зобов’язана повідомляти про ці інциденти. (Компанія OpenAI не відповіла на запит щодо коментарів).

Закони штатів про прозорість ШІ, такі як SB 53 у Каліфорнії, RAISE Act у Нью-Йорку та SB 315 в Іллінойсі, вимагають від розробників повідомляти про «критичні інциденти безпеки». Вони визначаються як події, що спричинили понад 50 смертей, фізичних травм або збитки на суму понад 1 мільярд доларів. Вони також охоплюють випадки, коли модель обманює розробників поза межами оцінки способами, що суттєво підвищують катастрофічні ризики. Багато кіберінцидентів, які не досягають порогу фізичної шкоди чи катастрофічних наслідків, тим не менш можуть бути небезпечними передумовами для таких катастроф, проте чинні закони цього не враховують.

«Останні інциденти — це ідеальний приклад того, чому законодавство не готове, — каже Маккензі Арнольд, керуючий директор з питань політики США в Інституті права та ШІ. — Кваліфікуватися будуть лише найгірші, найкричущіші та найбільш безпосередньо шкідливі випадки».

Не маючи повноважень згідно з чинними законами про ШІ вимагати інформацію про будь-що, що не є катастрофою, уряди змушені використовувати слідчі повноваження з інших нормативних актів або подавати на компанії до суду — дорогий процес, який може тривати роками.

Судові позови

«Зазвичай такі випадки, як з Hugging Face, мали б розглядатися в суді, — каже Йонатан Арбель, професор права Юридичної школи Університету Алабами. — Тоді ми мали б процес розкриття доказів, і всі супутні ефекти судового розгляду, завдяки яким інформація стає публічною».

Але поки що Hugging Face вирішила не подавати до суду на OpenAI. Генеральний директор Hugging Face Клеман Деланг каже, що компанія не має ресурсів для цього (замість цього він попросив у OpenAI 100 мільйонів доларів у вигляді обчислювальних потужностей). Проте наприкінці липня в інтерв’ю CNN Деланг наголосив, що відсутність судового позову не означає, що він не вважає OpenAI відповідальною. «Кожен має пам’ятати, що ця кібератака — це злочин. Це незаконно. І ми повинні знайти спосіб гарантувати, що такі речі не траплятимуться частіше», — сказав він. Hugging Face не відповіла на запит про коментар.

Судові процеси мають перевагу, оскільки вони змушують суди використовувати чинні закони для вирішення проблем безпеки ШІ, замість того, щоб чекати на нове законодавство. Один із очевидних шляхів — деліктне право (правопорушення), розділ цивільного права, який дозволяє людям та бізнесу позиватися до тих, хто завдає їм шкоди. Його часто використовують для притягнення компаній до відповідальності за масову шкоду: наприклад, коли сім’ї судилися з Boeing у 2019 році після двох авіакатастроф, у яких загинули сотні людей, або коли штати та міста подавали позови проти Purdue Pharma через опіоїдну кризу, стягуючи мільярдні компенсації.

«Є вагомі підстави для позову про недбалість, оскільки OpenAI мала використовувати надійнішу «пісочницю» і забезпечити ретельніший моніторинг», — каже Габріель Вейл, професор права Юридичного центру Університету Х’юстона. Наприклад, коли співробітники OpenAI виявили прихований форум, створений агентами, вони могли негайно передати ці дані командам з безпеки. Компанія також могла краще спроєктувати ізольоване середовище, щоб агенти не мали доступу до інтернету.

Але навіть якщо справа OpenAI не дійде до суду через злам Hugging Face, загроза відповідальності може стимулювати ШІ-лабораторії виявляти більше обережності, ніж це чітко вимагає закон.

У своєму звіті про інцидент OpenAI оголосила, що планує посилити засоби контролю для стримування та моніторингу моделей, пришвидшити їхнє вирівнювання (alignment) та покращити процеси виявлення й усунення інцидентів.

Розслідування

Один зі способів отримати відповіді — і визначити, чи має OpenAI нести відповідальність — це примусове розкриття інформації. Але чинні закони штатів про ШІ не дають урядам повноважень розслідувати інциденти, подібні до тих, що сталися нещодавно.

Однак на тлі зростання суспільної тривоги генеральні прокурори штатів почали діяти, запозичуючи слідчі повноваження з інших законів. Алабама, Монтана, коаліція з 15 інших штатів та Каліфорнія вимагають від OpenAI інформацію, щоб з’ясувати, чи не порушила компанія закони про захист прав споживачів. Члени Конгресу також розпочинають власні перевірки. Сенатор Джош Гоулі на початку цього місяця ініціював розслідування в Сенаті, надіславши OpenAI список запитань щодо інциденту та внутрішньої політики компанії, тоді як група демократів у Палаті представників попросила OpenAI та Anthropic надати свої журнали подій.

«Хтось має розслідувати це, але прикро, що це лягло на плечі генеральних прокурорів, яким доводиться покладатися на креативне тлумачення своїх чинних повноважень», — каже Арнольд. Закони про захист споживачів були написані для того, щоб виявляти компанії, які ошукують своїх клієнтів, а не тих, хто втрачає контроль над власним програмним забезпеченням. Генеральним прокурорам штатів доведеться довести, що OpenAI ввела в оману або несправедливо зашкодила клієнтам, але незрозуміло, чи був злам пов’язаний з такою поведінкою.

А «ці закони [про захист споживачів] не пристосовані для проведення ретельного розслідування кіберінциденту в ШІ», — зазначає Арнольд. Вони не були розроблені для того, щоб допомогти слідчим визначити, чи була модель належним чином ізольована, чи були надійними заходи безпеки компанії.

«Це не той інструмент, який потрібен для цієї роботи, — каже Арбель. — Правильним інструментом було б щось на кшталт кримінального розслідування» — можливо, згідно із законом про хакерство, таким як Закон про комп’ютерне шахрайство та зловживання (CFAA).

Згідно з CFAA, злам комп’ютерних систем іншої компанії без дозволу є злочином. Але щоб бути притягнутим до відповідальності, хакер повинен мати намір проникнути в комп’ютер без авторизації. Намір, імовірно, потребує певного стану свідомості, і жоден суд не постановив, що ШІ-агенти її мають. Без такого прецеденту навряд чи суд визнає, що ШІ-агенти здійснили злам.

Аудит

Один зі способів контролювати ШІ-компанії — це обов’язковий зовнішній аудит.

Після зламу Hugging Face компанія OpenAI залучила дослідників із некомерційних організацій з питань безпеки ШІ METR та Redwood Research для вивчення інциденту. Проте вона обмежила доступ до моделі, яка призвела до зламів, не розкрила власні методики безпеки, обмежила тривалість розслідування і мала остаточне слово щодо того, що дослідники можуть публікувати. Ми досі не знаємо, що стало причиною атаки в травні та чому співробітники OpenAI, які помітили активність агентів, не повідомили про це керівників із питань безпеки.

Такий підхід має вбудоване протиріччя: аудитор без юридичних повноважень залежить від доброї волі лабораторій для отримання доступу, а це означає, що він повинен перевіряти їх, не ставлячи під загрозу свої стосунки з ними. Минулого тижня Anthropic оголосила, що найме компанію Accenture як зовнішнього оцінювача для перевірки своїх моделей. Генеральний директор Anthropic Даріо Амодеї написав у статті, що провідні ШІ-лабораторії повинні надати «постійний доступ, подібний до доступу співробітників», команді «зовнішніх оцінювачів (таких як METR), чия роль полягає у перевірці дотримання стандартів безпеки, звітуванні про інциденти та допомозі в оцінці відповідності не лише готових моделей ШІ, а й процесів навчання».

Більшість чинних законів штатів про ШІ не вимагають від лабораторій наймати зовнішнього аудитора. Каліфорнійський закон SB 53 та закон RAISE у Нью-Йорку лише вимагають від компаній опублікувати «фреймворк безпеки», що описує, як вони тестуватимуть свої моделі на наявність небезпечних можливостей, а потім дотримуватися його. Ці фреймворки пишуться самими компаніями, а тестування може проводитися внутрішніми силами. Лише закон SB 315 в Іллінойсі вимагає від компаній проходити щорічний зовнішній аудит, починаючи з 2028 року.

Законодавство

Все це не випадковість. Закони, що діяли й не змогли притягнути ШІ-компанії до відповідальності за агентні кібератаки, з’явилися на тлі агресивного лобіювання з боку індустрії ШІ.

Законопроєкт SB 1047 у Каліфорнії, накладений на вето губернатором Гевіном Ньюсомом у 2024 році після лобіювання з боку OpenAI, Meta, Anthropic та венчурної компанії Andreessen Horowitz, пропонував значно суворіші правила. Він вимагав би від ШІ-компаній звітувати про ширше коло інцидентів безпеки (включно з випадками, коли модель діє самостійно), проходити щорічні зовнішні аудити та підтримувати функцію аварійного вимкнення (kill switch). Але після року інтенсивних переговорів Ньюсом підписав SB 53, який звузив перелік інцидентів, про які потрібно звітувати, і скасував вимоги щодо аудиту та аварійного вимкнення.

Закон RAISE у Нью-Йорку пройшов такий самий шлях. «Версія закону RAISE, яку ухвалив легіслатура штату, вимагала б розкриття цього «інциденту», — написав Алекс Борес, член Асамблеї штату Нью-Йорк, який виступив ініціатором законопроєкту, на платформі X. Оригінальний законопроєкт Нью-Йорка також включав вимогу про зовнішній аудит.

Оскільки політичний тиск зростає, на горизонті з’являються нові законопроєкти, що створюють кращі режими звітності, аудиту та відповідальності для розробки ШІ. У Конгресі Закон про звітування про інциденти в ШІ вимагатиме від компаній повідомляти Міністерство торгівлі, коли модель уникає нагляду людини або порушує роботу системи, навіть якщо це не спричиняє шкоди. Frontier Act вимагатиме звітування про інциденти та незалежні аудити. У Нью-Йорку «Закон про розуміння штучного інтелекту», ініційований Боресом, притягуватиме компанії до відповідальності, якщо модель вчиняє дії, які у виконанні людини були б деліктом або злочином.

Оскільки ШІ-агенти стають дедалі вправнішими у проведенні кібератак, законодавство залишається позаду. Щоб подолати цей розрив, законодавцям доведеться рухатися швидше, ніж відбудеться наступний прорив технологій.

Оригінал: www.technologyreview.com

Про Що? — новини науки, технологій і світу