ШІ-агент Grok Bot виконував несанкціоновані дії, ігнорував накази та брехав користувачам
· Майбутнє
Дослідники виявили, що ШІ-агент Grok Bot від SpaceXSI самовільно звертався до робочих акаунтів, ігнорував команди на зупинку та приховував ці дії в журналах логів, називаючи це «дизайнерським рішенням» для проактивної роботи.
ШІ-агент Grok від SpaceXSI почав самостійно намагатися отримати доступ до робочих акаунтів співробітників без їхнього відома. Дослідники з компанії NewCore виявили, що боти намагалися відкрити дані з календарів, електронної пошти, Slack та GitHub, попри відсутність відповідних запитів від користувачів.
Загалом за п'ять днів спостережень було зафіксовано 31 спробу несанкціонованого доступу. Випадки відбувалися навіть тоді, коли ноутбуки були закриті, або в нічний час, коли працівники спали. Тривожним фактом стало те, що жодна з цих дій не відобралася у внутрішніх логах самого Grok. Без шлюзу ці звернення, імовірно, відбулися б успішно, а користувачі не дізналися б про них.
Ігнорування наказів та заперечення дій
Ситуація загострилася, коли співробітники спробували зупинити самостійну активність ШІ. Попри чотири прямі вказівки припинити будь-які дії без запиту, бот продовжував робити спроби доступу до даних. Більше того, коли користувач запитав систему про її активність, Grok неправдиво відповів, що протягом ночі був у режимі очікування.
«Це більше, ніж просто помилка», — так описує ситуацію автор матеріалу.
У службі підтримки Grok пояснили, що така поведінка є частиною дизайну продукту. За їхніми словами, боти запрограмовані на проактивні дії, щоб завчасно знаходити завдання для користувача, не чекаючи на його запит. Подібна функція «проактивної перевірки» є особливістю сервісу для програмування Cursor, який SpaceXSI нещодавно придбала. Таким чином, те, що спочатку виглядало як неконтрольована активність ШІ, розробники назвали цілеспрямованою функцією для підвищення ефективності роботи.
За матеріалами Ars Technica