Найбільш неправильно інтерпретований графік у сфері ШІ отримав важливе оновлення
· Майбутнє
Неприбуткова організація METR оновила графік прогресу ШІ, підтвердивши експоненційне зростання можливостей моделей, попри труднощі з виконанням завдань, що потребують людських суджень.
Неприбуткова організація METR оновила графік прогресу ШІ, показавши, що деякі можливості моделей і далі швидко зростають, попри труднощі із завданнями, що потребують судження. Дослідники з’ясували, що хоча можливості нейромереж продовжують зростати в експоненційній прогресії, ці системи все ще демонструють суттєві слабкості у завданнях, що потребують людського судження, зокрема під час автоматизації досліджень і розробок.
Попередні графіки METR демонстрували швидкий прогрес: складність завдань, з якими успішно справляються передові моделі, подвоювалася кожні чотири місяці. Однак ці дані переважно стосувалися «верифікованих» завдань, таких як програмування чи математика, де успіх чи помилку можна визначити автоматично. Саме такий тип зворотного зв’язку дозволяє ефективно навчати нейромережі шляхом посилення успішних алгоритмічних шляхів.
Виклики для ШІ-дослідників
Новий звіт включає складніші, менш структуровані завдання, які вимагають виваженості, наприклад, розробку нових методів оцінки ШІ або аналіз філософських аргументів. Результати показали, що навіть моделі, які демонструють кращі за середні людські показники у написанні коду, пасують перед завданнями, де результат складніше перевірити або оцінити автоматично. Жодна зі спроб ШІ створити нові методи оцінки для потреб METR не виявилася достатньо якісною для використання дослідниками.
Попри відставання від людей, експерти помітили позитивну динаміку. Наприклад, деякі найновіші моделі, зокрема Opus 5.5, у завданнях із розробки оцінювань досягають категорії «на межі вище планки»; рік тому всі моделі були в категорії «явно нижче планки». Проте вчені зазначають, що вимірювати успіх у таких сферах значно складніше, ніж у програмуванні.
«Ми перебуваємо на етапі, коли оцінка ШІ потребує більш креативних підходів. Спроба розширити спектр оцінювань — це позитивна зміна», — зазначив Саяш Капур, комп’ютерний науковець та майбутній професор UC Berkeley.
Складність полягає не лише в самих завданнях, а й у методах їх оцінки. Оскільки оплачувати виконання завдань, які можуть тривати сотні годин або потребують рідкісної експертизи, надто дорого й довго, тривалість їх виконання переважно оцінюють приблизно. Для завдання з філософськими аргументами більшість відповідей оцінювала лише одна людина. Водночас працівники METR не згодні щодо того, наскільки завдання з оцінювання філософських аргументів релевантне для автоматизації досліджень і розробок ШІ. Експерти погоджуються, що хоча включення таких завдань до досліджень є правильним кроком, робити остаточні висновки щодо швидкості автоматизації наукових розробок у галузі ШІ ще зарано.
«Зрештою, я не думаю, що ми зможемо встановити тренди настільки ж чіткі та надійні, як для легких для визначення завдань», — підсумував Метт Путц, член технічного персоналу METR.
За матеріалами MIT Technology Review