Він хоче перетворити тестування ШІ з «мистецтва» на точну науку
· Наука
Бенчмарки в ШІ стали маніпулятивними інструментами, які не відображають реальний інтелект, і комп'ютерний науковець Моріц Хардт закликає до докорінної реформи методології оцінки моделей.
Він хоче, щоб оцінювання ШІ стало наукою, а не «темним мистецтвом»
Вступ
Бенчмарки є мірилами штучного інтелекту в обох значеннях цього слова. Як інструменти вимірювання вони діють за надзвичайно простою логікою: якщо ви хочете знати, на що здатна модель ШІ, розробіть стандартизований тест для її оцінки. Проте бенчмарки також можуть диктувати поведінку цілої галузі.
У 1987 році перший бенчмарк Агентства передових оборонних дослідницьких проєктів (DARPA) з автоматичного перекладу мови в текст показав, що найсучасніший на той час ШІ не може перевершити так звані «дурні» статистичні підходи. Ці низькі результати допомогли спровокувати «зиму ШІ». На 25 років інтерес до досліджень у цій галузі згас, а фінансування вичерпалося.
Потім, у 2012 році, інший бенчмарк під назвою ImageNet повернув маятник у протилежний бік. Восьмишарова нейронна мережа обійшла інші алгоритми в класифікації зображень і дала старт «революції глибинного навчання».
Сьогодні нові бенчмарки для ШІ, орієнтовані на великі мовні моделі (LLM), як-от GPT-6 Astra від OpenAI, створюються та вирішуються з регулярністю годинникового механізму, претендуючи на вимірювання всього: від вузькоспеціалізованих знань до «загального інтелекту». Але замість того, щоб вітати цю тенденцію як доказ шаленого потенціалу ШІ, багато хто в цій галузі — як скептики, так і оптимісти — сприймає це як свідчення того, що сама система оцінювання стала фатально хибною.
Моріц Гардт, комп'ютерний науковець і директор Інституту інтелектуальних систем Макса Планка, погоджується з цим діагнозом. Невдовзі після результатів ImageNet він почав думати, що системи машинного навчання можуть обігрувати таблиці лідерів, «не роблячи нічого інтелектуального». «Тут немає двох думок, — сказав він. — Екосистема бенчмаркінгу зламана».
У своїй книзі 2026 року «Наука, що виникає: бенчмарки машинного навчання» (The Emerging Science of Machine Learning Benchmarks) Гардт висуває провокаційну тезу про те, що ці інструменти вимірювання були зламані десятиліттями: бенчмарки, пише він, є «помилкою, яка створила машинне навчання». Зокрема, він стверджує, що замість створення кризи відтворюваності, вони все одно сприяли реальному прогресу — на його думку, «переважно завдяки чистому везінню». Розуміючи причини цього, ми можемо пояснити, як бенчмарки втратили свою випадкову достовірність в епоху LLM і як вони можуть її повернути.
Журнал Quanta поспілкувався з Гардтом про те, що пішло не так (і що — так) із бенчмарками та куди рухатися далі. Інтерв'ю було скорочено та відредаговано для ясності.
Давайте прояснимо основи: що взагалі таке бенчмарк?
Рецепт простий. Щоб оцінити модель машинного навчання, ви берете дані та ділите їх на тренувальний набір і тестовий набір. Ви дозволяєте розробникам моделей робити з тренувальним набором усе, що завгодно: будь-які методи, жодних правил. Але ви використовуєте тестовий набір лише для порівняння та ранжування моделей — щоб таблиця лідерів могла сказати: «Це поточний стандарт індустрії, це номер один, це номер два».
Отже, бенчмарк для великої мовної моделі сьогодні, як-от GPT-6 Astra або Claude Fable, може перевіряти здатність розв'язувати складні математичні задачі або знаходити вразливості в програмному забезпеченні.
Вірно. Власне, перший бенчмарк був створений у 1959 році. Це був набір цифр і літер, надрукованих на перфокартах, призначений для перевірки того, наскільки добре різні сканери можуть розпізнавати символи. Хтось впровадив поділ на тренувальні та тестові дані й почав вести таблицю лідерів.
Не було якогось генерального плану. Але саме це ми тепер називаємо бенчмаркінгом, і це було рушієм прогресу в ШІ приблизно останні 60 років.
Що бенчмарки повинні нам повідомляти?
Традиційно бенчмарк має бути схожим на термометр. Люди тренують модель щось робити, а потім ви вигадуєте процедуру вимірювання, щоб побачити, наскільки гарна ця модель.
Але на практиці бенчмаркінг більше схожий на спортивне змагання або ринок. Бенчмарки визначають правила гри, люди активно змагаються за ними, і ми дозволяємо перемогти найкращій моделі.
Чи не можуть вони бути і тим, і іншим? У чому проблема?
Будь-який підручник з машинного навчання розповість вам про «метод відкладеної вибірки» — про те, що ви повинні замкнути тестовий набір і використовувати його лише один раз для ранжування моделей. Якщо ви ігноруєте це, ви ходите по тонкому льоду. Ви можете отримати дуже оманливі результати, тому що оцінюєте моделі, які в певному сенсі вже мають знання про тестовий набір.
Захопливо те, що машинне навчання як дисципліна просто проігнорувало це попередження. Воно взяло всі ці тестові набори й виклало їх в інтернет для загального використання. Тепер легко вставити ці набори в цикл розробки моделі й постійно ітерувати їх.
Чи це і є те, що «зламано» в бенчмарках?
Якщо ви подивитеся на показники точності моделі в одному бенчмарку, а потім лише трохи зміните тестовий набір, ви отримаєте зовсім інші цифри точності. Саме в цьому сенсі бенчмарк не працює. Якщо у вас 90% точності на одному наборі даних і 73% на іншому — який результат справжній? Я гадки не маю, наскільки гарна ця модель.
OpenAI, Anthropic та інші технологічні компанії все ще рекламують результати бенчмарків як показник розумових здібностей своїх моделей. Це просто нісенітниця?
Ці бали дійсно часто використовують не за призначенням. Якщо ви кажете: «У цьому математичному бенчмарку модель отримала 90%, що означає, що модель тепер еквівалентна математику-експерту», ви вкладаєте в цю цифру щось таке, що дає хибний висновок. Нам слід уникати порівнянь чи висновків, які за замовчуванням вимагають абсолютної цифри, щоб мати сенс.
Якщо абсолютні цифри не мають сенсу, як ви не опиняєтеся в ситуації кризи відтворення?
Ось тут стає справді цікаво. Якщо замість абсолютних цифр дивитися на рейтинги — відносні порівняння між моделями, — ці рейтинги, як правило, дуже стабільні для різних наборів даних. І це було досить послідовно протягом усієї історії машинного навчання. Якщо одна модель отримує 90% на певному тестовому наборі, а інша — 80%, то модель з 90% — це та, яку ви хотіли б використовувати в реальному світі. Вона все одно покаже кращі результати на інших наборах даних, навіть якщо вони досить сильно відрізняються від тестового.
Це, на мою думку, головна причина, чому машинне навчання уникло наукової кризи.
Це дивно. Отже, бал 90% не має великої ваги, але той факт, що модель «виграла» змагання — має?
Так. Бенчмарки показують вам, коли ви обійшли попередній найкращий результат. І ці індикатори покращення досить надійні.
Але це везіння, що все спрацювало так добре — у нас не було причин очікувати, що так буде. І у нас досі немає цілісної теорії, чому це відбувається. Це переважно емпіричне явище.
Але ви також стверджуєте, що зараз, в епоху великих мовних моделей, бенчмарки більше не можуть забезпечити цю «випадкову» надійність. Чому?
Стабільність рейтингів моделей має одну велику передумову: моделі повинні тренуватися на одному й тому самому тренувальному наборі. У минулому це завжди було так. Але ми не знаємо, на чому тренувалися LLM. Насправді розробники моделей можуть стратегічно збирати дані, які найкраще сприяють результативності в бенчмарках. Це трохи схоже на підготовку до іспиту шляхом завчання відповідей, як ми всі робимо в школі.
Ось чому ми зараз перебуваємо в кризі бенчмаркінгу — тому що більше не є фактом, що найкраща модель обов'язково перемагає. Гірша модель може просто докласти більше зусиль для підготовки до конкретного бенчмарку.
Це не злочин: це стається щоразу, коли виходить нова модель. Якщо ви подивитеся на примітки до останніх версій Gemini або GPT, ви побачите, що їхня продуктивність у бенчмарках, випущених до нової моделі, часто фантастична, тоді як у бенчмарках, випущених невдовзі після, вона значно нижча. Це завжди вказує на те, що модель була «дотренована» на попередніх бенчмарках — те, що дехто називає «benchmaxxed». І це загальноприйнято.
Чи є вихід із цієї кризи бенчмаркінгу, як ви її називаєте?
Дозвольте розповісти історію: на Олімпійських іграх 1968 року в Мехіко був американський бігун, якого вважали фаворитом у забігу на 1500 метрів. Він несподівано програв бігуну з кенійського високогір'я з великим відривом. Кенійський бігун тренувався на великій висоті й був краще підготовлений до змагань на висоті 2300 метрів над рівнем моря. Це викликало суперечки: чи варто заборонити високогірні тренування? Зрештою, консенсус був таким: просто дозвольте робити це всім.
Проблема не стільки в тому, що люди оптимізують під бенчмарки, а в тому, що вони оптимізують їх різною мірою. Якщо кожен буде оптимізувати або «високогірно тренуватися», абсолютні цифри будуть завищені, але ви зможете відновити достовірність рейтингів.
Як би виглядали «високогірні тренування» для бенчмарків ШІ?
Ми не знаємо наперед, що входило в ці моделі, але ми можемо трохи потренувати їх на даних, релевантних до бенчмарків, просто щоб переконатися, що ми певною мірою вирівнюємо ігрове поле.
У цьому новому погляді на бенчмарки у вас не було б тренувального набору. У вас був би тестовий набір, а також певний протокол підготовки кожної з моделей перед їх тестуванням — це і є «високогірне тренування».
Але навіть якщо це спрацює, ми просто повернемося до того, з чого почали: індикатори прогресу, але жодних дійсних вимірювань. Без цього, як ми можемо дізнатися щось про те, як працюють ці моделі?
Це дуже цікаве питання. У тріумфі бенчмаркінгу є щось сумне, бо здається, що ми відмовляємося від того, чим насправді є наука: розуміння механізмів. Але якби ми мали якусь грандіозну математичну теорію для створення цих моделей, нам не потрібні були б бенчмарки.
Ми не знаємо, як ці моделі це роблять, і бенчмаркінг нам цього не скаже.
Але бенчмаркінг може в довгостроковій перспективі привести до нових наукових знань. Бенчмарк зі згортання білків CASP просунув науку вперед, не наполягаючи на попередньому створенні наукової теорії згортання білків. У цьому і полягає парадоксальна сила бенчмаркінгу в науці.
Оригінал: www.quantamagazine.org