Наскільки можна довіряти ШІ у перевірці фактів?
· Азія
Попри стрімкий розвиток ШІ, статистичні дані показують, що сучасні чат-боти помиляються у кожному другому запиті, тому професійна перевірка фактів журналістами залишається невід’ємною частиною медіа.
Сучасні чат-боти та пошукові системи з інтегрованим ШІ все ще не можуть повноцінно замінити людину у перевірці фактів. Попри розвиток технологій, великі мовні моделі (LLM) продовжують демонструвати високий рівень неточностей, а їхня «впевненість» у відповідях часто межує з галюцинаціями.
Проблема, можливо, пов’язана і з тим, що моделі запрограмовані прагнути задовольнити користувача, що часто провокує надмірну реакцію та вигадування вигаданих джерел. Дослідження показують, що рівень помилок у відповідях штучного інтелекту залишається критичним. Зокрема, за даними Tow Center for Digital Journalism, понад 60% відповідей пошукових систем із ШІ є неточними, а дослідження BBC вказують на рівень помилок у чат-ботах на рівні близько 45%; окремі дослідження показують, що в деяких тестах частка помилок наближається до половини відповідей. Навіть спеціалізовані бенчмарки, як-от SimpleQA від OpenAI, демонструють, що найкращі моделі ледве долають поріг у 50% правильних відповідей.
Спеціалісти, які професійно займаються фактчекінгом, наголошують, що роль людини залишається незамінною. Як зазначає Марк Франкел із британської організації Full Fact: «Людина є необхідною», оскільки ШІ все ще припускається регулярних помилок. На відміну від алгоритмів, професійні фактчекери працюють із першоджерелами, перевіряють контекст, аналізують етичні та юридичні аспекти та ведуть переговори з людьми, що дозволяє виявляти невідповідності там, де машина бачить лише статистичну ймовірність слів.
Експерименти з найпопулярнішими моделями (ChatGPT, Claude, Gemini, Grok) показують, що хоча ШІ може запропонувати план перевірки, він рідко доводить справу до кінця. Коли перед моделями ставлять конкретне завдання з перевірки фактів, вони часто обмежуються загальними фразами, пропонують неіснуючі дані або не виконують роботу зовсім.
Важливим фактором є і те, що в інтернеті досі міститься лише невелика частина накопичених людством знань. ШІ не може автоматично охопити значну частину фізичних архівів, яких немає в інтернеті, чи володіти інтуїтивним розумінням контексту, що є критичним для якісної журналістики.
«Я не думаю, що можна дозволити собі ігнорувати ШІ або вважати його просто минущим захопленням, яке не впливає на те, як люди шукають інформацію», — вважає Анджі Холан, голова International Fact-Checking Network. За її словами, журналістам та дослідникам варто вивчати механізми роботи цих систем, щоб розуміти їхні сильні та слабкі сторони, але не покладатися на них як на безпомилкове джерело істини.
За матеріалами WIRED Japan