Неочевидні переваги Витрати на трансформаційні інновації стають зрозумілими відразу, а от довгострокові вигоди — найважче оцінити
· Human OS
Найбільші переваги революційних технологій майже неможливо оцінити в момент їх появи, тоді як їхні недоліки одразу стають очевидними.
Перед 1846 роком обсяг того, що хірург міг спробувати, обмежувався тим, що свідомий пацієнт міг витримати протягом кількох хвилин. Пацієнтів тримали помічники або прив'язували до операційного столу (операція з видалення гланд у моєї матері на початку 1960-х років на Сицилії проводилася більш-менш так само), а репутація хірурга залежала від економії його рухів, адже кожна секунда процедури була секундою свідомої агонії. Роберт Лістон міг відрізати ногу менш ніж за 30 секунд, бо він мусив. Операції були обмежені поверхнею тіла: ампутаціями, дренуванням абсцесів і видаленням поверхневих пухлин, бо жоден пацієнт не міг витримати тривалу роботу всередині грудної, черевної або черепної порожнин.
Коли з’явилися ефір і хлороформ, деякі з найшанованіших фігур у американській та британській медицині стверджували, що приведення пацієнтів до безсвідомості є серйозною клінічною помилкою. Джон Поллард Гаррісон із Медичного коледжу Огайо, який тоді був віце-президентом Американської медичної асоціації, написав у 1849 році, що «біль є лікувальним — дії життя підтримуються ним — якби не стимулювання, яке викликав біль, хірургічні операції частіше закінчувалися б розпадом». Чарльз Мейс, який обіймав посаду завідувача акушерства в Медичному коледжі Джефферсона у Філадельфії, вважав біль під час пологів бажаним, корисним і консервативним проявом життя. Інші хірурги зазначали, що свідомі пацієнти підтверджували місце хірургічного втручання, допомагали у прийнятті рішень під час операції та забезпечували зворотний зв'язок у режимі реального часу, який втрачається під анестезією. Питання безпеки загострювалося, коли накопичувалися звіти, кульмінацією яких став доповідь комітету Королівського медичного та хірургічного товариства 1864 року, в якій документували 123 випадки смерті від хлороформу. У перші роки опозиція до анестезії була широко розповсюджена та грунтувалася на найкращих доступних клінічних доказах.
Що жоден з цих критиків не міг би вам сказати, так це те, що анестезія зробить можливими хірургічні операції на відкритому серці, трансплантацію органів, нейрохірургію і всю архітектуру сучасної хірургічної спеціалізації. Користь полягала не в комфортнішій версії того, що робили хірурги. Це був сплеск простору можливостей, вміст якого був незбагненним зсередини хірургічної практики 1846 року.
Справи цього роду мають особливу структуру. Інновація приходить, витрати на яку ідеально видимі, адже вони порівнюються з базовою практикою, яку вона реорганізує, та їх можна виміряти за існуючими інструментами практики, тоді як її найглибші вигоди залежать від практик, установ та концепцій, яких на момент оцінки ще не існує. Суворі критики з експертною думкою документують витрати, часто правильно, оскільки такі витрати є саме тим, для чого розробили їхню оцінювальну лексику. Немає жодної можливої оцінки в критичний момент, яка могла б захопити вигоди, оскільки лексика, яка описала б їх, є однією з речей, які інновація приведе до життя.
Візьміть додатки для знайомств. Елі Фінкель та інші показали, що знайомства через додатки можуть призвести до перевантаження вибором, ослабити формування зобов'язань і зменшити розвиток навичок взаємин, які старіші способи знайомств культивували природніше. Емпіричні дані про самотність, зниження рівня шлюбів серед молоді та крах випадкових романтичних ініціацій наживо тепер є значними. Критики документують реальні речі, і їхні докази є достатніми точно так же, як докази Гаррісона щодо анестезії.
Проте ці докази не можуть уловити сукупність ефектів, які виникли через існування самих додатків і які жодна особа, яка сперечалася про Tinder десять років тому, не могла б вказати. Громадський простір тихо трансформувався, оскільки існування альтернативного каналу романтичної ініціації ослабило нормативний статус особистого підходу до такої міри, що жінки орієнтуються на вулицях, у кафе та на робочих місцях так, як це було б неможливо у 1995 році. Частина того, що раніше було фоновим цькуванням у фізичних просторах, перенесена на платформи, де це хоча б можна контролювати, оскільки цифрові взаємодії можуть бути відфільтровані, заблоковані, повідомлені та перевірені способами, неприйнятними для вуличного та робочого цькування.
У 1906 році Джон Філіп Соза стверджував, що фонограф знищить аматорське музиканство.
Глибші ефекти йдуть далі. Використовуючи формальну модель теорії співпадіння та дані на рівні штатів про прийняття широкосмугового зв'язку як проксі для онлайн-знайомств, економісти Жосуе Ортеґа та Філіп Гергович у 2018 році показали, що онлайн-знайомства відповідають швидкому зростанню міжрасових шлюбів у Сполучених Штатах протягом останніх двох десятиліть. Оскільки раніше люди одружувалися в межах своїх соціальних графів, і ці графи були расово сегреговані, від будь-якого каналу, який з'єднує незнайомців через графи, слід очікувати соціальної інтеграції, навіть за скромних показників ухвалення. Відштовхуючи від національно репрезентативного лонгітудинального набору даних, соціолог Майкл Розенфельд і колеги показали, що з приблизно 2013 року найбільш поширеним способом зустрічі американських гетеросексуальних пар було знайомство онлайн, а до 2017 року близько 65 відсотків одностатевих пар зустрічалися таким чином, тоді як показники розлучень і задоволення від стосунків не різнилися значно між парами, які познайомилися в додатку, і парами, які познайомилися через друзів, якщо врахувати, скільки часу пара була разом.
Інші нові ефекти, менш підлягаючі кількісному визначенню, але добре задокументовані, також важко заздалегідь визначити. Опитування 2024 року від "Trevor Project" повідомляє, що приблизно три чверті молодих людей з ЛГБТК+ шукають онлайн зв’язки з іншими, оскільки їм важко робити це в повсякденному житті, і подібна кількість стверджує, що може бути собою на онлайн-платформах, причому ці показники ще більше зростають серед трансгендерних і небінарних респондентів. Тим часом лише близько половини з тих самих молодих людей вважають, що їхня школа є дружньою до гендеру, і лише трохи більше третини кажуть про те саме стосовно своїх домівок. Рецензовані дослідження постійно демонструють, що ці онлайн-простори особливо важливі для молоді з сільських районів, які не мають доступу до оффлайн-спільноти. Поширення тонких сексуальних і реляційних ідентичностей залежить від інфраструктури, яка дозволяє людям з рідкісними комбінаціями рис знаходити одне одного по всьому світу, а не лише в місцевих соціальних графах. Додатки для знайомств є корисним сучасним прикладом, тому що релевантний часовий масштаб достатньо короткий, щоб ми могли спостерігати, як нові практики виникають, але структура, яку вони демонструють, вже не раз розігравалася протягом довгої історії таких інновацій; розгляд моделі з більшою історичною глибиною робить її контури легшими для спостереження.
Візьміть фонограф. Американський композитор Джон Філіп Соза, пишучи у журналі Appleton’s Magazine у 1906 році, з абсолютного центру своєї музичної влади, стверджував, що фонограф знищить аматорське музиканство. Він був емпірично правий щодо зникнення парадного піано протягом наступного півстоліття. Але студія звукозапису як творчий інструмент, а також семплювання, багатодоріжкове складання та цілі жанри, які існують лише тому, що вони композиційно нерозривні із записаним звуком, усі ці речі були б незрозумілими у 1906 році, оскільки вони залежали від практик, технологій і естетичних категорій, які сам носій звуку мусив створити, перш ніж хтось міг описати, чим вони будуть.
Цю ж модель видно й у інфраструктурних прикладах, де заміщення розподіляється більш дифузно. Коли газові інженери в 1880-х роках стверджували, що раннє електричне освітлення є гіршим від газового, вони були праві в тій порівнянні, яку робили. Однак те, що це порівняння не могло вловити, — це те, що інфраструктура, яка будувалася для доставки електричного світла, генератори та лінії передачі, з часом стане підставою, на якій буде побудована значно ширша електронна цивілізація, включаючи телефонію, радіо, обчислення та мовлення. Шлях від електричного освітлення до транзистора є довгим, проходить через винаходи та дисципліни, які не існували в 1885 році, і не могли бути передбачені зсередини дебатів про освітлення в 1880-х.
Люди, які знають, що можуть щось знайти в Google, розвивають більш слабку пам'ять про саму інформацію.
Аргумент насправді старший за будь-який з цих випадків. У "Федрі" Платон змусив Тамауса попереджати, що письмові описи підривають пам'ять, і це попередження не було неправильним щодо того, на що воно дивилося, адже витіснення запам'ятованих усних традицій письмовими записами є істинною культурною трансформацією. Те, про що Тамаус не міг попередити, оскільки слів для цього ще не існувало, було накопичувальним знанням, яке залежало від стабільних письмових посилань, формальної логіки, для якої потрібно було розробити символічну нотацію, та емпіричної науки, чиї доказові практики нерозривно пов'язані з довготривалим документальним записом, який лише письмова форма робить можливим.
Ту саму модель тепер обговорюють у реальному часі щодо штучного інтелекту, і механізм, який документують критики, є тим, чого Тамаус уже боявся. Коли інструмент безперервно виконує когнітивну операцію, внутрішня здатність до цієї операції, як правило, слабшає від бездіяльності, а сучасна версія побоювань має емпіричну підтримку, що виходить далеко за межі "Федра". Люди, які знають, що можуть шукати щось у Google, розвивають слабшу пам'ять щодо самої інформації, а постійні користувачі GPS демонструють вимірювальне зниження просторової навігації, залежної від гіпокампа. Великі мовні моделі автоматизують когнітивні операції значно ширшого масштабу, ніж пошук маршрутів або запам’ятовування дійсності, і немає принципової причини вважати, що той самий механізм не зможе поширитися.
Необхідно зазначити, що все більша кількість доказів вказує на те, що саме це і відбувається. У пре-принті 2025 року науковий співробітник Наталка Косміна та її колеги моніторили активність мозку під час написання ессе і виявили, що учасники, які писали з ChatGPT, показували значно меншу нейронну з’єднаність, ніж ті, хто писав без допомоги, що ефект зберігався, коли цих учасників пізніше просили написати текст без допомоги. Дослідники ШІ Гамса Бастані та її колеги провели польовий експеримент із майже тисячею учнів старшої школи і виявили, що ті, хто користувався звичайним AI-наставником, показали на 17 відсотків гірші результати на фінальному незалежному екзамені, ніж ті, хто не отримував ніякої допомоги від AI, в той час як версія цього ж інструменту, призначена для підтримки навчання замість надання відповідей, не показала такого дефіциту. У рандомізованому експерименті програмістів, які вивчали нову бібліотеку Python, дослідники ШІ Джуді Ханвен Шен і Алекс Тамкін повідомили, що ті, хто використовував AI-помічника з кодування, отримали значно нижчі бали на питання про налагодження та розуміння концепцій. А дослідження, проведене Еленою Хаюн Лі та її колегами, виявило, що пасивне використання AI, при якому учасники безпосередньо копіювали вихід AI, підривало їхню впевненість у своїх здібностях і їхнє відчуття значимості в роботі, тоді як активна співпраця, у якій вони спочатку формулювали ідеї, а потім уточнювали з AI, зберігала обидва ці параметри.
Ці результати є серйозними, і люди, які їх отримали, проводять ретельні дослідження. Вони також стали версією дебатів про AI про Гаррісона і анестезію, звертаючи увагу на найбільш обширну базу доказів, доступну їм, при цьому не змогли побачити найважливіше, що відбудеться далі. AI демонструє цю асиметрію читабельності в крайній формі, і це, мабуть, є найбільш всебічним прикладом цього, що світ колись бачив.
Тепер я хочу перейти до своєї власної практики і до питання, що я насправді виявив після двох років роботи з інструментами, які, як стверджують докази, руйнують мою когніцію. Досвід одного філософа є слабкою основою для будь-якого висновку, і я обережний, спираючись на власний досвід, після того, як провів половину цього есе, намагаючись закликати до дотримання доказів. Але форма досвіду, якщо не його узагальненість, безпосередньо стосується аргументації.
Коли я починав, я очікував очевидних речей – швидшого огляду літератури, чистіших первинних чернеток, меншої витрати часу на механічні аспекти академічного письма. Ці здобутки реалізувалися, і виявилося, що вони є найменш цікавим аспектом цієї історії. Перед використанням цих інструментів, витрати на дослідження питання були високими, адже я помічав щось, що здавалося перспективним, витрачав кілька днів на читання, креслив попередній аргумент, виявляв проблему і після, можливо, двох чи трьох тижнів приходив до висновку, чи варто далі досліджувати питання. Вартість виявлення, що питання є мертвою точкою, насправді була невідрізнена від вартості виявлення, що питання є справжнім, і потрібно було провести більшість роботи, перш ніж можна було показати різницю. Будь-хто, хто витратив три тижні на розвиток аргументу, щоб потім дізнатися, у вівторок вдень 2026 року, що хтось опублікував по суті таку ж ідею в 2019 році, визнає цю особливу якість досвіду, адже втрачені тижні не відчуваються як корисне навчання; вони відчуваються як марнування часу, а знання про те, що наступне питання може піти в тому ж напрямку, робить вас менш готовим почати. Структура витрат змусила мене бути консервативним щодо того, які запитання я обираю для дослідження, і неохочим відмовлятися від будь-якого запитання, в яке я інвестував тижні, що я тепер визнаю як типовий ефект упущених витрат, який діє на мою дослідницьку програму, але що в той час здавалося мені сумлінністю.
Що змінилося, так це те, що витрати на попереднє дослідження впали. Я міг намалювати аргумент, виявити перші серйозні заперечення, перевірити, чи вони фатальні, і прийти до попереднього вердикту за одну післяобідню годину, а не за два тижні. Це звучить як проста прискорення, і більш глибокий ефект полягав у тому, що я став готовим відмовлятися від запитань. Відмовити від запитання після роботи протягом одного післяобіду зовсім не так, як відмовити від запитання після трьох тижнів. Коли витрати на дослідження низькі, прив’язаність до витрачених ресурсів зникає, і ви виявляєте, що відмовляєтеся від поганих запитань раніше і частіше, що означає, що запитання, які ви обираєте, стають кращими. Я досліджував значно більше ідей, і моє робоче портфоліо стало як великим, так і значно краще організованим. Я досягнув цього результату не через будь-який цілеспрямований план, а просто через тривале використання інструмента, який змінив вартість дослідження.
Ніхто не сказав мені, що робота з LLMs реорганізує мою дослідницьку практику навколо пошуку хороших запитань.
Навичка, яка найбільше покращилася і на яку я ніколи не думав звертати увагу, була щось, що я можу лише описати як ідентифікацію запитань – вміння знаходити проблеми, які є як доступними, так і важливими. Це те, на чому значною мірою базується академічна кар'єра, і що, наскільки я знаю, ніхто ніколи не намагався прямо навчити.
Хочу бути чесним щодо витрат. Моя здатність зв'язувати складну позицію усно, під тиском, на семінарі чи в розмові, ймовірно, не покращилася і, може бути, дещо погіршилася. Коли витрати на попереднє дослідження низькі, ви витрачаєте менше часу на детальне проходження аргументів з перших принципів, роблене, яке сприяє течії, яка відображається у живому спілкуванні. Друзі неодноразово натискали на мене з цього приводу, і вони мають рацію хвилюватися. Форма незгоди є сама по собі навчальною, оскільки витрати відразу ж описуються як віднімання з можливостей, які я практикую вже багато років, тоді як вигода була перспективно невидимою і ретроспективно очевидною. Я не передбачав цього, і не міг би назвати це заздалегідь. Швидший огляд літератури та чистіші первинні чернетки, на які я сподівався в 2023 році, виявилися приблизно такими ж цікавими, як визнання Тамауса, що письмо стане корисним пам'яттю.
Той факт, що я можу висловити цю вигоду, є, певною мірою, доказом проти найсильнішої версії мого власного аргументу, і я хочу бути чесним щодо цього. Будь-яке, що я тепер можу назвати, вже перейшло з нелегобуду до читабельного. Але ніхто не сказав мені, що робота з LLMs реорганізує мою дослідницьку практику навколо пошуку хороших запитань, а не виробництва відповідей на вже наявні. Є ще один нюанс, який я вважаю важким для відкидання, а саме те, що мова, якою я описую те, що ці інструменти зробили з моїми думками, частково є продуктом роботи з ними, і читач, який оцінює моє свідчення, робить це з точки зору, яка, своєю чергою, перебуває в процесі перетворення під тиском тих же технологій. Нічого з цього не звільняє мене від обов'язку викласти те, що можу, і це означає, що асиметрія, про яку я говорив, не є чимось, на що ми дивимось ззовні, але чимось, що ми знаходимося всередині, зокрема прямо зараз.
Це має наслідки для управлінської діяльності. Асиметрія є не лише проблемою для окремих користувачів, які вирішують, як взаємодіяти з AI, оскільки вона формує позицію кожного учасника управлінської діяльності, чия інституційна роль вимагає підкріплення рішень документованими доказами. Регулятор, який повинен продемонструвати дотримання обов'язку обачності, завжди виявить документовані витрати більш захищеними, ніж можливість незмірних вигод, оскільки витрати є доказами, а можливості – ні. Та сама сліпа пляма може бути помічена на рівні формальної теорії.
Навіть старанне формальне моделювання може відтворювати сліпу пляму. У нещодавньому робочому документі Дарон Асемоглу, лауреат Нобелівської премії з економіки 2024 року, працюючи з Дінгвеном Конгом і Асууманом Оздагларом, розробляє математичну модель того, що відбувається, коли люди все більше покладаються на AI для прийняття рішень, які раніше вони вирішували самостійно. Модель захоплює реальний та важливий механізм. Коли люди вирішують справи самостійно, вони генерують знання як побічний продукт, знання, яке переходить до загального пулу, з якого всі потім черпають. Допомога AI надає кожному індивіду більш точну миттєву відповідь, одночасно тихо видаляючи когнітивну працю, що виробляє загальний пул, і модель показує, що за правдоподібних умов це може призвести до стабільного стану, в якому колективна база знань скорочується, навіть якщо індивідуальні рішення залишаються локально раціональними. Рекомендована політика полягає в навмисному обмеженні точності AI, змушуючи людей продовжувати виконувати роботу самостійно, так що загальний запас знань продовжує поповнюватися.
Модель є елегантною, і механізм, який вона описує, реальний, але категорії знань, які вона відслідковує, фіксовані з самого початку. У моделі немає представлення можливості того, що тривале співробітництво з здатною системою може генерувати якісно нові види компетентності, які попередні категорії не можуть описати. Модель може представити світ, в якому те, що потрібно знати, постійно змінюється, не спроможна ж описати світ, де те, що вважається знанням, змінюється. Це суттєве обмеження, оскільки останнє є саме тим, що відбувається, коли інновація реорганізує практики, в яких знання конституюється. Емпіричні дані вказують на той же напрямок, оскільки найкращі результати в існуючій літературі були отримані шляхом змінення умов використання під час роботи з здатною системою, через захищені інтерфейси та свідомо сплановану взаємодію, а не шляхом зниження можливостей системи. Ситуація обмеження може виявитися обґрунтованою. Теоретична основа, що стоїть за цим, є неповною в тому сенсі, що перевага віддається обмеженню, незалежно від того, чи є обмеження обґрунтованим.
Читач, який пройшов так далеко в аргументі, має відповідні підстави для занепокоєння, що асиметрія, про яку я говорив, працює в обох напрямках, оскільки еволюційна траєкторія зрілої людської розумової діяльності є також емерджентною і здатна, з часом, виробляти форми судження, які ніхто не міг би заздалегідь описати. Розумник двох століть тому не міг передбачити концептуальний репертуар розумника сьогодні, так само як хірург 1846 року не міг передбачити кардіохірургію, тому можна було б подумати, що зняття обмежень, в умовах яких зріла розумова діяльність розвивалася, закриває для себе простір можливостей неясних вигод. Це заперечення є складним, і я не вважаю його успішним, оскільки воно змішує два різні види виникнення. Уточнення, які зріла розумова діяльність зазнає в умовах відсутності технології, що змінює парадигми, однак непередбачувані в деталях, лежать уподовж безперервної траєкторії, напрямок якої можна розпізнати зсередини існуючої концептуальної лексики; ретельний розумник двох століть тому визнав би розумника сьогодні як того, хто зайняв більш просунутої точці на тій самій стежці, якою вона йшла. Технологія, що змінює парадигми, виробляє виникнення іншого роду, оскільки вона відкриває простір можливостей, який лежить за межами траєкторії практики, яку вона реорганізує, простір вмісту якого не може бути описаний зсередини існуючої оцінювальної лексики практики, а асиметрія читабельності, про яку я говорив, є специфічно тією асиметрією, яка існує в таких випадках.
Проблема ускладнюється замкнутим циклом. Обмеження закриває експерименти, через які вигоди могли стати видимими, так що база доказів після обмеження продовжує виглядати односторонньою, і первісне рішення виглядає виправданим. Університет, який забороняє AI в студентських роботах, ніколи не дізнається, якими способами навчання з AI могли б зберегти важке мислення, яке насправді продукує навчання, дозволяючи нові форми інтелектуальної праці, і відсутність цих доказів змусить заборону виглядати мудрою.
Якщо ми не можемо оцінити вигоди, нам потрібен інший тест для цих рішень. Один, який, на мою думку, витримає перевірку, — це відновлювальність. Питання в тому, чи можемо ми, якщо рішення виявиться помилковим, скасувати його заднім числом.
Асиметрія, про яку я говорив, не дає жодних підстав для зниження обережності і може посилити аргументи на користь обмеження.
Цей тест звучить простіше, ніж є насправді. Те, що виглядає відновлювальним з одного боку, може виявитися таким не з іншого. Когнітивна здатність може відновитися через повторне навчання, навіть після років бездіяльності. Але інституції, які роблять повторне навчання можливим, програми, менторські програми та робочі спільноти, через які відповідні навички передаються шляхом практики, можуть розпадатися за власним графіком, незалежно від того, чи хтось може, в принципі, повторно засвоїти основну навичку. А як тільки ці інституції зникнуть, люди, що знали, як їх проводити, зазвичай розсіяні, та знання про те, як їх відродити, також йде з ними.
Коли ВМС США прибрали небесну навігацію з навчального плану після того, як GPS став зайвим, пройшло приблизно десять років, перш ніж вразливість стала помітною, оскільки зросла обізнаність про те, що GPS може бути заблоковано, скопійовано або деактивовано в перший удар. У 2015 році предмет було відновлено, і відновлення стало можливим, оскільки Академія морської служби США в Кінгс Поінт, Нью-Йорк, продовжувала навчати його, інструктори, які зберегли навичку, все ще існували, а підручники ще були там. Принцип, який засвоїли ВМС США, і до якого авіаційна індустрія прийшла незалежно, полягає в тому, що відновлення вимагає збереженої надлишковості десь у системі — інституціональне місце, де витіснена здатність продовжує культивуватися, аби торгівля могла бути скасована, якщо виглядає гірше заднім числом порівняно з передбаченням.
Де витрати є правдоподібно незворотними, де розвивальні вікна закриваються, або здатність виявити проблему зникає разом зі здатністю, від якої йдеться, асиметрія, про яку я говорив, не дає жодних підстав для зниження обережності і може зміцнити доводи на користь обмеження, оскільки у доказовій базі немає нічого, що могло б бути зважене проти втрат, які не можуть бути скасовані. Де ж витрати можуть бути правдоподібно відновлені через здійсненний інституційний дизайн, обмеження на основі лише видимих витрат закриває вигоди, величина яких не може бути оцінена, і закриття є більшим ризиком, оскільки обмежені вигоди є тими, масштаб яких доказова база не
Оригінал: aeon.co