Чому ми вимагаємо досконалих машин, але терпіли людські жертви
· Майбутнє
Неприємний парадокс: ми хочемо досконалих машин, але нехтуємо людськими жертвами на дорогах.
Jonathan Slotkin — нейрохірург, науковець та головний медичний офіцер зі стратегії та зростання в Geisinger. Він досліджує та пише про безпеку та довіру до автономних систем у суспільному житті.
У суботу ввечері, за п'ять днів до Різдва, пожежа на силовій підстанції в Сан-Франциско призвела до відключення електрики приблизно в 130 000 домівках і підприємствах. Світлофорів не було на третині міста. Безпілотні автомобілі Waymo рухалися вулицями згідно з прописаним алгоритмом, розглядаючи мертві сигнали як «чотири напрямки зупинки» і іноді запитуючи підтвердження у команди дистанційного управління, перш ніж продовжити рух. Однак запити надходили швидше, ніж команда людей могла на них відповісти.
Відео в соціальних мережах показували, як Waymo застрягли з блимальними аварійними вогнями, кілька з них зібралися на тих же темних перехрестях. Людські водії сигналили та об'їжджали замерзлі Waymo. Супервайзер Сан-Франциско Білал Махмуд закликав провести слухання. Деякі експерти з безпеки оголосили це попередженням про готовність автономних автомобілів. Цей інцидент висвітлювали в місцевих новинах.
У той же день, якщо б це був звичайний день у США, близько 115 американців загинули в аваріях з людськими водіями. Це не потрапило в новини.
Waymo пізніше повідомив, що його автомобілі проїхали через понад 7000 темних перехресть під час відключення. Автомобілі, які зупинилися, зробили це через запобіжник, розроблений для зупинки і запиту у разі сумнівів. Ніхто не постраждав.
Але ця історія не була тією, що ширилася. Адже бути в безпеці та відчувати безпеку — це не одне й те саме.
Перебільшене Дзеркало
Ми вимагаємо від машин бездоганного функціонування, одночасно приймаючи людські загиблих та травми як ціну за наші щоденні поїздки. Цей подвійний стандарт дозволяє людям гинути, сповільнюючи впровадження речей, які могли б їх врятувати. Практично кожен водій вважає себе вище середнього. Психологи називають це ілюзорною перевагою, вродженим нахилом, який проявляється в різних країнах і десятиліттях. Ми вимірюємо безпеку нових технологій у порівнянні з ідеалізованою версією себе, тому свідчення повинні бути кращими, ніж у того водія, яким ми уявляємо себе.
Найбільшою проблемою впровадження індустрії автономних автомобілів є те, що сильні дані про безпеку не призвели до більшої довіри з боку громадськості. Зробити так, щоб безпечна машина відчувалася безпечно — це інша дисципліна.
Охорона здоров’я провела 30 років, вчитися управляти розривом між безпекою та відчуттям безпеки. Об'єктивні показники та те, як люди їх сприймають, — це різні проблеми; поліпшення одного не обов'язково покращує інше.
Але в тих областях, де працюють ці автономні автомобілі, вони насправді є більш безпечними. Протягом понад 220 мільйонів миль їзди автомобілі Waymo брали участь у 94% менше аварій, що призводять до серйозних травм або гірше, ніж водії на тих же дорогах. Травми пішоходів зменшилися на 93%, аварії з велосипедистами — на 84%, а аварії на перехрестях, серед найсмертоносніших, які ми керуємо в лікарні, — на 96%. Це власні цифри компанії, але аналізи в рецензованих журналах досягли подібних висновків. Якщо результати збережуться в міру масштабування впровадження (а з кожним випуском дані ставали все більш обґрунтованими), наслідки для здоров’я на рівні популяції можуть конкурувати з такими, як ремені безпеки або зниження куріння.
Звичайно, не всі автономні автомобілі одинакові. Багато з найлегших заголовків походять від мільйонів автомобілів з системами допомоги водієві, яким все ще потрібна людина за кермом. Найкращі результати безпеки на даний момент отримані від безпілотних автомобілів Waymo. Інші компанії також запровадили цю технологію: Tesla тепер експлуатує роботомобілі в Остіні та інших частинах Техасу, а Amazon’s Zoox обслуговує частини Лас-Вегаса та Сан-Франциско. Але справедливо та ефективно порівняти їх можливе тільки дивлячись на загальні пробіги, аварії, географію перевезення та можливість порівняння даних з даними про людських водіїв у тих же місцях. Дані надані Waymo, оскільки наразі вони є єдиними, хто надає такі деталі.
Технічні збої все ще трапляються
Цього червня Waymo відкликав програмне забезпечення на всіх своїх автомобілях та призупинив їзду по магістралях після того, як кілька автомобілів заїхали на частини магістралей, закриті через будівництво. У квітні порожній Waymo заїхав у високий рівень води в Сан-Антоніо після сильних дощів, що призвело до оновлення програмного забезпечення для всього автопарку. Шістнадцять місяців тому один машину застряг у свіжозалітному бетоні, який вона зареєструвала як проїзну дорогу.
Безпілотні Waymo були залучені в аварії, які призвели до двох смертей та однієї серйозної травми, про яку поліція повідомила. В усіх трьох випадках безпілотний автомобіль не був винен. У одному випадку людина, що їхала зі швидкістю близько 98 миль на годину в центрі Сан-Франциско, врізалася у автомобіль та спричинила аварію з семи машин, у результаті якої загинули людина і собака в іншому автомобілі, а також постраждало порожнє Waymo. У іншому випадку водій, що тік від поліції, проїхав на червоне світло, в’їхав у Waymo та ще один автомобіль, а потім вдарив двох пішоходів на тротуарі, один з яких отримав серйозні травми. А в третьому випадку мотоцикліст в'їхав у задню частину Waymo, а згодом був убитий водієм, який втік з місця події.
Цього січня я був у Waymo в Сан-Франциско, коли автомобіль розпочав рух у праву смугу, його сигнал повороту блимав, і зупинився. Будівельний контейнер стояв прямо на смузі переді мною. Светофор став зеленим. Автомобіль не зрушував з місця. На приладовій панелі переді мною контейнер з’явився як нерухомий об'єкт, який автомобіль відслідковував. Автомобіль позаду нас об'їхав. Трохи пізніше з’явився агент дистанційного управління (людина, яка може пропонувати альтернативні маршрути, але ніколи не керує автомобілем), і мій Waymo об'їхав контейнер і продовжив рух. Він почав рухатися якраз перед тим, як почулася голос, тому я досі не знаю, чи допомагала людина, чи автомобіль вирішив це самостійно.
Лише місяць тому я стверджував у The New York Times, що опір цим автомобілям — це етичний провал, який коштує життя, а дані, що свідчать про їхню безпеку, стають дедалі більш вражаючими. Але нічого з цього не спало мені на думку, коли я сидів у зупиненому автомобілі. Наодинці на задньому сидінні я взяв телефон, щоб записати те, що не відбувалося, частково щоб показати моїй дочці, а частково через здивування. Але, в основному, я думаю, тому що я тільки що зробив сильний публічний випад, щоб підтримати цю технологію, і міркував, чи не був я надто впевнений. Машина виконала те, що повинна була, але все ще було важко позбутися відчуття, що вона зламана.
Знаки, які ми читаємо
Дані самі по собі, незалежно від того, наскільки вони потужні, не вирішили дебати про безпілотні автомобілі.
Доктор Томас Лі, професор Гарварду та практикуючий терапевт, допоміг побудувати сучасне вивчення досвіду пацієнтів. Це все, що відбувається з пацієнтом, що не є безпосередньо лікуванням. Протягом трьох десятиліть він досліджує, що відбувається з пацієнтами клінічно, як вони це сприймають і що розповідають іншим після - цього. Він провів багато з цього часу як головний медичний офіцер у Press Ganey, компанії, яка систематично вимірює досвід пацієнтів у тисячах лікарень. Протягом багатьох років припущення в медицині складалося з того, що клінічна безпека — це вся робота: підтримувати низький рівень інфекцій, отримувати хороші результати, а довіра піде слідом.
Але це припущення було невірним — якість та досвід взаємопов'язані, але різні — і наслідки проявлялися з пацієнта в пацієнта. Наприклад, пацієнт приходить на планову операцію на коліні. Операція проходить успішно: правильний імплант, чиста рана, без ускладнень, виписаний за графіком. Через два тижні вона пропускає контрольний візит. Через місяць вона переводить свою медичну допомогу до іншої практики. Що сталося? Вона підслухала, як дві медсестри сперечалися в коридорі біля її кімнати вранці після процедури. Вона не почула, про що вони сперечалися, але відчула, що люди, які піклуються про неї, не працюють разом.
Якість медичної допомоги була на місці, але досвід пацієнта — ні. Позитивні клінічні результати менш ймовірні у пацієнтів з поганими медичними досвідами. Її ймовірність дотримуватися розкладу фізіотерапії та повідомляти про ускладнення на ранній стадії була нижчою.
Лі розповів мені, що десятки внутрішніх аналізів Press Ganey показали, що коли пацієнти відчувають, що їх не поважають або що їх лікарі та медсестри не слухають, їх ризик повторної госпіталізації та повернення до відділення швидкої допомоги зростає. Їхні терміни перебування в лікарні триваліші. Ефект зберігається навіть після корекції за діагнозами.
Коли команда Лі провела аналіз природної мови між пацієнтськими коментарями, фактори ризику довіри рідко були клінічними помилками. Пацієнт написав, що на підлозі лежить використана пов'язка або що у лікаря на спецодязі видно плями крові. Вони знали, що ці речі не можуть зашкодити їм. “Це нагадування про те, що немає ідеальної безпеки,” — розповів мені Лі, “але кому хочеться цього нагадування, коли ти хворий?” Пацієнт не може безпосередньо спостерігати за якістю хірургії. Те, що вони можуть спостерігати, — це підлога, спецодяг та кімната, і вони можуть читати ці знаки та робити висновки. Охорона здоров’я повинна навчитися розглядати цю явища семіотичної невдачі — де сигнали, які система надсилає, відрізняються від того, що вона насправді надає — як окрему дизайнерську проблему з власними показниками та втручаннями.
Під час грудневої відключення електрики камери телефонів захопили те, що було, по суті, використаною пов'язкою на підлозі та плямами крові на самохідному автомобілі.
Більш безпечна технологія, яка не використовується через те, що не відчувається безпечно, не допомагає нікому. Але досвід відчуття безпеки не є проблемою спілкування або маркетинговою проблемою; це частина проблеми безпеки. Медицина демонструє, як цю нову дисципліну можна вивчити та застосувати її уроки.
Дорога Споживання
Кожна важлива технологія безпеки в автомобільній промисловості слідує однаковій дузі. Первісний опір призводить до пікової тривоги, яка врешті-решт знижується, поки технологія не відчувається явно такою, що рятує життя. Ремені безпеки спочатку заперечувалися як урядовий перехід. Антиблокувальні гальма не викликали довіру, оскільки зворотний зв'язок з педалями не відчувався правдоподібно для водіїв, звиклих до того, щоб натискати на гальма. У 1974 році регулятори вимагали, щоб автомобілі були обладнані пристроєм блокування ременів безпеки, який не дозволяв розпочати рух, якщо передні пасажири не були пристебнені.
Трент Віктор, директор з безпеки науки та управління Waymo, який провів довгу кар'єру в Volvo, допомагаючи розробляти системи уваги водія, які тепер використовуються у багатьох автомобілях, вказує на це як на помилку, яку його галузь не повинна повторювати. Пристрій працював. Але Віктор сказав, що він також здавався “вторгальним, батьківським та схильним до дратівливих збоїв, таких як важка сумка, що спрацьовує сенсор [ваги сидіння пристрою].” Відмови були такими сильними, що Конгрес заборонив його впродовж року. Ігнорування того, як технологія відчувається, навіть у прагненні запобігти фізичній шкоді, затримало впровадження технологій автомобільної безпеки на роки, сказав Віктор.
Перші покоління подушок безпеки не були безпечними. Вони розгорталися з високою силою, і в аваріях на низьких швидкостях могли поранити або вбити людей (найчастіше дітей та маленьких дорослих, які сиділи занадто близько до приладів). Люди помирали. Виправлення полягало не в повному видаленні подушок безпеки з автомобілів. Регулятори дозволили автомобільним виробникам зменшити початкову силу розгортання, з новими дизайнами, які досягли більшості автомобілів до 1998 року. Сучасні системи можуть визначати розмір та положення пасажира і коригувати силу або взагалі не розгортатися. Наші страхи справедливі щодо небезпеки, але помилкові щодо її масштабу.
Зрештою, зіткнення з реальністю зменшує страхи, а культурний стандарт змінюється — так, як пристібання ременя безпеки стало майже автоматичною дією в США. Це також стосується впровадження ШІ в охороні здоров'я. Більшість американців кажуть, що б їм було незручно, якщо їх лікар поклався б на ШІ, щоб допомогти їм в поставлені діагнозу. Але пацієнти, які отримують ШІ-підтримане обстеження, повідомляють про рівні задоволеності понад 90%. Так само й багато з тих, хто найбільше протестує проти безпілотних автомобілів, не сиділи в жодному. Довіра до технології набагато вища серед пасажирів, ніж серед непасажирів.
Програма Vision Zero в Нью-Йорку зіткнулася з розривом між сприйняттям і реальністю за десять років до того, як це сталося з безпілотними автомобілями. Коли інженери переробили перехрестя в 2014 році, такі підходи, як пішохідні острови, мали збільшити кількість дрібніших аварій, зменшуючи в той же час швидкостні аварії, які призводять до смертей. У перші роки реалізації загальна кількість аварій і травм зросла, але смертність знизилася, що значно збільшило безпеку на вулицях.
Осло та Гельсінкі, на півночі Європи, застосували ту ж філософію дизайну та зареєстрували цілі роки з нульовою смертністю пішоходів. Робота була повільною, Осло активно ремонтуючи свої вулиці, починаючи з 2015 року, а Гельсінкі поступово знижуючи швидкісні обмеження протягом десятиліть. У 2019 році обидва міста не мали жодних смертей пішоходів і велосипедистів. Для Гельсінкі це було вперше з моменту початку ведення записів у 1960 році. Гельсінкі зуміло записати цілий рік без жодної дорожньої смерті з липня 2024 до липня 2025 року. Керівники обох урядів публічно захищали нові дизайни, надаючи час, щоб результати безпеки відобразилися у статистиці смертності.
Індустрія автономних автомобілів поки що не має такої політичної потужності. Деякі вибрані лідери все ще розглядають ці автомобілі як відносно непровірені та нові технології. Віктор, який провів свою кар'єру, вивчаючи, як люди сприймають і довіряють автоматизації, сказав мені, що індустрія не має когось, хто в змозі розглянути інцидент, подібний до відключення електрики в Сан-Франциско, і сказати громадськості: “Це виглядало незручно, але насправді було безпечно.” Технічна реальність і відчутний сигнал вказують у протилежних напрямках, той же розрив, який спостерігали пацієнти Лі з пов'язкою на підлозі. Проблема, як сказав мені Віктор, “не є проблемою продуктивності; це проблема тлумачення.”
Нікому не можна пробачити
Емпатія — це когнітивний інструмент, який ми використовуємо, щоб пробачити людські помилки. Але помилка машини — це інше, як результат поганого корпоративного рішення або недбалого кодування. Часто немає жодної людини, яку можна звинуватити або пробачити; ми застрягаємо з непрозорою версією долі, що важко прийняти. Прощення потребує агента, який, можливо, міг би зробити щось по-іншому і може бути підданий відповідальності. Коли людина робить серйозну помилку, ми маємо місце для провини і, зрештою, когось, кого можна виправдати.
Люди, як правило, швидше втрачають довіру до машини, ніж до людини, коли обидва роблять однакові помилки. Ми надаємо перевагу гіршій людині, ніж кращому алгоритму, якщо останній зробив помилку. Поведінкові науковці називають це “аверсією до алгоритмів.” Без надійної сторони, яка могла б пояснити, що сталося, видимі помилки домінують в оцінках людей про кращу систему.
Це свідчить про те, що негативні наслідки, спричинені надійним лікарем, сприймуться категорично інакше, ніж той же результат, отриманий за допомогою ШІ, навіть якщо ШІ є мірою більш точним. Наразі ШІ не має досвіду та людського присутності, щоб допомогти пацієнтові та його родині інтерпретувати невизначеність, коли результат поганий.
Відсутній Знаменник
Щоб усунути розрив між відчуттям і фактичною безпекою, галузі автономних автомобілів потрібно поліпшити стандартизовані вимоги до звітності. Дані не вилікують страхи людей, але змусять індустрію бути прозорою та відповідальною. Ми рахуємо аварії з автономними автомобілями, але федеральний указ, що вимагає цього обліку, не зобов'язує операторам повідомляти, скільки миль ці аварії стосуються або де ці милі були проїхали. Це чисельник без знаменника. Це практично нічого не говорить про цього оператора та перешкоджає корисним порівнянням.
Хоча Tesla та Zoox є більш новими та все ще нарощують масштаб, від них не вимагують публікувати інформацію, яку Waymo вибрала для добровільного надання громадськості. Федеральний уряд має втрутитися та вимагати від кожного оператора звітувати про кількість аварій на миль, з вимірюванням за місцем, із регуляторами, які перевіряють дані про аварії та травми за записами поліції та страхування.
Уряду США це вже вдалося у сфері медицини. Він змусив галузь вийти на світло, вимагаючи, щоб лікарні вимірювали та публічно повідомляли, як пацієнти сприймають свою медичну допомогу. Деякі з нас, хто практикує медицину, вже офіційно закликали до такого зобов'язання щодо звітності у сфері автономних автомобілів. Поки це не відбудеться, ми рухаємося сліпо та продовжуємо нормалізувати смертність, яку власні рейтинги уряду не враховують. У своєму списку того, що вбиває американців щорічно, смертність через дорожньо-транспортні пригоди не вказана як причина. Ці десятки тисяч загиблих знаходяться в більшій категорії ненавмисних травм.
Хороша звітність — це лише основа. У 2008 році програма Medicare почала публічно звітувати, якою була медична допомога для пацієнтів у майже кожній лікарні в Америці, використовуючи стандартизований опитувальник. До 2012 року результати лікарень на таких опитуваннях були пов'язані з рівнями оплати. Ціла професія виникла для вимірювання досвіду пацієнтів та допомоги лікарням у дотриманні цих стандартів. Лі допоміг галузі зростати в наступні роки. Він сказав, що орієнтовно в 2010 році галузь змінила назву дисципліни з “задоволення пацієнтів” на “досвід пацієнтів”, щоб захопити відчуття людей про їхню загальну допомогу, понад просто задоволення. Відслідковування цих показників дозволило чиновникам притягувати установи до відповідальності. Лі вважає, що індустрія автономних автомобілів повинна зробити відчуття безпеки “своєю одержимістю,” вимірювати це так, як вимірюються аварії, і публічно звітувати про це.
Що рятує чесність
Компанії, що займаються автономними автомобілями, вже дальше просунулися у публікації доказів безпеки своїх систем ШІ. Але дані не лікують страхи. Охорона здоров'я більше просунулася у вирішенні проблеми сприйняття. Кожна галузь має велику частину того, що інша ще потребує. Для компаній безпілотних автомобілів наступні кроки полягають у створенні громадської довіри шляхом чесного вирішення помилок та прозорого спілкування.
Що роблять ці компанії після того, як їхні продукти зашкодили комусь, багато говорить про них. У жовтні 2023 року безпілотний автомобіль, керований компанією Cruise LLC, дочірньою структурою General Motors, їхав через Сан-Франциско, коли водій, що втік, вдарив жінку та кинув її в шлях автономного транспортного засобу. Автомобіль Cruise проїхав її, не відчуваючи її під шасі, але будучи програмованим зупинитися після зіткнення, почав вирушати до бордюру, тягнучи її приблизно на 20 футів. Первісне зіткнення не було провиною компанії. Те, що сталося далі, було. Звіт Cruise для федеральних регуляторів не включав факт, що жінка була затягнута після зіткнення; ця пропущення пізніше призвела до обвинувачення Cruise Міністерством юстиції в наданні нещирих записів з наміром заважати, перешкоджати або впливати на розслідування аварії.
Cruise врешті-решт визнав відповідальність і уклав угоду з урядом. Умови угоди включали кримінальний штраф у розмірі 500 000 доларів, програму відповідності та три роки федерального контролю. Але до того моменту регулятори штату Каліфорнія уже призупинили дозволи на експлуатацію безпілотних автомобілів компанії. Декілька лідерів компанії, в тому числі її генеральний директор, пішли у відставку. General Motors ліквідував компанію.
Деякі з найкращих підходів у охороні здоров’я щодо збереження довіри пацієнтів базуються на радикальній прозорості. У 2001 році система охорони здоров'я Університету Мічигану перестала боротися з кожним позовом про недбалість і почала виявляти свої власні помилки, розкривати їх перед пацієнтами, пояснювати, що сталося, і пропонувати компенсацію, коли система була винна. Очікувалося, що це призведе до потоку позовів. Натомість, у 2010 році дослідження зафіксувало, що нові позови зменшилися, позови знизилися ще більше, а час вирішення обох зменшився. Відкритість не збільшила відповідальності. Вибачення працювали найкраще, коли пацієнти могли побачити, що система досліджувала невдачу та вжила заходів, щоб це більше не повторилося.
Бути чесним з громадськістю також означає визнати можливі широкі людські наслідки цієї технології. Стабільна зайнятість є потужним соціальним детермінантом здоров'я людей. Мільйони американців заробляють на життя, водячи автомобілі, і безпілотні машини вплинуть на частину цих робіт. Найбільш піддані ризику роботи зазвичай займають люди старшого віку з низькою оплатою праці, а втрати можуть бути найбільшими і найранішими для найбільш вразливих людей. Але наскільки великі реальні втрати робочих місць ми побачимо — це невідомо. З’являються нові типи робочих місць, і рівень життя з часом покращується. Економісти називають це “творчою руйнацією,” і це стало темою Нобелівської премії з економіки 2025 року. У кількох містах побоювання щодо втрати робочих місць уже є серед найгучніших джерел опозиції. І це не те питання, яке можуть вирішити дані про безпеку, оскільки це не є хибним сприйняттям. Уважне планування робочої сили має бути вже значно просунутим.
Медицина вже стикається з тим, з чим зараз стикається індустрія безпілотних автомобілів, і в деяких випадках автономні системи стали нормою, а не винятком. Читання рентгенологічних знімків за допомогою ШІ є достатньо поширеним, що неконтрольовані читання стають рідкісними для деяких станів. Використання ШІ стає стандартом медичної допомоги. Подібна точка повороту наставла для транспортної індустрії. Дані свідчать про те, що якість є. Робота, яка ще залишилася, це допомогти людям відчувати себе так безпечно, як свідчать ці дані. Під час цього процесу, і поки місцеві чиновники займатимуться даними про безпеку автономних транспортних засобів, які перевищують дані про людських водіїв, більше спільнот виявлять, що математика безпеки та страхування сильно підтримує машину. Водіння з часом все більше стане вибором — і вибором, який вам потрібно буде пояснити.
Оригінал: www.noemamag.com