Як Тері Тао став євангелістом ШІ в математиці

· Наука

Як Тері Тао став євангелістом ШІ в математиці

Тері Тао передбачає, що в майбутньому математики працюватимуть разом з сотнями колег та ШІ.

Як Тері Тао став адвокатом штучного інтелекту в математиці

Вступ

Наведене нижче адаптоване з книги «Доказ у коді: як машина істини трансформує математику та ШІ» Кевіна Хартнета.
Тері Тао ніколи не боявся незвичних ідей. У листопаді 2014 року він був на панелі з п'яти видатних математиків, які були першими отримувачами Премії за прорив у математиці, що супроводжувалася нагородою в 3 мільйони доларів. Розмова лауреатів охопила питання, чи математика є вигаданою чи відкритою — більшість математиків погодилися, що принаймні це відчувається як акт відкриття — до оцінки ймовірностей того, що ми живемо в цифровій симуляції. «Так, я думаю, що ми насправді не реальні», — сказав Максим Контсевич, який виконав свої найважливіші роботи в 1990-х на перетині математики та фізики.

Протягом 40-хвилинної дискусії заяви, які викликали найбільше недовіри, належали Тао. Він спрогнозував, що в майбутньому, замість того щоб працювати наодинці або в невеликих командах з двох або трьох людей, математики можуть працювати над проектами разом із сотнями інших людей одночасно. І коли ці колаборації закінчаться, сказав він — в своїй скромній, непретензійній манері — результати можуть перевірятися не людьми-рецензентами, а комп'ютерами. «Одного дня ми, можливо, дійсно будемо писати наші роботи не в LaTeX, а у якійсь мові, яку розумне програмне забезпечення перетворить на формальну мову, і час від часу ви отримаєте помилку компіляції — комп'ютер не розуміє, як ви отримали цей крок», — сказав він.

Ця заява була сприйнята модератором заходу і іншими лауреатами як досить абсурдна, щоб гіпотеза симуляції здавалася розумною в порівнянні. Навіть більш приголомшливим, ніж ідея сотень математиків, які працюють разом, було те, що така співпраця приваблювала Тао — адже якби хто-небудь у світі здався дійсно придатним для роботи наодинці, то це був би він.

Тері Тао народився 1975 року в Аделаїді, Австралія, через три роки після того, як його батьки іммігрували в країну з Гонконгу. Перші сигнали того, що їхній первісток відрізняється, з’явилися рано. Коли Тао було 2 роки, і його родина відвідала друзів, батьки виявили, що він зібрався з кількома 6-річними дітьми, демонструючи, як рахувати за допомогою дерев’яних кубиків. Запитаний, як він навчився рахує, він відповів, що побачив це у «Вулиці Сезам». П’ять років по тому, коли Тао було 7, він почав вивчати обчислення.

Протягом трьох тижнів весною 1985 року батьки Тао привезли його до Сполучених Штатів, де він зустрівся з Джуліаном Стенлі, директором програми дослідження математично обдарованої молоді, тоді ще при Університеті Джонса Гопкінса. Стенлі описав Тао як найбільш обдарованого математика, якого він коли-небудь бачив. Того ж року Тао зустрів відомого математика Ласло Ердоша під час його візиту до Аделаїди. Відоме фото показує, як дідусеподібний Ердош, 72 роки на той час, читає документ у своїх колінах, у той час як 10-річний Тао з густим чорним волоссям уважно спостерігає, піднявши пальці до підборіддя.

Легенда про молодого Тао зросла, коли він взяв участь в Міжнародній математичній олімпіаді в 1986 році. Він виграв бронзову медаль в той перший рік, ставши, у віці 10 років, наймолодшим учасником, якому вдалося досягти такого результату. У наступні два роки він став наймолодшим володарем срібної медалі, а потім й наймолодшим у світі, хто виграв золоту медаль. Його офіційна освіта проходила з таким же прискореним темпом. Він закінчив місцевий Університет Фліндерса в Аделаїді в 15 років і восени 1992 року відправився разом із батьком до Нью-Джерсі, де почав навчання в аспірантурі з математики в Принстонському університеті. Ердош підтримав раннє зарахування Тао до програми, написавши в рекомендаційного листі: «Я впевнений, що він розвине в себе здібності першокласного математика, а, можливо, й справді великого».

Ердош мав рацію. Коли Тао стало 24, він здійснив достатньо нових відкриттів, щоб мати право вибору постійних посад у вузі; врешті-решт він вирішив оселитися в Каліфорнійському університеті в Лос-Анджелесі. В той час він зустрів молодого англійського теоретика чисел на ім'я Бен Грін. Вони почали співпрацювати над доведенням того, що певні види шаблонів, званих арифметичними прогресіями — в яких числа в наборі збільшуються на фіксований інтервал, як 7, 10, 13, 16 — неминуче з’являються в великих колекціях простих чисел, незважаючи на те, що прості числа, здається, розсіяні випадковим чином вздовж числової прямої. Їхнє доведення стало підписним результатом ранньої кар'єри Тао, що сприяло його отриманню медалі Філдса в 2006 році та вивело його на верхні щаблі математики.

Тао міг би побудувати успішну кар'єру без співпраці з ким-небудь, але це не був його стиль роботи. Він вважав співпрацю з іншими дослідниками основним способом відкриття нових ідей — беріть те, що ви знаєте, поєднуйте це з тим, що знаю я, та подивимось, що вийде.

Цей підхід призвів до того, що математичні дослідження Тао охоплювали надзвичайно широкий спектр тем, від аналітичної теорії чисел, включаючи теорему Гріна-Тао про прості числа, до аналізу, де він вивчав властивості рівнянь Нав'є-Стокса, що описують поведінку рідин, до алгоритмів для створення МРТ-образів з цифрових даних. (Співпраця в МРТ виникла під час розмов, які Тао мав з Еммануїлом Кандесом, статистиком на той час в Каліфорнійському технологічному інституті, під час того, як вони обоє відводили своїх дітей до дитячого садка.) Ця жага до колективного відкриття також спонукала Тао проводити багато своїх робіт публічно. У 2007 році він запустив блог, де почав публікувати регулярні оновлення про свої дослідження. На той момент Тао був одним з найвідоміших математиків не лише в своїй галузі, а й у світі. Його публікації отримали багато уваги і нерідко призводили до тривалих обговорень у секції коментарів, де Тао активно брав участь. Він робив це, оскільки знаходив в цьому задоволення і сподівався, що обговорення можуть спричинити нові ідеї.

Приблизно в той же час ще один ранній математичний блогер мав подібну думку. Як і Тао, Тімоті Гоурс був помітним дослідницьким математиком із схильністю до публічного обміну. Але замість того, щоб покладатися на випадковість у коментарях свого блогу, Гоурс хотів спрямувати публічну енергію більш зосередженим чином. У січні 2009 року він опублікував пост у блозі, оголошуючи про своє бажання сприяти новому виду «масової колективної математики». Він пропонував задачу в відкритому онлайн-форумі, і «будь-хто, хто має що-небудь сказати про цю задачу, може долучитися». Він назвав це Проектом Полімата.

Тао приєднався. Як і Гоурс, він розумів, що деякі математичні проблеми легше вирішити, ніж інші, через велику співпрацю. Ключем, як зазначив Тао в коментарі до початкового посту Гоурса, було знайти проблеми, які могли б «згенерувати низку простіших підпроблем… над якими можна було б у цілому працювати паралельно». Розбиваючи великі проблеми на окремі випадки, різні команди або особи могли працювати на власний розсуд, а потім зібрати їх результати у велике ціле. Водночас Тао знав, що, можливо, найбільшою проблемою з моделлю Полімата буде організація: модерація внесків та перевірка, щоб усі внески були правильними.

Для першого проекту Полімата Гоурс запропонував покращити результат, званий теоремою Гейлса-Джеветта, що стосується шаблонів, які з’являються, коли ви затінюєте клітини у сітці одним з двох різних кольорів. Після кількох місяців роботи, координованої через тисячі коментарів десятків математиків, група довела більш точне твердження про те, як ці кольорові шаблони виникають. Того осені вони опублікували цю працю як першу в своєму роді математичну статтю з псевдонімом «D.H.J. Полімат». Експеримент Гоурса був успішним. Він дозволив багатьом математикам — як професійним, так і аматорським — працювати разом і в результаті отримав доведення.

Протягом наступного десятиліття відбулося ще 15 проектів Полімата, деякими з яких керував Тао, а ініціатива привернула широку увагу. 29 жовтня 2011 року The Wall Street Journal опублікував статтю під заголовком «Нові Ейнштейни будуть вченими, які діляться» і повідомив, що проект Полімата «завершив новий підхід до розв’язання проблем».

Проте, в інших відношеннях проект Полімата був ідеєю перед її часом. Тао було захоплююче бути в центрі метушні математичної активності, але він визнавав, що коментарі у блозі були обмеженою платформою для співпраці. Масштабна відкривана співпраця підвищувала ймовірність певного роду випадкового відкриття, але, у той же час, підвищувала шанси, що будь-хто з багатьох учасників може внести помилку. Єдиний спосіб захиститися від помилки полягав у тому, щоб модератор ретельно перевіряв всю роботу. Але такий тип модерації підривав бачення Полімата.

Те, що насправді хотів Тао, — це ефективна нова форма наукового відкриття. І через деякий час він усвідомив, що модель Полімата не є такою. Щоб реалізувати це, думав він, знадобиться якийсь комп'ютерний верифікатор — спосіб автоматично перевіряти внески, а не вручну. Але з урахуванням стану технологій у 2010-х, йому здавалося, що він так само міг би побажати пасажирських перевезень до Марса.

Тері Тао знав про комп'ютерну верифікацію математики вже багато років. Він знав про кілька успішних історій, але також знав, що формальна математика все ще є непрактичною, що вимагала набагато більше зусиль, ніж це коштувало в більшості випадків. Проте, Тао був зацікавлений її потенціалом. Практично єдиний серед елітних математиків світу, він побачив потенціал у нових методах виконання математики.

У липні 2022 року, частково для задоволення своєї цікавості, він почав організовувати семінар про всі різні способи, якими комп'ютери допомагали математичним дослідженням. Він залучив команду співорганізаторів, включаючи Кевіна Баззарда, який на той час був найбільш видимим адвокатом формальної математики у світі.

Перед конференцією, Тао вважав Lean, програмне забезпечення, яке дозволяє писати та перевіряти математичні доведення як комп'ютерний код, складною програмою, яку доведеться вивчати місяцями. Баззард переконав його спробувати. Разом із цим заохоченням, Тао відчував сильну відповідальність показувати приклад — якщо він планує продовжувати просувати машинно-допомагаємі доведення, йому потрібно почати спробувати це самому.

9 жовтня 2023 року Тао опублікував у соціальних мережах: «Я вирішив нарешті ознайомитися з інтерактивною системою доведення Lean4 (використовуючи за потреби ШІ для допомоги в її використанні).»

На MathOverflow, популярному онлайн-форумі для математиків, Тао знайшов запитання про так звану нерівність Маclerуїна. Він вирішив відповісти на нього як експеримент у формалізації. Спочатку він написав доведення у вигляді типової математичної роботи. Воно було коротким, всього 10 сторінок. Потім він звернув свою увагу на свою справжню мету: подивитися, чи зможе він формалізувати просте доведення в Lean.

Спочатку Тао думав, що зможе зробити це за тиждень, але швидко зіткнувся з відмінностями між написанням математики вручну та введенням її в Lean. Тао помітив, що складні частини доведення легко формалізувати в Lean, тоді як прості частини вимагали несподіваної кількості роботи.

У звичайному документі Тао не витрачав часу на те, щоб стверджувати, що якщо ви маєте три числа, всі з яких більші за 1, то їхня сума неодмінно становитиме принаймні 3. Але Lean не сприймає тверджень, і Тао довелося витратити час на пошук леми в Mathlib — цифровій бібліотеці вже формалізованої математики, на яку користувачі Lean спираються при написанні доведень — яка доводила це самоочевидне співвідношення. Подібно, в неформальній математиці не завжди необхідно вказувати, в якій числовій системі ви працюєте. Число 3, наприклад, одночасно є цілим числом, натуральним числом і дійсним числом. У своїй оригінальній роботі Тао міг просто написати «3», не уточнюючи, яке саме 3 він має на увазі. Однак у Lean йому довелося це прописати. Тао виявив, що його доведення постійно не компілюється, оскільки він забув вказати правильний тип у різних точках формалізації. Лише через майже місяць, 6 листопада, Тао опублікував у коментарі на своєму блозі: «Просто зауваження, що мені вдалося формалізувати результати цієї роботи в Lean4». Результат був незначний, а код Lean, який він написав для формалізації, був жахливим. Проте ресурси, які допомогли його подолати всі труднощі, тепер з'явилися.

Одночасно з вивченням Lean, Тао продовжував працювати над рядом інших дослідницьких проектів. Серед них був один з його давніми співпрацівниками Беном Гріном і Тімом Гоурсом, а також Фредді Маннерсом, колишнім студентом Гріна, який зараз є професором Університету Каліфорнії, Сан-Дієго. Це була елітна група співпрацівників — Гоурс, як і Тао, отримав медаль Філдса, а Грін був серед найвинагородженіших теоретиків чисел у цій галузі.

Група мала конкретну проблему, що стосувалася математичного об'єкта, званого сумою множин. Якщо у вас є колекція чисел, її можна використовувати для формування іншої, пов’язаної колекції: її суми. Сума множини формується шляхом взяття суми кожної унікальної пари чисел з першого набору. Усі ці суми разом формують суму вихідного набору.

Якщо вихідний набір складається випадкових чисел, то його сума буде порівняно великою. Набір з 10 випадкових чисел має суму приблизно 50 чисел (а набір з 1,000 чисел має суму близько 500,000 чисел). Але якщо, замість того, щоб містити випадкові числа, вихідний набір слідує певному шаблону, його сума буде значно меншою, оскільки багато сум з’являться кілька разів (і ви включаєте кожну суму до суми лише один раз). Набір чисел від 1 до 10 є одним із прикладів — його сума містить лише 17 чисел (а не 50, як ви могли б очікувати, якби це була випадкова колекція з 10 чисел), тому що багато з сум повторюються (1 + 6, 2 + 5, і 3 + 4 всі дорівнюють 7, і ви входите лише один раз 7 у суми).

Окрім того, що має малу суму, числа від 1 до 10 є прикладом арифметичної прогресії, оскільки вони збільшуються на постійний інтервал. Кон'юнктура, що має коріння в 1960-х роках, запропонована комп'ютерним вченим Каталіном Мартоном, стверджує, що цього не можна пояснити випадковістю. Вона передбачала, що набори, які формують малі суми, також повинні включати довгі арифметичні прогресії. Гоурс, Грін і Тао досягли прогресу в вдосконаленій версії цієї проблеми, званій поліноміальною кон'юнктурою Фреймана-Рузи, на початку 2000-х, але врешті-решт застрягли. Потім, у 2023 році, Тао, Грін і Маннерс знову підняли цю проблему, маючи на меті впровадження технік із теорії ймовірності, які розробив Маннерс.

Вони усвідомили, що, поєднуючи ці техніки з ранніми ідеями Гоурса, вони можуть зуміти вирішити всю задачу. Вони залучили Гоурса до колаборації, і четвірка просувалася стабільно влітку 2023 року. Наприкінці осені вони досягли успіху. 9 листопада — всього через три дні після того, як Тао завантажив своє перше формальне доведення Lean на GitHub — вони завантажили своє доведення на arxiv.org.

Зважаючи на Lean, Тао запропонував трьом співавторам спробувати формалізувати їхню статтю. Ця робота здавалася хорошим кандидатом для формалізації як важливий результат, і тому що вона потребувала відносно простих технік. Їм не довелося б витрачати місяці на додавання попередніх матеріалів до Mathlib — більшість необхідних визначень вже була там.

Однак Грін, Гоурс і Маннерс не були особливо зацікавлені витрачати час на вивчення Lean. Тож Тао вирушив сам — хоча він знав, що незабаром не залишиться наодинці. Кожний проект, який він очолив, ймовірно, приверне увагу.

13 листопада Тао відкрив новий канал у групі чату, зосередженій на Lean. «Привіт усім. Я думаю розпочати проект для формалізації в Lean4 останнього доведення Тімоті Гоурса, Бена Гріна, Фредді Маннерса та мене щодо поліноміальної кон'юнктури Фреймана-Рузи», — писав він. Він використав канал для координації діяльності в проекті і був «радий приймати волонтерів, які бажають долучитися до цього проекту в тій мірі, в якій їм це буде зручно». Це був перезапуск Проекту Полімата, тільки цього разу вони формалізували існуючий результат, а не намагалися довести новий — і вся робота була перевірена Lean, що означало, що Тао не доведеться перевіряти її самостійно.

Протягом першого тижня більшість активності в потоці стосувалася формалізації основних концепцій з теорії ймовірності, які були необхідні для доведення, але ще не були в Mathlib. Зокрема, їм потрібно було формалізувати ентропію Шеннона — міру невизначеності або безладу в джерелі даних, як набір чисел. Але разом з формалізацією математики Тао та інші провели цей перший тиждень, намагаючись з’ясувати, як співпрацювати. Спочатку розмова проходила вільно, з постами Тао про те, що, на його думку, потрібно зробити, і іншими, які вносили ідеї, як це зробити, так само, як проекти Полімата розгорталися в коментарях блогу.

22 листопада Тао опублікував список з 22 важливих лем і написав: «Якщо ви хочете взяти одну або кілька з цих лем, будь ласка, зробіть це, відповівши в цій темі». Відповіді посипалися: «Я хотів би взяти ентропію рівномірної випадкової змінної :),» — написав Пол Лео, аспірант Лондонської школи геометрії та теорії чисел. «Я спробую взяти на себе загальну ідентичність фібрування», — відповів Аарон Андерсон, аспірант UCLA.

На хвилі популярності все більше математиків приєднувалося до зусиль. До кінця листопада Тао, як обтяжений координатор-волонтер, сам писав кілька рядків коду Lean, але більше фокусувався на пошуку завдань для інших. 28 листопада він написав: «Беручи до уваги, що у нас може тимчасово бути надлишок волонтерів для проекту PFR, оскільки він наближається до завершення, я думав про ще одне маленьке завдання, над яким хтось, можливо, захоче працювати». Через 46 хвилин Кім Моррісон відповів, що вони виконали завдання. «Вау, це було швидко! Дякую!» — відповів Тао.

Навіть перш ніж формалізація була завершена, спільнота Lean почала обговорювати, що це означало. Зокрема, вони дискутували, чи ефективність проекту вказувала на нову еру швидкої формалізації, або ж це відображало непересічний вплив Террі Тао. У пості у завершенні в груповій темі Тао відзначив, що сам написав незначну частину коду. «Це насправді досить заохочує мене, оскільки це припускає, що математики можуть керувати проектами формалізації Lean без потреби в широких навичках програмування в Lean (хоча може знадобитися щонайменше достатня експертиза, щоб формулювати леми, якщо не доводити їх).» Вісім хвилин потому Йохан Коммелін, математик з Університету Утрехта та директор ініціативи Mathlib, відповів: «Я не хочу одразу захоплювати цю тему», перш ніж пересунутися до питання, чи були уроки, які Тао вивчив під час проекту, поширюваними. «Звісно, ви отримали багато допомог, працюючи з цим проектом, через його високу профільність», — написав він.

Коммелін також зауважив, що хоча такі проекти, як PFR, були веселими та захоплюючими для участі, внески в них не були тим, за що молоді математики отримали визнання, коли подавали свої заявки на академічні посади. «На даний момент все ще неясно, як формалісти (через брак кращого опису роботи) будуть кредитуватися математичною спільнотою, і як ці діяльності будуть оцінюватися на ринку праці». Тао відповів: «Скільки б не коштувало, я більш ніж радий згадати внески в цей проект у листах-рекомендаціях за необхідності».

До 2024 року Тао став найвидатнішим публічним голосом, що пропагував потенціал машинно-допомагаємій математиці. Він був три роки на посаді в Раді консультантів президента Джо Байдена з науки та технологій і став співголовою робочої групи з генеративного ШІ. У парі високопрофільних промов у 2024 році він висловив своє бачення нового типу математичної співпраці: такої, що поєднувала б людське усвідомлення, творчість великих мовних моделей та гарантії правильності, надані формальними верифікаційними системами.

Цю точку зору він сформулював частково тому, що бачив очевидні межі того, що можуть зробити сучасні інструменти ШІ. Вони відзначалися у розв'язанні простих проблем чи завдань, які мали безліч попередніх даних, але на передовій математики — де було мало опублікованих результатів і мало даних для навчання — ШІ зазнавали невдачі. У своїх ранніх експериментах з LLMs, він спостерігав, що вони поводилися як надміру впевнені студенти, які пропонували пропозиції без досвіду, щоб розрізняти добрі ідеї та погані.

Проте, Тао мав на увазі шлях вперед. Він не вірив, що ШІ незабаром замінить людських математиків, але вважав, що вона здатна особливо добре допомагати вирішувати певні типи складних математичних проблем: ті, які можуть бути розбиті на тисячі маленьких, зручних підпроблем — фактично такого самого класу, який добре підходив для проектів Полімата. У такому масштабі математики могли б використовувати ШІ, щоб розв'язати великі частини найпростіших підпроблем, отримуючи результати як формальні доведення, які Lean міг би перевірити, і самі взятися за найбільш складні залишкі питання. У 2024 році Тао пропагував це бачення всім, хто слухав, і після проекту PFR він зрозумів, що, якщо він насправді вірить у цю роботу, йому потрібно стати на чолі цих зусиль самостійно. Він також знав, з якого питання він почне.

Це було питання, на яке він натрапив рік тому. У липні 2023 року користувач на MathOverflow поставив здавалося б просту задачу. Розглянемо операцію, як-то додавання, написав користувач. Вона могла б дотримуватись певних основних алгебраїчних законів, як-от комутативний закон, який каже, що x + y = y + x, або асоціативний закон, який стверджує, що (x + y) + z = x + (y + z). У багатьох випадках між одним законом і іншим немає відношення — комутативний закон не передбачає асоціативного закону, наприклад.

Запитання на MathOverflow стосувалося зв’язку між двома певними законами, і один з інших користувачів швидко надав відповідь.

Проте питання того, як закони пов’язані один з одним загалом, привернуло цікавість Тао. Замість того, щоб розв’язувати головоломки одну за одною, Тао почав окреслювати грубий діаграм, що показує, як різні можливі алгебраїчні закони пов'язані один з одним. Ставало зрозуміло, що ця картина може бути досить складною.

Він побачив, що якщо обмежити своє вивчення алгебраїчними законами, які включають операції, застосовані точно чотири рази, то йому потрібно врахувати близько 4,694 законів. Кожен закон міг потенційно передбачити або не передбачити будь-який інший закон, створюючи 22 мільйони логічних зобов'язань для перевірки. Як тільки він перевірить їх усі — або довівши, що вони утримуються, або знайшовши контрприклад, в якому вони зазнають невдачі — у нього буде повна картина того, як усі 4,694 ці закони пов'язані один з одним. Це здавалося точно правильним масштабом для нового стилю математики, який він пропонував.

Тао назвав свою нову справу «Еквівалентні теорії» і оголосив про її формування у пості на своєму особистому блозі 25 вересня 2024 року. Він відкрив пост, зазначивши основні причини, чому великомасштабні публічні математичні співпраці в минулому були важкими, і потім написав: «Мови асистентів доказів, такі як Lean, забезпечують потенційний спосіб подолати ці перешкоди».

На початку Тао та зростаюча кількість волонтерів, які приєдналися до нього, протестували понад 4,000 законів на простих математичних структурах, відомих як магми. Магми — це спрощені версії арифметики, які служили корисною відправною точкою, оскільки будь-який закон, який не втримається для магм, не зможе передбачати інші, більш складні закони. Учасники швидко протестували мільйони цих спрощених систем, використовуючи основні Python-скрипти, і протягом кількох днів вирішили понад 99% з 22 мільйонів потенційних зобов'язань. На другий день — 27 вересня — Тао опублікував, що він був вражений швидкістю, з якою проект просувався: «Цей проект просунувся набагато-бо-бо далі, і масштабувався набагато швидше, ніж я очікував — всього через 48 годин, і вже велика

Оригінал: www.quantamagazine.org

Про Що? — новини науки, технологій і світу