Помилка логування Codex може записувати ТБ на локальних SSD

· Майбутнє

Помилка логування Codex може записувати ТБ на локальних SSD

Помилка Codex призвела до написання 640 ТБ на рік на SSD, що прискорює знос.

Опис

Оновлення станом на 22 червня 2026 року: сьогодні злиті наступні 2 PR, це може уникнути 85% логів (зворотний зв'язок від мого кодексу), тож дайте мені закрити це питання.
Дякую @jif-oai за виправлення.

  • Зупинити ведення логу кожної події WebSocket відповідей #29432
  • Фільтрувати шумні цілі з постійних логів #29457

Оригінальна проблема

Codex постійно записує величезну кількість даних у локальну базу даних логів SQLite:

  • ~/.codex/logs_2.sqlite
  • ~/.codex/logs_2.sqlite-wal
  • ~/.codex/logs_2.sqlite-shm

На моєму комп'ютері, після приблизно 21 дня безперервної роботи, основний SSD записав близько 37 ТБ. Перевірки на рівні процесу/файлу показують, що логи Codex SQLite є основним постійним записувачем.
Це екстраполюється до приблизно 640 ТБ/рік. На SSD об'ємом 1 ТБ це приблизно 640 повних записів за рік. Деякі споживчі SSD розраховані на приблизно 600 TBW, тому це може вичерпати приблизно повну гарантію запису диска менш ніж за рік.


Докази

Доказ 1

Пізніший знімок робить підвищення запису легшим для сприйняття:
Так, база даних наразі зберігає лише ~0.5M рядків, тоді як лічильник AUTOINCREMENT SQLite вже просунувся понад 5.5B ідентифікаторів.
Це приблизно 10,000x прогалини між збереженими рядками та історичними вставленими ідентифікаторами рядків. Навіть використовуючи нинішній розмір бази даних ~1.2 GiB як приблизну основу, це вказує на масштаб історичних логів понад 10 ТБ, не враховуючи WAL, індекси, очищення, контрольні точки, переписування сторінок та підвищення запису на рівні файлової системи/пристроїв.

Доказ 2

Поточні збережені рядки в logs_2.sqlite: Розподіл рівнів:
Найбільші пари цілей+рівнів:
Основними джерелами є в основному глобальні TRACE логи, дзеркальні телеметричні логи та сирі логування вантажів WebSocket/SSE. TRACE сам по собі становить близько 70.7% збережених байтів.
codex_otel.log_only + codex_otel.trace_safe додають ще 25.3%. Фільтрування цих категорій має видалити приблизно 96% збережених байтів логів у цьому зразку без повного вимкнення логів зворотного зв'язку.


Приклади

Приклад 1 — Часті джерела TRACE:

Це високочастотні збережені зразки. Сирі тіла вантажів WebSocket/SSE навмисно не включені, оскільки вони можуть містити конфіденційний зміст розмови.

  • 128,764x TRACE лог: inotify event: ... mask: OPEN, name: Some("ld.so.cache")
  • 37,982x TRACE лог: inotify event: ... mask: OPEN, name: Some("locale.alias")
  • 23,843x TRACE лог: inotify event: ... mask: OPEN, name: Some("passwd")
  • 3,639x TRACE лог: <tokio-tungstenite checkout>/src/compat.rs:131 AllowStd.with_context
  • 3,505x TRACE лог: <tokio-tungstenite checkout>/src/lib.rs:245 WebSocketStream.with_context
  • 3,362x TRACE лог: <tokio-tungstenite checkout>/src/compat.rs:154 Read.read
  • 3,356x TRACE лог: <tokio-tungstenite checkout>/src/compat.rs:157 Read.with_context read -> poll_read
  • 3,230x TRACE лог: <tokio-tungstenite checkout>/src/lib.rs:294 Stream.poll_next
  • 3,227x TRACE лог: <tokio-tungstenite checkout>/src/lib.rs:304 Stream.with_context poll_next -> read()
  • 3,213x TRACE лог: inotify event: ... mask: OPEN, name: Some("nsswitch.conf")
  • 2,001x TRACE лог: WouldBlock
  • 1,217x TRACE лог: Masked: false
  • 1,169x TRACE лог: Opcode: Data(Text)
  • 1,169x TRACE лог: First: 11000001

Приклад 2 — Часті джерела INFO:

Панівними джерелами INFO в основному є повторювані події дзеркального OpenTelemetry. Ідентифікатори відредаговані.

  • 843x INFO codex_client::custom_ca: використання системних кореневих сертифікатів через те, що жодна змінна середовища для CA не була вибрана ...
  • 334x INFO codex_otel.trace_safe: session_loop{thread_id=<відредаговано>}:submission_dispatch{otel.name="op.dispatch.user_input" submission.id=<відредаговано> codex.op="user_input"}:turn{otel.name="session_task.turn" thread.id=<відредаговано> ...}
  • 333x INFO codex_otel.log_only: session_loop{thread_id=<відредаговано>}:submission_dispatch{otel.name="op.dispatch.user_input" submission.id=<відредаговано> codex.op="user_input"}:turn{otel.name="session_task.turn" thread.id=<відредаговано> ...}
  • 332x INFO codex_otel.log_only: session_loop{thread_id=<відредаговано>}:submission_dispatch{otel.name="op.dispatch.user_input_with_turn_context" submission.id=<відредаговано> codex.op="user_input_with_turn_context"}:turn{otel.name="session_task.turn" thread.id=<відредаговано> ...}
  • 332x INFO codex_otel.trace_safe: session_loop{thread_id=<відредаговано>}:submission_dispatch{otel.name="op.dispatch.user_input_with_turn_context" submission.id=<відредаговано> codex.op="user_input_with_turn_context"}:turn{otel.name="session_task.turn" thread.id=<відредаговано> ...}

Підвищення запису

Збережений розмір бази даних приховує справжній об’єм запису. У зразку тривалістю 15 секунд:
Приблизно 36,211 рядків були вставлені за 15 секунд, тоді як кількість збережених рядків залишалася незмінною. Це вказує на постійне вставлення та очищення — рядки вставляються, індексуються, записуються у WAL, а потім очищуються.

Ймовірна причина

Система логування зворотного зв'язку SQLite встановлюється з глобальним TRACE за замовчуванням:
Targets::new().with_default(Level::TRACE)
Це зберігає всі цілі на рівні TRACE за замовчуванням, включаючи журнали залежностей/внутрішні логи та великі сирі вантажі протоколу.

Запропоноване виправлення

Залиште логування зворотного зв'язку ввімкненим, але звузьте те, що зберігається за замовчуванням:

  • Не використовуйте глобальний TRACE для системи логування зворотного зв'язку SQLite.
  • Викиньте або підніміть пороги для шуму залежностей з низькою вартістю, особливо:
    • target=log
    • hyper_util
    • Внутрішні елементи tokio-tungstenite
    • Спам inotify та низькорівневі логи OpenTelemetry SDK.
  • Уникайте зберігання сирих вантажів WebSocket/SSE за замовчуванням. Зберігайте замість цього зведення: тип події, тривалість, успіх/помилка, використання токенів та довжина вантажу в байтах.
  • Уникайте зберігання дзеркальних подій codex_otel.log_only/codex_otel.trace_safe, якщо вони не є явно корисними для налагодження зворотного зв'язку.
  • Додайте глобальний обсяг/ліміт запису бази даних логів. Обмеження за потоками недостатньо, коли існує багато потоків/процесів.

Опціональне "маршрутне щілину" таке, як sqlite_logs_enabled = false, все ще буде корисним, але основне виправлення має полягати в кращому фільтруванні за замовчуванням.


Пов'язані проблеми та обговорення

  • Надмірні записи WAL SQLite під час потокового мовлення через ігнорування TRACE логів RUST_LOG #17320
  • Codex Desktop швидко зростає logs_2.sqlite / WAL під час нормального активного використання #24275
  • app-server: лог зворотного зв'язку sqlite (logs_N.sqlite) зростає без обмежень — ~0.75 ГБ/день, без зберігання/обертання #26374
  • logs_2.sqlite-wal зростає безкінечно і залишається виділеним після видалення, оскільки застарілі/призупинені процеси Codex TUI тримають видалений WAL відкритим #22444
  • Важка активність I/O від бездіяльних процесів codex #20563
  • Серйва активність диска / 100% активний час диска на Windows WSL2 при використанні розширення Codex / CLI #27020
  • goals_1.sqlite підвищення запису: ~11 МБ/с стійких записів (11 ГБ за весь час) на базі даних 4 КБ #27911
  • Codex Desktop стає непридатним на тривалих активних потоках через пам'ять додатка/рендерера та бурхливі TRACE логи #21134
  • app-server: джерело / журнали зворотного зв'язку з sqlite на рівні TRACE #12969

Оригінал: github.com

Про Що? — новини науки, технологій і світу