Помилка логування Codex може записувати ТБ на локальних SSD
· Майбутнє
Помилка Codex призвела до написання 640 ТБ на рік на SSD, що прискорює знос.
Опис
Оновлення станом на 22 червня 2026 року: сьогодні злиті наступні 2 PR, це може уникнути 85% логів (зворотний зв'язок від мого кодексу), тож дайте мені закрити це питання.
Дякую @jif-oai за виправлення.
- Зупинити ведення логу кожної події WebSocket відповідей #29432
- Фільтрувати шумні цілі з постійних логів #29457
Оригінальна проблема
Codex постійно записує величезну кількість даних у локальну базу даних логів SQLite:
~/.codex/logs_2.sqlite~/.codex/logs_2.sqlite-wal~/.codex/logs_2.sqlite-shm
На моєму комп'ютері, після приблизно 21 дня безперервної роботи, основний SSD записав близько 37 ТБ. Перевірки на рівні процесу/файлу показують, що логи Codex SQLite є основним постійним записувачем.
Це екстраполюється до приблизно 640 ТБ/рік. На SSD об'ємом 1 ТБ це приблизно 640 повних записів за рік. Деякі споживчі SSD розраховані на приблизно 600 TBW, тому це може вичерпати приблизно повну гарантію запису диска менш ніж за рік.
Докази
Доказ 1
Пізніший знімок робить підвищення запису легшим для сприйняття:
Так, база даних наразі зберігає лише ~0.5M рядків, тоді як лічильник AUTOINCREMENT SQLite вже просунувся понад 5.5B ідентифікаторів.
Це приблизно 10,000x прогалини між збереженими рядками та історичними вставленими ідентифікаторами рядків. Навіть використовуючи нинішній розмір бази даних ~1.2 GiB як приблизну основу, це вказує на масштаб історичних логів понад 10 ТБ, не враховуючи WAL, індекси, очищення, контрольні точки, переписування сторінок та підвищення запису на рівні файлової системи/пристроїв.
Доказ 2
Поточні збережені рядки в logs_2.sqlite:
Розподіл рівнів:
Найбільші пари цілей+рівнів:
Основними джерелами є в основному глобальні TRACE логи, дзеркальні телеметричні логи та сирі логування вантажів WebSocket/SSE. TRACE сам по собі становить близько 70.7% збережених байтів.
codex_otel.log_only + codex_otel.trace_safe додають ще 25.3%. Фільтрування цих категорій має видалити приблизно 96% збережених байтів логів у цьому зразку без повного вимкнення логів зворотного зв'язку.
Приклади
Приклад 1 — Часті джерела TRACE:
Це високочастотні збережені зразки. Сирі тіла вантажів WebSocket/SSE навмисно не включені, оскільки вони можуть містити конфіденційний зміст розмови.
- 128,764x TRACE лог:
inotify event: ... mask: OPEN, name: Some("ld.so.cache") - 37,982x TRACE лог:
inotify event: ... mask: OPEN, name: Some("locale.alias") - 23,843x TRACE лог:
inotify event: ... mask: OPEN, name: Some("passwd") - 3,639x TRACE лог:
<tokio-tungstenite checkout>/src/compat.rs:131 AllowStd.with_context - 3,505x TRACE лог:
<tokio-tungstenite checkout>/src/lib.rs:245 WebSocketStream.with_context - 3,362x TRACE лог:
<tokio-tungstenite checkout>/src/compat.rs:154 Read.read - 3,356x TRACE лог:
<tokio-tungstenite checkout>/src/compat.rs:157 Read.with_context read -> poll_read - 3,230x TRACE лог:
<tokio-tungstenite checkout>/src/lib.rs:294 Stream.poll_next - 3,227x TRACE лог:
<tokio-tungstenite checkout>/src/lib.rs:304 Stream.with_context poll_next -> read() - 3,213x TRACE лог:
inotify event: ... mask: OPEN, name: Some("nsswitch.conf") - 2,001x TRACE лог:
WouldBlock - 1,217x TRACE лог:
Masked: false - 1,169x TRACE лог:
Opcode: Data(Text) - 1,169x TRACE лог:
First: 11000001
Приклад 2 — Часті джерела INFO:
Панівними джерелами INFO в основному є повторювані події дзеркального OpenTelemetry. Ідентифікатори відредаговані.
- 843x INFO
codex_client::custom_ca: використання системних кореневих сертифікатів через те, що жодна змінна середовища для CA не була вибрана ... - 334x INFO
codex_otel.trace_safe:session_loop{thread_id=<відредаговано>}:submission_dispatch{otel.name="op.dispatch.user_input" submission.id=<відредаговано> codex.op="user_input"}:turn{otel.name="session_task.turn" thread.id=<відредаговано> ...} - 333x INFO
codex_otel.log_only:session_loop{thread_id=<відредаговано>}:submission_dispatch{otel.name="op.dispatch.user_input" submission.id=<відредаговано> codex.op="user_input"}:turn{otel.name="session_task.turn" thread.id=<відредаговано> ...} - 332x INFO
codex_otel.log_only:session_loop{thread_id=<відредаговано>}:submission_dispatch{otel.name="op.dispatch.user_input_with_turn_context" submission.id=<відредаговано> codex.op="user_input_with_turn_context"}:turn{otel.name="session_task.turn" thread.id=<відредаговано> ...} - 332x INFO
codex_otel.trace_safe:session_loop{thread_id=<відредаговано>}:submission_dispatch{otel.name="op.dispatch.user_input_with_turn_context" submission.id=<відредаговано> codex.op="user_input_with_turn_context"}:turn{otel.name="session_task.turn" thread.id=<відредаговано> ...}
Підвищення запису
Збережений розмір бази даних приховує справжній об’єм запису. У зразку тривалістю 15 секунд:
Приблизно 36,211 рядків були вставлені за 15 секунд, тоді як кількість збережених рядків залишалася незмінною. Це вказує на постійне вставлення та очищення — рядки вставляються, індексуються, записуються у WAL, а потім очищуються.
Ймовірна причина
Система логування зворотного зв'язку SQLite встановлюється з глобальним TRACE за замовчуванням:
Targets::new().with_default(Level::TRACE)
Це зберігає всі цілі на рівні TRACE за замовчуванням, включаючи журнали залежностей/внутрішні логи та великі сирі вантажі протоколу.
Запропоноване виправлення
Залиште логування зворотного зв'язку ввімкненим, але звузьте те, що зберігається за замовчуванням:
- Не використовуйте глобальний TRACE для системи логування зворотного зв'язку SQLite.
- Викиньте або підніміть пороги для шуму залежностей з низькою вартістю, особливо:
target=loghyper_util- Внутрішні елементи
tokio-tungstenite - Спам inotify та низькорівневі логи OpenTelemetry SDK.
- Уникайте зберігання сирих вантажів WebSocket/SSE за замовчуванням. Зберігайте замість цього зведення: тип події, тривалість, успіх/помилка, використання токенів та довжина вантажу в байтах.
- Уникайте зберігання дзеркальних подій
codex_otel.log_only/codex_otel.trace_safe, якщо вони не є явно корисними для налагодження зворотного зв'язку. - Додайте глобальний обсяг/ліміт запису бази даних логів. Обмеження за потоками недостатньо, коли існує багато потоків/процесів.
Опціональне "маршрутне щілину" таке, як sqlite_logs_enabled = false, все ще буде корисним, але основне виправлення має полягати в кращому фільтруванні за замовчуванням.
Пов'язані проблеми та обговорення
- Надмірні записи WAL SQLite під час потокового мовлення через ігнорування TRACE логів RUST_LOG #17320
- Codex Desktop швидко зростає
logs_2.sqlite/ WAL під час нормального активного використання #24275 app-server: лог зворотного зв'язку sqlite (logs_N.sqlite) зростає без обмежень — ~0.75 ГБ/день, без зберігання/обертання #26374logs_2.sqlite-walзростає безкінечно і залишається виділеним після видалення, оскільки застарілі/призупинені процеси Codex TUI тримають видалений WAL відкритим #22444- Важка активність I/O від бездіяльних процесів
codex#20563 - Серйва активність диска / 100% активний час диска на Windows WSL2 при використанні розширення Codex / CLI #27020
goals_1.sqliteпідвищення запису: ~11 МБ/с стійких записів (11 ГБ за весь час) на базі даних 4 КБ #27911- Codex Desktop стає непридатним на тривалих активних потоках через пам'ять додатка/рендерера та бурхливі TRACE логи #21134
app-server: джерело / журнали зворотного зв'язку з sqlite на рівні TRACE #12969
Оригінал: github.com