Інтерфейс DRAM та PHY: чому налаштування DDR3+ необхідне під час завантаження

· Майбутнє

Інтерфейс DRAM та PHY: чому налаштування DDR3+ необхідне під час завантаження

Стаття пояснює технічні тонкощі взаємодії між FPGA та DRAM, зосереджуючись на тому, чому інтерфейси DDR3+ потребують обов'язкового калібрування PHY під час кожного завантаження.

У цьому розділі пояснюється, що відбувається на лініях зв’язку між FPGA та DRAM і чому інтерфейс DRAM необхідно налаштовувати під час завантаження. Ми розглянемо сигнали, строби, топологію плати, процедури вирівнювання, термінацію та опорні напруги, а також тактові сигнали FPGA та інтерфейс DFI між контролером і PHY.

Кожен розділ завершується описом відповідної частини LiteDRAM, яка реалізує цей механізм. Попередній розділ, «DRAM у стислому вигляді», пояснював команди та часові параметри; «Ініціалізація та калібрування» описує точні кроки, які виконує BIOS.

Інтерфейс DRAM складається з двох частин. Частина команд і адрес рухається в одному напрямку, від контролера до DRAM, і є спільною для всіх чипів у ранзі. Частина даних є двонаправленою і розділена на байтові канали (byte lanes), кожен з яких має свій власний строб. На рисунку нижче показані сигнали.

Signals diagram

Байтовий канал складається з 8 ліній DQ, їхньої пари DQS та сигналу DM. Кожен канал розводиться окремо, тому кожен з них може прибувати в дещо різний час, і кожен налаштовується індивідуально.

У LiteDRAM контакти DRAM — це запис із файлу платформи з полями, названими відповідно до цих сигналів (dq, dqs_p, a, ba, cs_n). PHY підраховує кількість каналів на їх основі. Два допоміжні засоби з litedram/common.py змінюють структуру контактів: PHYPadsReducer залишає лише деякі канали, а PHYPadsCombiner об'єднує чипи з окремими шинами команд в один контролер.


Пам'ять SDR передає одне слово за такт, зчитуючи дані за переднім фронтом тактового сигналу, що надсилається контролером. Пам'ять DDR передає два слова за такт, по одному за кожним фронтом. На таких швидкостях тактовому сигналу від контролера не можна довіряти для зчитування даних: затримки на платі та в самих чипах занадто великі.

Тому дані подорожують разом зі своїм власним тактовим сигналом — стробом DQS: сторона, що надсилає дані, також надсилає DQS, а приймач використовує його для зчитування DQ. Це інтерфейс із синхронізацією від джерела (source-synchronous). Обидва сигнали проходять той самий шлях, тому їхні затримки компенсують одна одну. На рисунку нижче показано, як DQS вирівнюється відносно DQ.

DQS Alignment

Під час запису контролер надсилає DQS з вирівнюванням по центру, де його фронти припадають на середину кожного біта. Під час зчитування DRAM надсилає DQS з вирівнюванням по фронту, під час переходів бітів, а приймач затримує його на чверть такту. Перед початком пачки даних (burst) DQS передається як преамбула, а після неї — як пост-амбула, без передачі даних.

У LiteDRAM PHY типу DDR зсувають DQS під час запису на чверть такту відносно DQ засобами FPGA:

  • PHY Artix-7 тактує свої серіалізатори DQS від тактового сигналу зі зсувом 90 градусів, sys4x_dqs, який генерує цільова платформа (bench/arty.py).
  • PHY з вихідними затримками (банки Kintex-7 та Virtex-7 HP, UltraScale) затримують DQS на чверть такту.
  • PHY Lattice та Gowin використовують зсунутий тактовий сигнал запису блоку DQS своєї FPGA.

Під час зчитування PHY відрізняються:

  • PHY Xilinx не використовують DQS. Вони зчитують DQ за допомогою власного швидкого тактового сигналу через вхідну затримку, яку налаштовує вирівнювання читання (read leveling) для кожного каналу.
  • PHY Lattice та Gowin використовують блоки DQS своєї FPGA, які затримують DQS на 90 градусів, захоплюють DQ з його допомогою та повідомляють про виявлення пачки даних (burst detect).

DDR3 та DDR4 розводять тактові лінії, лінії команд та адрес як одну шину, що проходить повз кожен чип і завершується термінацією: це топологія fly-by. Вона підтримує чистоту сигналів при високих швидкостях, але кожен чип отримує тактовий сигнал трохи пізніше за попередній. На рисунку нижче це продемонстровано.

Fly-by topology

Канали даних є з'єднаннями типу "точка-точка", тому їхні затримки не слідують за тактовим сигналом. Чипу потрібно, щоб DQS прибував близько до його власного фронту CK (параметр tDQSS). При розводці fly-by перекіс між першим і останнім чипом може перевищувати період такту, тому кожен канал потребує власної затримки DQS.

Вирівнювання запису (write leveling) вимірює цю затримку. Контролер переводить DRAM у режим вирівнювання запису за допомогою біта в регістрі режимів (MR1, біт A7 у DDR3 та DDR4), а потім надсилає імпульси DQS. DRAM зчитує свій CK за кожним переднім фронтом DQS і повертає зчитане значення на лінії DQ. Контролер крок за кроком затримує DQS, поки значення DQ не зміниться з 0 на 1: у цей момент DQS вирівняно з CK усередині чипа.

У LiteDRAM PHY надають доступ до вирівнювання запису через регістри: wlevel_en активує режим, wlevel_strobe надсилає один імпульс DQS, а поканальні вихідні затримки зміщують DQS та DQ. BIOS запускає сканування (sdram_write_leveling у liblitedram).

Вирівнювання запису потребує вихідних затримок: вони є в PHY Kintex-7 та Virtex-7 (банки HP) і PHY UltraScale. У Artix-7 їх немає: з однією статичною фазою DQS лише деякі канали пам'яті з топологією fly-by відповідають вимогам tDQSS. Його опціональний режим фазового зсуву CK (with_ck_phase_shift, DDR3 у режимі 1:4) замість цього зміщує CK відносно всіх каналів.

Вирівнювання запису синхронізує DQS з CK у межах одного тактового періоду, але канал може випереджати або відставати на цілий такт: у такому разі DRAM записує пачку даних, зміщену на кілька слів. Калібрування затримки запису записує відому послідовність, зчитує її та зміщує кожен канал на цілі такти, доки послідовність не стане правильною.

Навчання DQ-DQS потім центрує DQ відносно DQS під час запису. Воно перебирає вихідну затримку контактів DQ кожного каналу, записує та зчитує послідовність на кожному кроці, і встановлює затримку в середині діапазону успішних значень. Це базується на справній стороні читання, яку потім уточнює вирівнювання читання.

У LiteDRAM затримка запису коригується за допомогою бітів wdly_dq_bitslip, а DQ — через вихідні затримки wdly_dq. Кожен PHY декларує, які калібрування він підтримує у своїх налаштуваннях (write_leveling, write_latency_calibration, write_dq_dqs_training, read_leveling); BIOS запускає лише ті, що підтримуються.


Під час зчитування контролер не знає, коли прибудуть дані. DRAM відповідає через CL тактів після команди RD, але плата та входи/виходи додають затримку, яка відрізняється для кожного каналу. Для кожного каналу потрібно знайти два налаштування: грубе (який цикл швидкого тактового сигналу містить перше слово) і точне (в якому місці біта виконувати зчитування).

Грубе налаштування — це bitslip: вихід десеріалізатора зсувається на цілі біти, доки слова не вирівняються. Точне налаштування — це вхідна затримка, від кількох пікосекунд до сотні за крок залежно від FPGA (78 пс на 7-Series при 200 МГц). Вирівнювання читання записує послідовність, потім для кожного bitslip перебирає затримку і зчитує послідовність назад. На рисунку нижче показано таке сканування.

Read leveling scan

Вікно — це "око" даних, що спостерігається через лінію затримки. Широке вікно означає надійний інтерфейс; вузьке вказує на проблеми з цілісністю сигналу або тактуванням. DDR3 та DDR4 також можуть повертати фіксовану послідовність зі свого MPR (багатоцільового регістра), тому сторону зчитування можна налаштувати ще до запису будь-яких даних.

PHY, що захоплюють дані за допомогою DQS, мають ще одну проблему: DQS не передається між пачками даних, тому приймач повинен "слухати" його лише під час зчитування. Блок DQS в FPGA відкриває цей "ворота" і повідомляє про виявлення пачки (burst detect), що вирівнювання читання використовує для підтвердження правильності вікна читання.

У LiteDRAM кожен PHY декларує кількість кроків затримки та bitslip у своїх налаштуваннях (delays, bitslips) і надає до них доступ через регістри (rdly_dq_inc, rdly_dq_bitslip та burstdet_seen на PHY Lattice та Gowin). BIOS запускає сканування та виводить один рядок для кожного каналу та bitslip. На DDR4 він зчитує послідовності MPR, крім випадків із зареєстрованими DIMM та компонуванням clamshell.


На швидкостях DRAM сигнал відбивається в кінці лінії, якщо вона не термінована. Тому DRAM термінує свої власні контакти даних за допомогою вбудованої термінації (ODT): резистор вмикається, коли контакт ODT знаходиться у високому стані. FPGA термінує свої входи таким самим чином, коли отримує дані зчитування.

DDR3 та DDR4 мають два значення термінації: RTT_NOM, що використовується, коли чип неактивний або записується інший ранг, і RTT_WR, що використовується під час запису в сам чип (динамічний ODT). Сила драйвера DRAM, RON, визначає, з якою потужністю він передає дані зчитування. Усі три параметри встановлюються в регістрах режимів.

У LiteDRAM значення за замовчуванням встановлюються в litedram/init.py; PHY може перекрити їх (rtt_nom, rtt_wr, ron у своїх налаштуваннях). Якщо DLL DRAM вимкнено (режим DDR3 для низьких тактових частот, який пропонує GW5A PHY), обидві термінації вимикаються.

Контакт ODT за замовчуванням керується статично. З опцією with_dynamic_odt (DDR3, один ранг) контролер піднімає рівень ODT лише під час запису, тому термінації DRAM вимкнені під час зчитування (динамічний ODT). Термінація з боку FPGA є частиною стандартів введення-виведення файлу платформи, а не LiteDRAM.

Опір драйверів та термінаторів чипа змінюється залежно від техпроцесу, напруги та температури. Чипи DDR3 та пізніші калібрують їх за допомогою прецизійного резистора на контакті ZQ (240 Ом на землю). ZQCL, тривале калібрування, запускається один раз при ініціалізації; ZQCS, коротке, час від часу коригує дрейф під час роботи.

У LiteDRAM послідовність ініціалізації завершується ZQCL (регістри режимів та увімкнення живлення), а механізм оновлення надсилає ZQCS раз на секунду за замовчуванням. LPDDR4 не має ZQCS: він калібрується двома багатоцільовими командами (MPC), start та latch, які LiteDRAM надсилає лише під час ініціалізації.

Приймачі даних порівнюють кожен вхід з опорною напругою VREF, встановленою на середині між високим і низьким рівнями. На DDR3 плата забезпечує VREF на спеціальних контактах. DDR4 термінує свої контакти даних на живлення, тому розмах даних знаходиться поблизу верхнього рівня живлення, і правильний опорний рівень не є серединою. DRAM генерує VREF для даних внутрішньо, що програмується в MR6.

З боку FPGA приймачі даних зчитування також потребують VREF. Деякі банки введення-виведення FPGA можуть встановлювати його внутрішньо, кроками, замість використання контакту VREF.

У LiteDRAM ініціалізація DDR4 записує MR6 лише з tCCD_L і залишає поле VREF нульовим (перше значення діапазону 1, 60% від VDDQ): VREF для даних DRAM не тренується.

PHY UltraScale+ може встановлювати VREF зчитування FPGA для своїх банків HP I/O (with_hpio_vref, регістр rd_vref, коди від 0 до 72). BIOS не сканує його: регістр зберігає своє значення, задане під час збірки (hpio_vref_tune), якщо тільки програмне забезпечення його не змінить.


Логіка FPGA не може працювати на тактовій частоті DRAM: DDR3 на 800 МТ/с має тактову частоту 400 МГц і передає дані зі швидкістю 800 Мбіт/с на контакт. Тому PHY використовує серіалізатори та десеріалізатори вводів/виводів FPGA. Контролер працює на частковій частоті DRAM і передає кілька команд та порцій даних за один цикл.

Це співвідношення частот. При 1:4 контролер працює на чверті частоти DRAM: тестова плата Arty A7 працює на частоті контролера 125 МГц, частоті DRAM 500 МГц і DDR3 1000 МТ/с. Для пам'яті DDR швидкість передачі даних удвічі вища за частоту DRAM: при 1:4 це вісім разів швидше за частоту контролера.

Для цільової платформи Artix-7 DDR3 потрібні чотири тактові сигнали, що генеруються PLL у модулі тактування плати (bench/arty.py). Для Kintex-7 та Virtex-7 sys4x_dqs не потрібен: їхні вихідні затримки зсувають DQS самостійно.

Інші сімейства використовують власне тактування: PHY ECP5 використовує 2-кратний тактовий сигнал для передач I/O та 4-кратний при співвідношенні 1:4, а PHY Gowin GW5A вибирає 1:2 або 1:4 залежно від кількості фаз.

Контролер і PHY зустрічаються на інтерфейсі DFI, названому за специфікацією DDR PHY Interface. Він передає, для кожного такту DRAM циклу контролера, один слот команди та дані цього такту. Кожен із цих слотів є фазою DFI. На рисунку нижче показані фази при співвідношенні 1:4.

DFI phases

Дві затримки пов'язують команди з їхніми даними. Затримка запису (write latency) — це кількість циклів контролера між WR і циклом, де контролер подає дані для запису. Затримка читання (read latency) — це кількість циклів між RD і циклом, у якому дані зчитування повертаються дійсними. Обидві залежать від CL, CWL та конвеєра PHY.

Команди не завжди починаються з фази 0. PHY повідомляє контролеру, на якій фазі подавати команди зчитування та запису (rdphase, wrphase), щоб дані пачки заповнювали цілі цикли контролера.

У LiteDRAM інтерфейс DFI — це клас Interface з litedram/phy/dfi.py. Він дотримується структури специфікації DFI, фаз та імен сигналів, не претендуючи на відповідність конкретній версії специфікації.

Кожен PHY заповнює PhySettings кількістю фаз, затримками в циклах контролера, CL та CWL у тактах DRAM, а також своїми можливостями калібрування. DFIRateConverter обгортає PHY для збільшення співвідношення, додаючи більше фаз і вужчі дані на фазу.

Кожен PHY побудований на примітивах введення-виведення своєї родини FPGA. У таблиці нижче підсумовано, що використовують PHY LiteDRAM.

Затримки входу та виходу серії 7 потребують опорного тактового сигналу 200 або 300 МГц (або 400 МГц на швидких грейдах); вихідні затримки існують лише в банках HP Kintex-7 та Virtex-7. Затримки UltraScale встановлюються в одиницях часу, і FPGA компенсує їх залежно від напруги та температури, коли встановлено en_vtc.

Оригінал: github.com

Про Що? — новини науки, технологій і світу