簡介 CXL 協定的傳輸流程、及分析儀診斷除錯方式
- 翔宇科技
- 3天前
- 讀畢需時 6 分鐘
CXL（Compute Express Link）協定做為 CPU 與 Accelerator 加速 PCIe 溝通的補充協定，達成處理器、加速器與記憶體裝置之間高速低延遲通訊。若要充分發揮 CXL 的潛力，需要經過長期精準的測試分析與改良；在這篇部落格文章中，我們將探討 CXL 協定、及協定分析工具在診斷 CXL 連結問題中的角色。
CXL 協定傳輸 4 階段
下圖將 CXL 連結大致分為四個階段：從協定分析儀視角，顯示「點對點 CXL 連結」過程：
LTSSM：
LTSSM 全名為 Link Training and Status State Machine，主要用於控制鏈路的連結狀態和鏈路的電源管理。當系統開機後，CXL 連結首先會進入 LTSSM 階段，在此階段中，系統會使用 Training Sequences（TS）與 Modified Training Sequences（mTS）來協商連結的關鍵特性，例如鏈路寬度、速度，以及 CXL 協定的支援能力。當 LTSSM 成功完成後，連結將進入 L0 狀態，此時連結的雙方將建立 CXL 協定連線，並開始交換 CXL 的 FLITs（Flow Control Units，流量控制單元）。大部分的狀況下，CXL 和 PCIe 的 LTSSM 可以互通，CXL 規格（例如 CXL 2.0、3.0）對 LTSSM 的要求與 PCIe 幾乎完全一致，但加入了額外的狀態轉移邏輯，以便支援 ALMP 和虛擬連結管理。
ALMP（Arbitrator and Multiplexer）：
進入 ALMP 協商階段，CXL 採用既有的 PCIe 實體層來進行 ALMP 交握。 透過 ARB-MUX 協定（例如：CXL.io、CXL.cache、CXL.mem）進行處理、需求動態選擇並傳輸來自不同 CXL 協定層的資料。
ARB-MUX 會依據協定優先權、資料正確性以及流控機制（Flow Control）來決定哪一種協定層的資料優先傳輸，並進行時間分段傳輸（Time-Division Multiplexing, TDM）。例如在某個時間片內傳送 CXL.io 的設定資料，接下來則可能傳送來自 CXL.mem 的記憶體讀寫操作，隨後再傳送 CXL.cache 的快取一致性請求。這種動態調度的機制讓 CXL 能在單一實體連結上同時支援 I/O 設定、記憶體擴充與快取一致性存取等複合型應用需求。
這種動態多工機制也要求虛擬連結狀態機（vLSM, Virtual Link State Machine） 在各協定層之間保持同步，確保不同協定層的狀態一致與資料可靠傳輸。vLSM 負責追蹤每個協定層的連線狀態、流控窗口與錯誤處理；這種方式讓 CXL 能充分利用 PCIe 實體層的資源，同時維持各層 vLSM 的同步。
列舉 CXL.io & CXL.mem、CXL.cache 傳輸：
當完成 LTSSM 階段，主機開始讀取裝置的 Configuration Space Registers，以識別裝置的類型與功能，例如在 CXL 定義之下的子系統配置，如 RAS、IDE、安全性等，並根據裝置支援的特性來初始化與設定 CXL 功能。
在CXL.io 階段中，主機會透過存取下列資源來完成設定：
Configuration Registers：用來設定基本的裝置功能與控制欄位。
Memory-Mapped Registers（記憶體對映暫存器）：對應裝置中更多進階功能與狀態，例如錯誤回報、快取控制等。
具體可配置的 CXL 子系統功能包括：
RAS（Reliability, Availability, Serviceability）能力：設定錯誤偵測與回報機制。
安全性選項：例如資料保護、防護區存取控制等。
IDE（Integrity and Data Encryption）功能：針對資料傳輸提供完整性與加密保障。
連結特性（Link Features）：例如支援的協定版本、頻寬控制、功率管理等。
這個列舉流程大致沿用 PCIe 架構下的裝置探索與初始化機制，但會延伸包含 CXL 所擴展的功能。由於 CXL.io 與 PCIe 相容，此階段的通訊內容也能被傳統 PCIe 分析工具識別。
當主機完成裝置列舉，並正確啟用相關暫存器設定後，真正的 CXL 資料傳輸階段就此展開。
對於透過 CXL 連接的記憶體裝置，其記憶體資源會被映射到主機的全域一致性位址空間（Coherent Address Space）中。這樣的設計讓主機與裝置之間能進行 一致性的讀寫工作（Coherent Read/Write Operations），也就是說，不論資料在哪一方被存取，都能維持最新且一致的狀態。這些資料傳輸在協定層會依據功能類型區分為：
CXL.mem：用於處理記憶體的讀寫請求（Load/Store），對應到主機訪問 CXL 附加記憶體的操作。
CXL.cache：用於快取一致性操作，例如主機或裝置發出快取讀取、寫入、失效（invalidate）等動作。
當使用協定分析儀（Protocol Analyzer）進行封包擷取時，這些傳輸會以封裝好的 FLIT（Flow Control Unit）形式在實體層被觀察到，並根據標籤識別為 CXL.mem 或 CXL.cache 封包類型。這有助於開發者針對實際的記憶體通訊行為進行除錯與效能分析。
CXL 傳輸（以 FLIT 傳輸）：
CXL 傳輸由多個 FLIT（Flow Control Unit，流量控制單元） 組成；而 FLIT 是固定大小的傳輸單位，每個 FLIT 內部包含多個 Slot（資料欄位），而每個欄位中可以包含多個 Header（標頭）。這些標頭用來標示該欄位所承載的資料類型，例如：命令（Command）、回應（Completion）、資料內容（Payload Data）。
這種結構使得 FLIT 能同時攜帶多筆資訊，有助於提高整體傳輸效率。下圖所示中，一筆記憶體讀取傳輸（MemRd）包含四個 FLIT：一個記憶體讀取命令（MemRd）、一個完成回應封包（Cmp-E）、兩個資料封包（MemData）。
在一個 FLIT 中，可以同時發生多個工作階段，並且需要多個 FLIT 來完成單一事務。這種複雜性使得 CXL 協定分析相當具有挑戰性。在高速與大量的資料傳輸之下，可以解析 Byte/bit 層級的資訊，且可以對 CXL 測試或問題本身進行分析，協定分析儀需要加入在實體鏈路中，即時捕捉高頻寬資料傳輸的協定行為，對於偵錯與驗證高速資料協定的正確性與穩定性，具有關鍵性價值。
目前，CXL 3.0 使用 256 byte 的 FLIT 大小，提供更多的資料傳輸欄位（slots）；且 CXL 3.0 建構在 PCIe 6.0 之上，提供每通道 64 GT/s 的頻寬，可擴充至 最多 16 通道（Lanes）。這樣的架構帶來更高的頻寬，意味著更多的傳輸與更低的延遲。
CXL 協定分析儀工具如何協助開發與除錯
支援 CXL 的協定分析儀能夠深入觀察跨 CXL 互連傳輸的資料流，協助開發人員追蹤、擷取並分析協定通訊行為、識別將在後續傳輸中影響效能的問題，例如延遲、頻寬限制、傳輸瓶頸或設定錯誤等。隨著 CXL 系統普及，針對 CXL 協定進行除錯與最佳化需求也隨之提高。產品研發期儘早發現錯誤，對於確保產品穩定性與品質至關重要。
以 VIAVI Solution 的高速匯流排測試平台為例，熱門的〈Xgig 6P16 PCI Express 6.0/CXL/ NVMe 協定分析/驗證平台〉、〈Xgig 6P4 PCI Express 6.0/CXL/ NVMe 訊號發送驗證卡〉配備分析軟體的 CXL 分析儀功能，分析功能包括查看流量，並提供必要的追蹤分析以找出協定在每一層的問題、透過標記違反協定/異常/隱藏行為來幫助更快地進行調整。 CXL 協定分析儀的主要功能包括：深度追蹤緩衝區、狀態觸發/過濾功能、詳細解碼至位元級、錯誤偵測功能、協定合規性和完整擷取分析。
隨著 CXL 協定應用普及，對能夠驗證其效能、可靠性和合規性的工具的需求也在不斷增加。 CXL 協定分析儀在確保互連滿足現代運算環境的高要求方面發揮著至關重要的作用。VIAVI Solutions 提供完整的 CXL 協定分析解決方案，〈Xgig 6P16〉 、〈Xgig 6P4〉支援從 PCIe 5.0 到 PCIe 6.0 的高頻寬傳輸環境，全面協助 CXL 1.x 至 CXL 3.0 協定分析除錯。
在臺灣，翔宇科技代理 VIAVI 高速匯流排協定測試系列的各項產品。我們具備豐富客戶服務經驗，提供設備安裝、即時問題排除、設置建議、基本協定說明、潛在問題諮詢等；輔助客戶無縫接軌全球最新技術。若您對於 VIAVI〈Xgig 6P16〉、〈Xgig 6P4〉有興趣，歡迎諮詢翔宇為您說明服務。
《翔宇科技》代理美國 VIAVI Solutions 的光學測試設備、光纖網路設備測試、高速匯流排測試等量測應用的各項解決方案。包含本文我們探討的矽光子光學測試模組化平台：〈MAP-300〉。翔宇科技是 VIVAI 原廠認證的白金級代理商，具備豐富客戶服務經驗，提供設備安裝、即時問題排除、設置建議、基本協定說明、潛在問題諮詢等；輔助臺灣的企業客戶無縫接軌全球最新技術。
