MEMORY INDUSTRY INTELLIGENCE
CXL 3.1 사양으로 CXL 메모리 확장 모듈 구현하기 - Compute Express Link
한국어 번역·요약·분석
원문 제목: Enabling CXL Memory Expansion Module with the CXL 3.1 Specification - Compute Express Link
핵심 요약
CXL 컨소시엄은 2024년 내 양산을 목표로 type 3 CXL 메모리 장치의 제품화를 준비 중이며, 이는 CXL 2.0 호스트 시스템 출시 계획에 맞춘 것이다. CXL은 PCIe 인터페이스를 통해 추가 메모리 채널을 제공하여 DDR 구현 대비 CPU당 메모리 대역폭과 용량을 크게 향상시킬 수 있다. 2021년 출범한 CXL DRAM 서브그룹은 10개 이상 기여 회원사의 제안을 받아 2023년 11월 발표된 CXL 3.1 사양에 hPPR/sPPR/메모리 스페어링, 메모리 테스트, patrol scrub 및 ECS, 프로그래머블 정정 오류 임계값, Component ID, 이벤트 레코드 업데이트, 메모리 용량 감소 등의 DRAM 관련 기능을 표준화했다. CXL 컨소시엄은 JEDEC, SNIA, DMTF와 협력하여 기계·패키지·핀아웃 정의와 폼팩터·시스템 관리 정의를 조화시키고 있다. 이 글은 특정 기업의 제품 출하·채택·재무 수치를 보고하지 않으며, 표준화 진행 상황과 기술적 기대를 서술한다.
메모리 산업 영향 분석
이 원문은 CXL 3.1 사양에 DRAM 관련 기능이 표준화된 사실과 2024년 내 type 3 CXL 메모리 장치 양산 목표를 서술하는 표준화 기구 자료로, 특정 기업의 제품 출하·채택·재무 수치를 보고하지 않는다. 메모리 산업에 대한 직접적 영향은 CXL 메모리 확장 모듈이 DRAM 기반이므로 서버 DDR 수요의 일부가 CXL 연결 DDR로 이동할 수 있다는 점이나, 원문은 CXL로 연결한 DDR 용량을 서버 DDR 총량에 더하지 않도록 요구하는 사용자 지침과 달리 CXL 메모리 자체의 DRAM 규격·사용처를 명시하지 않으므로 서버 DDR과의 합산 여부는 미확인이다. 원문이 제시한 8~12개 DDR5 채널 대비 4개 CXL 포트로 50% 이상 향상이라는 수치는 특정 CPU·구성 조건이 명시되지 않은 예시이며, 실제 서버 출하·채택으로 확인되지 않았다. 공급 배분 측면에서는 CXL 메모리 모듈용 DRAM 다이와 서버 RDIMM용 DDR 다이가 동일 라인을 공유할 경우 제품 믹스 선택에 영향을 줄 수 있으나, 원문은 생산 능력·배분·고객 인증 일정을 다루지 않아 미확인이다. 고객 인증 측면에서는 CXL 3.1의 메모리 테스트·스크럽·오류 보고 기능이 검증 절차를 구체화하므로, 서버 OEM·하이퍼스케일러가 CXL 메모리 모듈을 채택할 경우 인증 요건이 명확해질 수 있다는 가설은 세울 수 있으나, 원문에 특정 고객의 채택·납품·가동은 없다. 투자 일정 측면에서는 2024년 양산 목표가 언급되었으나 이는 계획이며, 실제 양산·투자 집행은 미확인이다. 반대 근거로는 CXL이 메모리 비종속적이며 CXL 1.1/2.0이 다양한 메모리 기술을 지원할 수 있다는 서술이 있어, CXL 확장이 반드시 DRAM 수요를 증가시킨다고 단정할 수 없다. 판단 변경 조건은 CXL 2.0 호스트 시스템 출시와 type 3 CXL 메모리 장치의 실제 양산·고객 인증·가동이 확인되는 시점이며, 그 전까지는 표준화 진전과 제품화 계획을 구분해야 한다. research_topics의 표준 발표와 실제 제품 양산 구분 질문에 대해, 이 원문은 표준 발표(CXL 3.1, 2023년 11월)는 확인하지만 실제 제품 양산·채택 사례는 확인하지 못하므로 미확인으로 남긴다.
한국어 번역 읽기
수집된 원문 v1의 전체 본문 기준 · 6936자
**서론**
메모리 시스템 산업은 2024년 내 양산을 목표로 type 3 CXL® 메모리 장치의 제품화를 준비하고 있으며, 이는 계획된 CXL 2.0 호스트 시스템 출시에 맞추기 위한 것이다. AI, 머신러닝, 인메모리 데이터베이스 및 실시간 분석 사용 사례, 대역폭, 용량 확장은 메모리 요구 사항 수요를 따라잡기 위해 현재 메모리 시스템이 제공할 수 있는 것 이상을 필요로 한다.
PCIe® 인터페이스를 사용하는 CXL을 통해 추가 메모리 채널을 사용할 수 있게 되면서, DDR 구현 대비 CPU당 메모리 대역폭과 용량이 크게 향상될 수 있다. 예를 들어, 최신 CPU에서 8~12개의 DDR5 메모리 채널을 사용할 수 있는 경우, 추가로 4개의 CXL 메모리 포트가 대역폭과 용량 모두에서 50% 이상의 향상을 제공할 수 있다.
**DRAM 기능을 갖춘 CXL 메모리 확장 모듈 구현**
CXL 메모리 확장 모듈에 사용되는 메모리 매체는 주로 DRAM 기반이므로, CXL 메모리 확장 모듈을 구현하려면 DRAM 관련 기능과 특징에 대한 신중한 평가와 검증이 필요하다. CXL은 본질적으로 메모리 비종속적이며, 현재 CPU 시스템이 DDR5와 같은 특정 DRAM 기술과 결합되어야 하는 것과 달리 특정 메모리 기술과 결합될 필요가 없다. CXL 1.1 또는 CXL 2.0 사양은 다양한 종류의 메모리 기술이 CXL 하에서 지원될 수 있는 기회를 제공한다.
그러나 업계는 더 나은 명확성과 성능을 위해 현재 DRAM 메모리 기술에 특화된 기능과 특징이 CXL 사양에 추가되어야 한다는 것을 깨달았다. 이러한 목적으로 2021년 CXL DRAM 서브그룹이 출범하여 DRAM 기반 CXL 메모리 솔루션을 위한 기능을 생성하고 정의하게 되었다.
DRAM 서브그룹의 작업 범위에는 현재 CXL 사양과 사용 사례 요구 사항 간의 격차 평가, 우선순위가 지정된 작업 항목 목록 개발, 포괄적인 아키텍처 생성, 그리고 이러한 항목에 대한 엔지니어링 변경 통지(ECN) 생성이 포함된다. CXL 사양은 주로 프로토콜 사양이므로, DRAM 서브그룹은 패키지, 핀아웃, 기계적, 전기적 또는 타이밍 요구 사항과 정의를 작업 범위에 포함하지 않기로 결정했다.
**CXL 3.1 사양에서 DRAM 기능 표준화**
DRAM 서브그룹은 10개 이상의 기여 회원사로부터 수많은 제안, 논의 및 기여를 받았다. 다음 DRAM 기능들이 2023년 11월에 발표된 CXL 3.1 사양 하에 표준화되었다:
* **하드 PPR(hPPR), 소프트 PPR(sPPR) 및 메모리 스페어링을 통한 메모리 유지보수**: 현재 DDR4 또는 DDR5 메모리 시스템과 유사하게 DRAM 기반 CXL 메모리 모듈에 필요한 다양한 유지보수 작업에 대한 장치 기능 능력을 발견하는 방법을 정의한다. 또한 메모리 유지보수 작업을 구성하고 시작하는 방법에 대한 더 많은 정의가 포함되어, 호스트가 CXL 장치에 미디어에 대한 수리 작업을 요청하거나 동일한 장치 물리 주소에서 메모리의 일부를 기능적 메모리의 일부로 교체하도록 요청할 수 있게 한다.
* **메모리 테스트**: 호스트 인터페이스에서 CXL 메모리 장치에 지정된 메모리 테스트를 구성하고 시작하는 인터페이스와 테스트 결과를 수신하는 방법을 정의한다. 즉, 이 인터페이스를 통해 호스트는 CXL 메모리 모듈에 CXL 컨트롤러 수준에서 장치 내장 테스트 작업을 실행하도록 요청할 수 있다.
* **patrol scrub 및 ECS(Error Check Scrub)를 통한 메모리 스크럽 제어**: CXL 컨트롤러에 대한 patrol scrub을 구성하는 인터페이스와 patrol scrub 및 ECS 로그(ECS는 특히 JEDEC DDR5 DRAM 사양에서 참조됨)로부터의 이벤트 보고를 정의한다. 장치 patrol scrub은 런타임 중에 정정 가능한 오류를 사전에 찾아 수정하며, ECS는 DRAM이 내부적으로 단일 비트 오류를 읽고, 정정하고, DRAM 어레이에 다시 쓰도록 허용하는 동시에 오류 수와 특정 임계값을 초과하는 오류 수에 대한 주소 정보를 보고한다.
* **고급 프로그래머블 정정 오류 임계값 ECN**: 정정 가능한 오류 보고를 위한 임계값을 설정하는 인터페이스를 정의한다. 오류 임계값의 세분성, 구성 플래그, 오류 카운터 만료 시간, 이벤트 레코드 플래그, 각 오류 심각도에 대한 이벤트 임계값이 이 기능의 속성으로 정의된다.
* **Component ID ECN**: Component ID가 메모리 모듈 및 DRAM 이벤트 레코드에 추가되어, DMTF PLDM 표준 기반 FRU/서브-FRU 식별을 활용하여 PLDM 및 RDE 의미론에서의 사용을 정의한다.
* **이벤트 레코드 업데이트 ECN**: 일반 미디어, DRAM 및 메모리 모듈 이벤트 레코드를 업데이트하여 DRAM, 미디어 링크, PMIC 및 기타 메모리 모듈 관련 오류에 대한 설명을 개선한다.
* **메모리 용량 감소**: 메모리 용량 감소 이벤트를 호스트에 보고하는 메커니즘을 정의한다. 시스템이 복구 불가능한 오류를 경험할 때, 메모리 영역의 일부(채널, 랭크 또는 더 세분화된 단위)를 맵아웃하면 CXL 메모리 모듈이 치명적 오류를 피하기 위해 용량을 줄이게 되어, 복구 불가능한 오류 처리가 향상된다.
CXL 3.1 사양에 정의된 다음 기능들을 통해, DRAM을 사용하는 CXL 메모리 확장 모듈에 대한 메모리 검증이 이제 더욱 견고해졌으며, 현재 메모리 시스템(주로 DDR4 및 DDR5)에서 사용되는 메모리 기능을 검증하고 확인하는 방법에 대한 더 나은 이해를 제공하고, CXL 인프라 내부의 보고 메커니즘을 향상시킨다.
**표준화 기구 간 조화**
CXL 메모리 확장 모듈을 구현하는 과정에서 더 많은 개선을 위해, 다양한 표준화 기구의 CXL 메모리 관련 활동을 조화시키기 위한 더 많은 작업이 진행 중이다. CXL 사양 외부에 있는 기계적, 패키지 및 핀아웃 정의에 대해, CXL 컨소시엄은 JEDEC과 긴밀히 협력하여 CXL 메모리 모듈 기본 표준과 CXL용 메모리 모듈 레이블을 발행하고 있다. 또한 CXL 컨소시엄과 JEDEC은 CXL 메모리 확장 모듈의 양산을 위한 더 많은 기능과 검증을 가능하게 하는 더 많은 사양을 정의하기 위해 작업하고 있다. 나아가 CXL 컨소시엄은 SNIA 및 DMTF와 협력하여 폼팩터 및 시스템 관리 정의에 대한 명확성을 제공하고 있다.
**결론**
CXL은 메모리 대역폭 및 용량 확장을 통한 메모리 시스템 가치 향상에서 엄청난 가능성을 보여주고 있다. 대부분의 CXL 메모리 장치가 DRAM 기반이므로, CXL 사양(특히 CXL 3.1 사양)에서 DRAM 관련 기능이 검증 및 제품화를 위해 더 자세히 정의되도록 더 강력한 노력이 이루어졌으며, 이를 통해 CXL 메모리 확장 모듈이 가능한 한 완전해지도록 보장한다. PCIe 인프라에서 메모리 장치를 구현하는 것이 업계에 생소하게 여겨졌지만, CXL 컨소시엄 및 기타 산업 조직의 강력한 노력으로 회원사들이 전 세계적으로 CXL 메모리 제품의 성공적인 출시를 추진할 수 있게 되고 있다.
메모리 시스템 산업은 2024년 내 양산을 목표로 type 3 CXL® 메모리 장치의 제품화를 준비하고 있으며, 이는 계획된 CXL 2.0 호스트 시스템 출시에 맞추기 위한 것이다. AI, 머신러닝, 인메모리 데이터베이스 및 실시간 분석 사용 사례, 대역폭, 용량 확장은 메모리 요구 사항 수요를 따라잡기 위해 현재 메모리 시스템이 제공할 수 있는 것 이상을 필요로 한다.
PCIe® 인터페이스를 사용하는 CXL을 통해 추가 메모리 채널을 사용할 수 있게 되면서, DDR 구현 대비 CPU당 메모리 대역폭과 용량이 크게 향상될 수 있다. 예를 들어, 최신 CPU에서 8~12개의 DDR5 메모리 채널을 사용할 수 있는 경우, 추가로 4개의 CXL 메모리 포트가 대역폭과 용량 모두에서 50% 이상의 향상을 제공할 수 있다.
**DRAM 기능을 갖춘 CXL 메모리 확장 모듈 구현**
CXL 메모리 확장 모듈에 사용되는 메모리 매체는 주로 DRAM 기반이므로, CXL 메모리 확장 모듈을 구현하려면 DRAM 관련 기능과 특징에 대한 신중한 평가와 검증이 필요하다. CXL은 본질적으로 메모리 비종속적이며, 현재 CPU 시스템이 DDR5와 같은 특정 DRAM 기술과 결합되어야 하는 것과 달리 특정 메모리 기술과 결합될 필요가 없다. CXL 1.1 또는 CXL 2.0 사양은 다양한 종류의 메모리 기술이 CXL 하에서 지원될 수 있는 기회를 제공한다.
그러나 업계는 더 나은 명확성과 성능을 위해 현재 DRAM 메모리 기술에 특화된 기능과 특징이 CXL 사양에 추가되어야 한다는 것을 깨달았다. 이러한 목적으로 2021년 CXL DRAM 서브그룹이 출범하여 DRAM 기반 CXL 메모리 솔루션을 위한 기능을 생성하고 정의하게 되었다.
DRAM 서브그룹의 작업 범위에는 현재 CXL 사양과 사용 사례 요구 사항 간의 격차 평가, 우선순위가 지정된 작업 항목 목록 개발, 포괄적인 아키텍처 생성, 그리고 이러한 항목에 대한 엔지니어링 변경 통지(ECN) 생성이 포함된다. CXL 사양은 주로 프로토콜 사양이므로, DRAM 서브그룹은 패키지, 핀아웃, 기계적, 전기적 또는 타이밍 요구 사항과 정의를 작업 범위에 포함하지 않기로 결정했다.
**CXL 3.1 사양에서 DRAM 기능 표준화**
DRAM 서브그룹은 10개 이상의 기여 회원사로부터 수많은 제안, 논의 및 기여를 받았다. 다음 DRAM 기능들이 2023년 11월에 발표된 CXL 3.1 사양 하에 표준화되었다:
* **하드 PPR(hPPR), 소프트 PPR(sPPR) 및 메모리 스페어링을 통한 메모리 유지보수**: 현재 DDR4 또는 DDR5 메모리 시스템과 유사하게 DRAM 기반 CXL 메모리 모듈에 필요한 다양한 유지보수 작업에 대한 장치 기능 능력을 발견하는 방법을 정의한다. 또한 메모리 유지보수 작업을 구성하고 시작하는 방법에 대한 더 많은 정의가 포함되어, 호스트가 CXL 장치에 미디어에 대한 수리 작업을 요청하거나 동일한 장치 물리 주소에서 메모리의 일부를 기능적 메모리의 일부로 교체하도록 요청할 수 있게 한다.
* **메모리 테스트**: 호스트 인터페이스에서 CXL 메모리 장치에 지정된 메모리 테스트를 구성하고 시작하는 인터페이스와 테스트 결과를 수신하는 방법을 정의한다. 즉, 이 인터페이스를 통해 호스트는 CXL 메모리 모듈에 CXL 컨트롤러 수준에서 장치 내장 테스트 작업을 실행하도록 요청할 수 있다.
* **patrol scrub 및 ECS(Error Check Scrub)를 통한 메모리 스크럽 제어**: CXL 컨트롤러에 대한 patrol scrub을 구성하는 인터페이스와 patrol scrub 및 ECS 로그(ECS는 특히 JEDEC DDR5 DRAM 사양에서 참조됨)로부터의 이벤트 보고를 정의한다. 장치 patrol scrub은 런타임 중에 정정 가능한 오류를 사전에 찾아 수정하며, ECS는 DRAM이 내부적으로 단일 비트 오류를 읽고, 정정하고, DRAM 어레이에 다시 쓰도록 허용하는 동시에 오류 수와 특정 임계값을 초과하는 오류 수에 대한 주소 정보를 보고한다.
* **고급 프로그래머블 정정 오류 임계값 ECN**: 정정 가능한 오류 보고를 위한 임계값을 설정하는 인터페이스를 정의한다. 오류 임계값의 세분성, 구성 플래그, 오류 카운터 만료 시간, 이벤트 레코드 플래그, 각 오류 심각도에 대한 이벤트 임계값이 이 기능의 속성으로 정의된다.
* **Component ID ECN**: Component ID가 메모리 모듈 및 DRAM 이벤트 레코드에 추가되어, DMTF PLDM 표준 기반 FRU/서브-FRU 식별을 활용하여 PLDM 및 RDE 의미론에서의 사용을 정의한다.
* **이벤트 레코드 업데이트 ECN**: 일반 미디어, DRAM 및 메모리 모듈 이벤트 레코드를 업데이트하여 DRAM, 미디어 링크, PMIC 및 기타 메모리 모듈 관련 오류에 대한 설명을 개선한다.
* **메모리 용량 감소**: 메모리 용량 감소 이벤트를 호스트에 보고하는 메커니즘을 정의한다. 시스템이 복구 불가능한 오류를 경험할 때, 메모리 영역의 일부(채널, 랭크 또는 더 세분화된 단위)를 맵아웃하면 CXL 메모리 모듈이 치명적 오류를 피하기 위해 용량을 줄이게 되어, 복구 불가능한 오류 처리가 향상된다.
CXL 3.1 사양에 정의된 다음 기능들을 통해, DRAM을 사용하는 CXL 메모리 확장 모듈에 대한 메모리 검증이 이제 더욱 견고해졌으며, 현재 메모리 시스템(주로 DDR4 및 DDR5)에서 사용되는 메모리 기능을 검증하고 확인하는 방법에 대한 더 나은 이해를 제공하고, CXL 인프라 내부의 보고 메커니즘을 향상시킨다.
**표준화 기구 간 조화**
CXL 메모리 확장 모듈을 구현하는 과정에서 더 많은 개선을 위해, 다양한 표준화 기구의 CXL 메모리 관련 활동을 조화시키기 위한 더 많은 작업이 진행 중이다. CXL 사양 외부에 있는 기계적, 패키지 및 핀아웃 정의에 대해, CXL 컨소시엄은 JEDEC과 긴밀히 협력하여 CXL 메모리 모듈 기본 표준과 CXL용 메모리 모듈 레이블을 발행하고 있다. 또한 CXL 컨소시엄과 JEDEC은 CXL 메모리 확장 모듈의 양산을 위한 더 많은 기능과 검증을 가능하게 하는 더 많은 사양을 정의하기 위해 작업하고 있다. 나아가 CXL 컨소시엄은 SNIA 및 DMTF와 협력하여 폼팩터 및 시스템 관리 정의에 대한 명확성을 제공하고 있다.
**결론**
CXL은 메모리 대역폭 및 용량 확장을 통한 메모리 시스템 가치 향상에서 엄청난 가능성을 보여주고 있다. 대부분의 CXL 메모리 장치가 DRAM 기반이므로, CXL 사양(특히 CXL 3.1 사양)에서 DRAM 관련 기능이 검증 및 제품화를 위해 더 자세히 정의되도록 더 강력한 노력이 이루어졌으며, 이를 통해 CXL 메모리 확장 모듈이 가능한 한 완전해지도록 보장한다. PCIe 인프라에서 메모리 장치를 구현하는 것이 업계에 생소하게 여겨졌지만, CXL 컨소시엄 및 기타 산업 조직의 강력한 노력으로 회원사들이 전 세계적으로 CXL 메모리 제품의 성공적인 출시를 추진할 수 있게 되고 있다.
브리프용 요약 초안
CXL 컨소시엄이 2023년 11월 CXL 3.1 사양에 hPPR/sPPR, 메모리 테스트, patrol scrub·ECS, 프로그래머블 오류 임계값, 메모리 용량 감소 등 DRAM 관련 기능을 표준화했으며, 2024년 내 type 3 CXL 메모리 장치 양산을 목표로 CXL 2.0 호스트 시스템 출시에 맞추고 있다. CXL은 PCIe 인터페이스로 추가 메모리 채널을 제공해 DDR 대비 CPU당 대역폭·용량을 확장할 수 있으나, 특정 기업의 제품 출하·채택·재무 수치는 이 원문에서 확인되지 않는다.
원문 텍스트
원문 열기 ↗**Introduction**
The memory system industry is preparing for the productization of type 3 CXL® memory devices, targeting mass production within 2024 to align with the planned release of CXL 2.0 host systems. AI, Machine Learning, in-memory database & real-time analytics use cases, bandwidth, and capacity expansions require more than what the current memory system can provide to keep up with the memory requirement demands.
With additional memory channels available with CXL using the PCIe® interface, significant improvements in memory bandwidth and capacity per CPU are possible over DDR implementations. For example, with 8 to 12 DDR5 memory channels available in newest the CPUs, an additional 4 CXL memory ports can provide 50% or more improvements in both bandwidth and capacity.
**Enabling CXL Memory Expansion Module with DRAM Features**
As the memory media used for CXL memory expansion modules is mainly DRAM-based, enabling CXL memory expansion modules requires careful evaluation and validation of DRAM-related functions and features. CXL is memory-agnostic in nature and does not need to be coupled with a specific memory technology, unlike how the current CPU system must be coupled with a specific DRAM technology, such as DDR5. The CXL 1.1 or CXL 2.0 specifications provide opportunities for different kinds of memory technologies to be supported under CXL.
However, the industry came to realize that functions and features specific to current DRAM memory technology had to be added to the CXL specification for better clarification and performance. With this purpose, the CXL DRAM sub-group was launched in 2021 to generate and define features for DRAM-based CXL memory solutions.
The scope of work for the DRAM sub-group includes evaluating the gaps in current CXL specification versus use case requirements, developing a prioritized list of work items, and creating a comprehensive architecture, and Engineering Change Notices (ECNs) for these items. Since the CXL specification is mainly a protocol specification, the DRAM sub-group decided not to include package, pinout, mechanicals, electrical, or timing requirements and definitions inside the scope of work.
**Standardizing DRAM Features in the CXL 3.1 Specification**
The DRAM sub-group received numerous proposals, discussions, and contributions from more than 10 Contributing Member companies. The following DRAM features were standardized under the CXL 3.1 specification released in November 2023:
* **Memory Maintenance with hard Post-Package Repair (hPPR), soft PPR (sPPR), and memory sparing**: Defines how to discover device feature capability for various maintenance operations required for DRAM-based CXL memory modules, similar to current DDR4 or DDR5 memory systems. In addition, more definitions on configuring and initiating the memory maintenance operations are included, enabling the host to request the CXL device to perform a repair operation on its media, or to replace a portion of memory with a portion of functional memory at that same device physical address.
* **Memory Testing:** Defines the interface to configure and initiate specified memory tests on CXL memory devices from the host interface, and how to receive the test results. In other words, this interface allows the host to request a CXL memory module to execute device-built-in test operations at the level of the CXL controller.
* **Memory Scrub Control with patrol scrub and Error Check Scrub (ECS):** Defines the interface to configure patrol scrub for CXL controller, and event reporting from patrol scrub and ECS logs (ECS is specifically referenced from JEDEC DDR5 DRAM specification). The device patrol scrub proactively locates and makes corrections to correctable errors during runtime, and ECS allows the DRAM to internally read, correct single-bit errors and write back to the DRAM array, while reporting error count and address information for error count that exceeds a certain threshold.
* **Advanced Programmable Corrected Error Threshold ECN:** Defines interface to set a threshold for correctable error reporting. The granularity of the error threshold, configuration flag, error counter expiration time, event record flags, and event thresholds for each error severity are defined as attributes of this feature.
* **Component ID ECN:** Component ID was added into the memory module and DRAM event records, defining use in PLDM and RDE semantics by leveraging DMTF PLDM standard-based FRU/sub-FRU identification.
* **Event Record Update ECN:** Updates general media, DRAM, and memory module event records to enhance the descriptions on DRAM, media link, PMIC, and other memory module-related errors.
* **Memory Capacity Reduction:** Defines reporting mechanism to report the event of memory capacity reduction to the host. When a system experiences an unrecoverable failure, a map-out of a portion of the memory region (channel, rank, or more granularity) causes the CXL memory module to reduce capacity to avoid catastrophic failure, enhancing the handling of unrecoverable errors.
With the following features defined in the CXL 3.1 specification, memory validation for CXL memory expansion modules using DRAM is now more robust, providing a better understanding of how to verify and validate memory features that are used in current memory systems (mainly DDR4 and DDR5), and enhancing reporting mechanisms inside the CXL infrastructure.
**Harmonization among Standardization Bodies**
For more enhancements in the process of enabling CXL memory expansion modules, more work is being done to harmonize CXL memory-related activities from various standardization bodies. For mechanicals, package, and pinout definitions that are outside of CXL specification, the CXL Consortium is collaborating closely with JEDEC to publish a CXL memory module base standard and memory module label for CXL. Additionally, the CXL Consortium and JEDEC are working on defining more specifications to enable more features and validation of CXL memory expansion modules into mass production. Furthermore, the CXL Consortium is working with SNIA and DMTF to provide clarification in form factor and system management definitions.
**Conclusion**
CXL is showing tremendous promise in memory system value enhancements with memory bandwidth and capacity expansion. Since most of the CXL memory devices are based on DRAM, stronger efforts were made in the CXL specification (specifically, the CXL 3.1 specification) to make sure that DRAM-related features are defined with more details for validation and productization to ensure that CXL memory expansion modules are as complete as possible. Although enabling memory devices on PCIe infrastructure was considered foreign for the industry, the strong efforts from the CXL Consortium and other industry organizations are enabling their members to push a successful launch of CXL memory products worldwide.
The memory system industry is preparing for the productization of type 3 CXL® memory devices, targeting mass production within 2024 to align with the planned release of CXL 2.0 host systems. AI, Machine Learning, in-memory database & real-time analytics use cases, bandwidth, and capacity expansions require more than what the current memory system can provide to keep up with the memory requirement demands.
With additional memory channels available with CXL using the PCIe® interface, significant improvements in memory bandwidth and capacity per CPU are possible over DDR implementations. For example, with 8 to 12 DDR5 memory channels available in newest the CPUs, an additional 4 CXL memory ports can provide 50% or more improvements in both bandwidth and capacity.
**Enabling CXL Memory Expansion Module with DRAM Features**
As the memory media used for CXL memory expansion modules is mainly DRAM-based, enabling CXL memory expansion modules requires careful evaluation and validation of DRAM-related functions and features. CXL is memory-agnostic in nature and does not need to be coupled with a specific memory technology, unlike how the current CPU system must be coupled with a specific DRAM technology, such as DDR5. The CXL 1.1 or CXL 2.0 specifications provide opportunities for different kinds of memory technologies to be supported under CXL.
However, the industry came to realize that functions and features specific to current DRAM memory technology had to be added to the CXL specification for better clarification and performance. With this purpose, the CXL DRAM sub-group was launched in 2021 to generate and define features for DRAM-based CXL memory solutions.
The scope of work for the DRAM sub-group includes evaluating the gaps in current CXL specification versus use case requirements, developing a prioritized list of work items, and creating a comprehensive architecture, and Engineering Change Notices (ECNs) for these items. Since the CXL specification is mainly a protocol specification, the DRAM sub-group decided not to include package, pinout, mechanicals, electrical, or timing requirements and definitions inside the scope of work.
**Standardizing DRAM Features in the CXL 3.1 Specification**
The DRAM sub-group received numerous proposals, discussions, and contributions from more than 10 Contributing Member companies. The following DRAM features were standardized under the CXL 3.1 specification released in November 2023:
* **Memory Maintenance with hard Post-Package Repair (hPPR), soft PPR (sPPR), and memory sparing**: Defines how to discover device feature capability for various maintenance operations required for DRAM-based CXL memory modules, similar to current DDR4 or DDR5 memory systems. In addition, more definitions on configuring and initiating the memory maintenance operations are included, enabling the host to request the CXL device to perform a repair operation on its media, or to replace a portion of memory with a portion of functional memory at that same device physical address.
* **Memory Testing:** Defines the interface to configure and initiate specified memory tests on CXL memory devices from the host interface, and how to receive the test results. In other words, this interface allows the host to request a CXL memory module to execute device-built-in test operations at the level of the CXL controller.
* **Memory Scrub Control with patrol scrub and Error Check Scrub (ECS):** Defines the interface to configure patrol scrub for CXL controller, and event reporting from patrol scrub and ECS logs (ECS is specifically referenced from JEDEC DDR5 DRAM specification). The device patrol scrub proactively locates and makes corrections to correctable errors during runtime, and ECS allows the DRAM to internally read, correct single-bit errors and write back to the DRAM array, while reporting error count and address information for error count that exceeds a certain threshold.
* **Advanced Programmable Corrected Error Threshold ECN:** Defines interface to set a threshold for correctable error reporting. The granularity of the error threshold, configuration flag, error counter expiration time, event record flags, and event thresholds for each error severity are defined as attributes of this feature.
* **Component ID ECN:** Component ID was added into the memory module and DRAM event records, defining use in PLDM and RDE semantics by leveraging DMTF PLDM standard-based FRU/sub-FRU identification.
* **Event Record Update ECN:** Updates general media, DRAM, and memory module event records to enhance the descriptions on DRAM, media link, PMIC, and other memory module-related errors.
* **Memory Capacity Reduction:** Defines reporting mechanism to report the event of memory capacity reduction to the host. When a system experiences an unrecoverable failure, a map-out of a portion of the memory region (channel, rank, or more granularity) causes the CXL memory module to reduce capacity to avoid catastrophic failure, enhancing the handling of unrecoverable errors.
With the following features defined in the CXL 3.1 specification, memory validation for CXL memory expansion modules using DRAM is now more robust, providing a better understanding of how to verify and validate memory features that are used in current memory systems (mainly DDR4 and DDR5), and enhancing reporting mechanisms inside the CXL infrastructure.
**Harmonization among Standardization Bodies**
For more enhancements in the process of enabling CXL memory expansion modules, more work is being done to harmonize CXL memory-related activities from various standardization bodies. For mechanicals, package, and pinout definitions that are outside of CXL specification, the CXL Consortium is collaborating closely with JEDEC to publish a CXL memory module base standard and memory module label for CXL. Additionally, the CXL Consortium and JEDEC are working on defining more specifications to enable more features and validation of CXL memory expansion modules into mass production. Furthermore, the CXL Consortium is working with SNIA and DMTF to provide clarification in form factor and system management definitions.
**Conclusion**
CXL is showing tremendous promise in memory system value enhancements with memory bandwidth and capacity expansion. Since most of the CXL memory devices are based on DRAM, stronger efforts were made in the CXL specification (specifically, the CXL 3.1 specification) to make sure that DRAM-related features are defined with more details for validation and productization to ensure that CXL memory expansion modules are as complete as possible. Although enabling memory devices on PCIe infrastructure was considered foreign for the industry, the strong efforts from the CXL Consortium and other industry organizations are enabling their members to push a successful launch of CXL memory products worldwide.