MEMORY INDUSTRY INTELLIGENCE
"메모리 장벽 허물기: CXL이 AI/ML에 가져오는 판도를 바꾸는 영향" 웨비나 Q&A 요약 - Compute Express Link
한국어 번역·요약·분석
원문 제목: “Breaking Memory Barriers: CXL’s Game-Changing Impact on AI/ML” Webinar Q&A Recap - Compute Express Link
원문 문장이 일치하지 않은 주장 1건은 근거 등록에서 제외했습니다.
핵심 요약
CXL 컨소시엄 웨비나에서 MemVerge의 Steve Scargall이 CXL 기술이 데이터센터 메모리 성능과 효율을 어떻게 혁신하는지, 하드웨어·소프트웨어 최신 발전을 발표했다. 웨비나는 RAG, 벡터 데이터베이스, 스테이블 디퓨전, LLM 등 AI/ML 워크로드에서 CXL의 역할도 다뤘다. Q&A에서는 CXL 서버·디바이스 체험 경로, 플랫폼 벤더의 CXL 지원 로드맵, AI 추론 워크로드의 메모리 풋프린트·대역폭 요구, 디바이스 개발용 하드웨어 접근성, CXL NV(영구 메모리) 지원, 오픈소스 메모리 할당·일관성 관리 프레임워크 등이 논의됐다. AMD·Intel은 CXL 1.1 지원 CPU를 시장에 출시했고 ARM Neoverse V2도 CXL을 도입했으며, 서버·디바이스 시장은 CXL 2.0 채택을 향해 확대 중이라고 밝혔다. 삼성전자는 2024년 3월 CXL 영구 메모리 디바이스(CMM-H)를 발표했다고 언급됐다.
메모리 산업 영향 분석
이 원문은 CXL 컨소시엄 웨비나 Q&A로, CXL 표준의 서버·디바이스 생태계 진행 상황과 AI/ML 워크로드 적용 사례를 다룬다. 메모리 산업 관점에서 직접적인 영향은 CXL이 서버 DDR 메모리 계층을 확장·보완하는 연결 프로토콜이라는 점이다. 원문에서 확인된 사실은 AMD·Intel이 CXL 1.1 지원 CPU를 시장에 출시했고, ARM Neoverse V2가 CXL을 도입했으며, 일부 서버 벤더가 CXL 1.1 x86 서버를 제공하고, 서버·디바이스 시장이 CXL 2.0 채택을 향해 확대 중이라는 것이다. 또한 삼성전자가 2024년 3월 CXL 영구 메모리(CMM-H)를 발표했고, Micron의 CZ-122 CXL 메모리 디바이스가 MemVerge·Micron 스테이블 디퓨전 데모에 사용됐으며, Micron의 FAMFS가 오픈소스로 개발 중이라는 점도 확인된다. 분석가 가설로는 CXL 채택이 서버 DDR 수요를 대체하기보다는 보완·확장하는 방향으로 작용할 가능성이 있으나, 원문은 CXL 메모리 디바이스의 실제 출하량·매출·고객 인증·양산 일정을 제시하지 않으므로 메모리 산업에 대한 정량적 영향은 미확인이다. 공급 배분 측면에서는 CXL 디바이스용 DRAM과 서버 DDR용 DRAM 간 웨이퍼 배분 선택이 향후 변수이나, 원문 근거만으로는 구체적 배분 변화를 판단할 수 없다. 고객 인증 측면에서는 서버 OEM이 검증된 CXL 디바이스 목록을 제공한다는 언급이 있으나 특정 고객·제품의 인증 완료는 확인되지 않는다. 제품 믹스 측면에서는 CXL이 DDR 기반 확장 메모리로 동작하므로 서버 DDR 수요와 직접 연결되나, CXL의 DRAM을 서버 DDR 총량에 추가 합산해서는 안 된다. 투자 일정 측면에서는 CXL 2.0·3.X 세대 전환이 수년 단위로 진행된다는 언급이 있으나 구체적 투자 계획은 미확인이다. 반대 근거로는 CXL 채택이 지연될 경우 서버 DDR 수요가 기존 경로로 유지될 수 있고, CXL이 메모리 내 연산이나 HBM 수요를 대체한다는 근거는 원문에 없다. 확인할 지표로는 CXL 지원 서버 출하량, CXL 디바이스 인증 목록, CXL 메모리 디바이스의 실제 양산·출하, Linux 커널 CXL 기능 지원 진행 상황이 있다. research_topics의 표준·밸류체인 질문에 대해, 원문은 CXL 3.2 사양 릴리스 발표 링크를 언급하나 실제 제품 양산과의 구분은 명시하지 않아 미확인으로 남긴다.
한국어 번역 읽기
수집된 원문 v1의 전체 본문 기준 · 5656자
최근 CXL 컨소시엄 웨비나에서 Steve Scargall(MemVerge)이 CXL 기술이 데이터센터 메모리 성능과 효율을 어떻게 혁신하고 있는지, 최신 하드웨어·소프트웨어 발전을 강조하며 발표했다. 웨비나는 또한 검색 증강 생성(RAG), 벡터 데이터베이스, 스테이블 디퓨전, 대규모 언어 모델(LLM) 등 AI/ML 워크로드에서 CXL이 어떻게 성능을 향상시키는지 탐구했다.
**온디맨드 시청 또는 슬라이드 다운로드**
라이브 웨비나에 참석하지 못한 경우, 녹화본은 [YouTube](https://www.youtube.com/watch?v=nKm8NYk6FfI)와 [BrightTALK](https://www.brighttalk.com/webcast/17915/631961)에서 볼 수 있으며, 웨비나 발표 슬라이드는 [CXL 컨소시엄 웹사이트](https://computeexpresslink.org/wp-content/uploads/2024/12/CXL-Breaking-Memory-Barriers-Webinar.pdf)에서 다운로드할 수 있다.
**웨비나 Q&A**
청중으로부터 좋은 질문을 많이 받았지만 웨비나 중에 모두 다루지 못했다. 아래에는 라이브 웨비나에서 다루지 못한 질문에 대한 답변을 포함했다.
**Q: CXL 서버와 디바이스를 어디서 시험해볼 수 있는가?**
선호하는 서버 OEM에 문의하라. 현재 서버 포트폴리오와 로드맵, 검증된 CXL 디바이스 목록을 제공할 수 있다.
**Q: 플랫폼 벤더들이 업데이트 주기에 CXL을 활성화할 의지가 있는가, CXL 지원이 일반화되는 시점은 언제로 예상하는가? 통합 과제가 수용을 지연시키거나 방해하고 있는가?**
통합은 문제가 아니다. CXL과 같은 새로운 프로토콜 표준을 시장에 출시하는 데는 시간(수년)이 걸린다. CPU 및 서버 플랫폼 벤더들은 CXL 지원 서버를 제공할 의지가 있다. AMD와 Intel은 현재 CXL 1.1을 지원하는 CPU를 시장에 출시했고, ARM의 Neoverse V2도 CXL 지원을 도입했다. 일부 서버 벤더는 CXL 1.1 지원 x86 서버를 제공하고 있다. 서버와 디바이스 시장은 CXL 2.0 채택을 향해 확대되고 있으며, 이는 CXL 디바이스와 서버 발표에서 분명하다. 이는 향후 세대가 CXL 3.X 이상을 지원하면서 계속될 것이다. Linux 커널은 발표되는 대로 새로운 CXL 버전과 기능 지원을 계속 추가하고 있다.
**Q: 논의한 사용 사례(ray 및 기타 AI 추론)의 워크로드에 대한 메모리 풋프린트와 대역폭 요구 사항을 공유할 수 있는가?**
MemVerge와 Micron의 스테이블 디퓨전 데모는 Anyscale의 "[We Pre-Trained Stable Diffusion Models on 2 billion Images and Didn't Break the Bank – Definitive Guides with Ray Series](https://www.anyscale.com/blog/we-pre-trained-stable-diffusion-models-on-2-billion-images-and-didnt-break-the-bank-definitive-guides-with-ray-series)" 블로그에서 착안했다.
우리는 다음 구성을 사용했다:
* 2 x 서버, 각각 Intel 5세대 Xeon CPU(Emerald Rapids), 1TiB DDR, 1 x NVidia A100, Ubuntu 22.04.04, 10Gbps 이더넷, 1 x 3.84TiB U.3 Micron 7450 Max NVMe
* 1 x XConn CXL 2.0 스위치
* 2 x 256GiB Micron CZ-122 CXL 메모리 디바이스(인터리브)
* MemVerge GISMO, Ray.io를 네이티브 지원
* 훈련 이미지 수는 훈련 시간을 줄이기 위한 것 외에 다른 이유 없이 10,000개로 제한했다.
CXL 디바이스를 사용하면 DRAM과 함께 메모리 구성을 설계하여 애플리케이션의 [증가하는] 요구를 충족할 수 있다. CXL 디바이스를 로컬 및/또는 외부에 추가하면 용량과 대역폭이 증가한다. 서버 또는 메모리 어플라이언스 섀시 설계에 따라 E3.s와 CEM(PCIe® 애드인 카드) 폼팩터 중에서 선택할 수 있다. CXL 디바이스 특성은 비용, 성능, 용량, 그리고 휘발성/비휘발성, 압축, 보안 등의 기능 중에서 선택할 수 있게 한다.
**Q: CXL에서 디바이스 개발을 위한 비용 효율적인 하드웨어 접근이 가능한가?**
하드웨어 디바이스 개발은 일반적으로 FPGA에서 시작한다. FPGA 벤더는 CXL 디바이스 설계를 시작하는 데 필요한 CXL IP 블록과 비트스트림을 제공할 수 있다. Xilinx, Altera, AMD Versal FPGA 제품이 CXL IP 블록을 제공한다. CXL 디바이스 설계에 필요한 기능을 제공하는 FPGA 보드와 IP 블록을 선택해야 한다. 설계를 철저히 테스트하고 검증한 후에는 팹으로 가져가 ASIC을 생산할 수 있다.
**Q: CXL NV(영구 메모리)를 활성화하려면 어떤 추가 작업이 필요하며, 향후 디바이스에서 언제 기대할 수 있는가?**
삼성전자는 2024년 3월에 영구 메모리 CXL 디바이스를 발표했다. 그들의 CXL 메모리 모듈-하이브리드(CMM-H) 디바이스는 여러 모드를 제공한다. 자세한 내용은 [https://semiconductor.samsung.com/news-events/tech-blog/samsung-cxl-solutions-cmm-h/](https://semiconductor.samsung.com/news-events/tech-blog/samsung-cxl-solutions-cmm-h/)를 참조하라.
**Q: 애플리케이션을 CXL을 사용하도록 포팅할 때 서로 다른 컴퓨트 노드 간 메모리 할당과 일관성을 처리하는 오픈소스 관리 프레임워크가 있는가?**
두 가지 주요 프로젝트가 있다. FAMFS는 Micron의 오픈소스 공유 CXL 메모리 인식 파일 시스템으로 현재 개발 중이다. MemVerge의 GISMO는 독점 객체 저장소이다. 둘 다 애플리케이션이 패브릭을 통해 연결된 CXL 공유 메모리를 사용하여 여러 서버에서 파일/객체를 생성, 읽기, 업데이트, 삭제(CRUD)할 수 있게 한다. CXL 3.X는 메모리 중심 패브릭 아키텍처를 도입하여 새로운 분산 공유 메모리 관리 프레임워크와 라이브러리 개발로 이어질 것이다.
**CXL 컨소시엄 웹사이트의 관련 링크**
* [CXL 컨소시엄, Compute Express Link 3.2 사양 릴리스 발표](https://computeexpresslink.org/wp-content/uploads/2024/12/CXL_3.2-Spec-Announcement_FINAL-1.pdf)
* [ABI Research 백서 – Compute Express Link(CXL)의 기회와 과제](https://computeexpresslink.org/wp-content/uploads/2024/11/CR-CXL-101_FINAL.pdf)
**온디맨드 시청 또는 슬라이드 다운로드**
라이브 웨비나에 참석하지 못한 경우, 녹화본은 [YouTube](https://www.youtube.com/watch?v=nKm8NYk6FfI)와 [BrightTALK](https://www.brighttalk.com/webcast/17915/631961)에서 볼 수 있으며, 웨비나 발표 슬라이드는 [CXL 컨소시엄 웹사이트](https://computeexpresslink.org/wp-content/uploads/2024/12/CXL-Breaking-Memory-Barriers-Webinar.pdf)에서 다운로드할 수 있다.
**웨비나 Q&A**
청중으로부터 좋은 질문을 많이 받았지만 웨비나 중에 모두 다루지 못했다. 아래에는 라이브 웨비나에서 다루지 못한 질문에 대한 답변을 포함했다.
**Q: CXL 서버와 디바이스를 어디서 시험해볼 수 있는가?**
선호하는 서버 OEM에 문의하라. 현재 서버 포트폴리오와 로드맵, 검증된 CXL 디바이스 목록을 제공할 수 있다.
**Q: 플랫폼 벤더들이 업데이트 주기에 CXL을 활성화할 의지가 있는가, CXL 지원이 일반화되는 시점은 언제로 예상하는가? 통합 과제가 수용을 지연시키거나 방해하고 있는가?**
통합은 문제가 아니다. CXL과 같은 새로운 프로토콜 표준을 시장에 출시하는 데는 시간(수년)이 걸린다. CPU 및 서버 플랫폼 벤더들은 CXL 지원 서버를 제공할 의지가 있다. AMD와 Intel은 현재 CXL 1.1을 지원하는 CPU를 시장에 출시했고, ARM의 Neoverse V2도 CXL 지원을 도입했다. 일부 서버 벤더는 CXL 1.1 지원 x86 서버를 제공하고 있다. 서버와 디바이스 시장은 CXL 2.0 채택을 향해 확대되고 있으며, 이는 CXL 디바이스와 서버 발표에서 분명하다. 이는 향후 세대가 CXL 3.X 이상을 지원하면서 계속될 것이다. Linux 커널은 발표되는 대로 새로운 CXL 버전과 기능 지원을 계속 추가하고 있다.
**Q: 논의한 사용 사례(ray 및 기타 AI 추론)의 워크로드에 대한 메모리 풋프린트와 대역폭 요구 사항을 공유할 수 있는가?**
MemVerge와 Micron의 스테이블 디퓨전 데모는 Anyscale의 "[We Pre-Trained Stable Diffusion Models on 2 billion Images and Didn't Break the Bank – Definitive Guides with Ray Series](https://www.anyscale.com/blog/we-pre-trained-stable-diffusion-models-on-2-billion-images-and-didnt-break-the-bank-definitive-guides-with-ray-series)" 블로그에서 착안했다.
우리는 다음 구성을 사용했다:
* 2 x 서버, 각각 Intel 5세대 Xeon CPU(Emerald Rapids), 1TiB DDR, 1 x NVidia A100, Ubuntu 22.04.04, 10Gbps 이더넷, 1 x 3.84TiB U.3 Micron 7450 Max NVMe
* 1 x XConn CXL 2.0 스위치
* 2 x 256GiB Micron CZ-122 CXL 메모리 디바이스(인터리브)
* MemVerge GISMO, Ray.io를 네이티브 지원
* 훈련 이미지 수는 훈련 시간을 줄이기 위한 것 외에 다른 이유 없이 10,000개로 제한했다.
CXL 디바이스를 사용하면 DRAM과 함께 메모리 구성을 설계하여 애플리케이션의 [증가하는] 요구를 충족할 수 있다. CXL 디바이스를 로컬 및/또는 외부에 추가하면 용량과 대역폭이 증가한다. 서버 또는 메모리 어플라이언스 섀시 설계에 따라 E3.s와 CEM(PCIe® 애드인 카드) 폼팩터 중에서 선택할 수 있다. CXL 디바이스 특성은 비용, 성능, 용량, 그리고 휘발성/비휘발성, 압축, 보안 등의 기능 중에서 선택할 수 있게 한다.
**Q: CXL에서 디바이스 개발을 위한 비용 효율적인 하드웨어 접근이 가능한가?**
하드웨어 디바이스 개발은 일반적으로 FPGA에서 시작한다. FPGA 벤더는 CXL 디바이스 설계를 시작하는 데 필요한 CXL IP 블록과 비트스트림을 제공할 수 있다. Xilinx, Altera, AMD Versal FPGA 제품이 CXL IP 블록을 제공한다. CXL 디바이스 설계에 필요한 기능을 제공하는 FPGA 보드와 IP 블록을 선택해야 한다. 설계를 철저히 테스트하고 검증한 후에는 팹으로 가져가 ASIC을 생산할 수 있다.
**Q: CXL NV(영구 메모리)를 활성화하려면 어떤 추가 작업이 필요하며, 향후 디바이스에서 언제 기대할 수 있는가?**
삼성전자는 2024년 3월에 영구 메모리 CXL 디바이스를 발표했다. 그들의 CXL 메모리 모듈-하이브리드(CMM-H) 디바이스는 여러 모드를 제공한다. 자세한 내용은 [https://semiconductor.samsung.com/news-events/tech-blog/samsung-cxl-solutions-cmm-h/](https://semiconductor.samsung.com/news-events/tech-blog/samsung-cxl-solutions-cmm-h/)를 참조하라.
**Q: 애플리케이션을 CXL을 사용하도록 포팅할 때 서로 다른 컴퓨트 노드 간 메모리 할당과 일관성을 처리하는 오픈소스 관리 프레임워크가 있는가?**
두 가지 주요 프로젝트가 있다. FAMFS는 Micron의 오픈소스 공유 CXL 메모리 인식 파일 시스템으로 현재 개발 중이다. MemVerge의 GISMO는 독점 객체 저장소이다. 둘 다 애플리케이션이 패브릭을 통해 연결된 CXL 공유 메모리를 사용하여 여러 서버에서 파일/객체를 생성, 읽기, 업데이트, 삭제(CRUD)할 수 있게 한다. CXL 3.X는 메모리 중심 패브릭 아키텍처를 도입하여 새로운 분산 공유 메모리 관리 프레임워크와 라이브러리 개발로 이어질 것이다.
**CXL 컨소시엄 웹사이트의 관련 링크**
* [CXL 컨소시엄, Compute Express Link 3.2 사양 릴리스 발표](https://computeexpresslink.org/wp-content/uploads/2024/12/CXL_3.2-Spec-Announcement_FINAL-1.pdf)
* [ABI Research 백서 – Compute Express Link(CXL)의 기회와 과제](https://computeexpresslink.org/wp-content/uploads/2024/11/CR-CXL-101_FINAL.pdf)
브리프용 요약 초안
CXL 컨소시엄 웨비나 Q&A에서 AMD·Intel의 CXL 1.1 지원 CPU 출시, ARM Neoverse V2의 CXL 도입, 서버·디바이스 시장의 CXL 2.0 채택 확대가 확인됐다. 삼성전자는 2024년 3월 CXL 영구 메모리(CMM-H)를 발표했고, Micron CZ-122 CXL 메모리 디바이스가 AI 추론 데모에 사용됐다. CXL은 서버 DDR 메모리 계층을 확장하는 연결 프로토콜로, 실제 출하량·매출·고객 인증은 원문에서 확인되지 않아 메모리 산업 정량적 영향은 미확인이다.
원문 텍스트
원문 열기 ↗During the latest CXL Consortium webinar, Steve Scargall (MemVerge) presented how CXL technology is revolutionizing data center memory performance and efficiency, highlighting the latest advancements in hardware and software. The webinar also explored how CXL is enhancing AI/ML workloads, including Retrieval-Augmented Generation (RAG), vector databases, stable diffusion, Large Language Models (LLMs) and more.
**Watch On-Demand or Download the Slides**
If you were not able to attend the live webinar, the recording is available via [YouTube](https://www.youtube.com/watch?v=nKm8NYk6FfI)and [BrightTALK](https://www.brighttalk.com/webcast/17915/631961) and the webinar presentation slides are available for download on the [CXL Consortium website](https://computeexpresslink.org/wp-content/uploads/2024/12/CXL-Breaking-Memory-Barriers-Webinar.pdf).
**Webinar Q&A**
We received great questions from the audience but were not able to address them all during the webinar. Below, we’ve included answers to the questions we didn’t get to during the live webinar.
**Q: Where can I try CXL servers and devices?**
Reach out to your preferred Server OEM. They can provide you with their current server portfolio and roadmaps along with a list of validated CXL devices.
**Q: Are platform vendors committed to enabling CXL in the update cycle and when do you anticipate CXL support to be common? Are integration challenges delaying or preventing acceptance?**
Integration isn’t the problem. It takes time (years) to bring new protocol standards, such as CXL, to market. CPU and Server platform vendors are committed to delivering servers with CXL support. AMD and Intel have CPUs on the market with CXL 1.1 support today, and ARM’s Neoverse V2 introduced CXL support. A few server vendors have x86 servers available with CXL 1.1 support. The server and device market are ramping up for CXL 2.0 adoption, as is evident from CXL device and server announcements. This will continue as future generations support CXL 3.X and beyond. The Linux Kernel continues to add new CXL versions and feature support as they are announced.
**Q: Could you share the memory foot prints and bandwidth requirements for the workloads in the use cases you discussed like ray and other AI inference?**
The Stable Diffusion Demo from MemVerge and Micron idea came from Anyscale’s “[We Pre-Trained Stable Diffusion Models on 2 billion Images and Didn’t Break the Bank – Definitive Guides with Ray Series](https://www.anyscale.com/blog/we-pre-trained-stable-diffusion-models-on-2-billion-images-and-didnt-break-the-bank-definitive-guides-with-ray-series)” blog.
We used the following configuration:
* 2 x Servers, each with Intel 5th Gen Xeon CPUs (Emerald Rapids), 1TiB DDR, 1 x NVidia A100, Ubuntu 22.04.04, 10Gbps Ethernet, 1 x 3.84TiB U.3 Micron 7450 Max NVMe
* 1 x XConn CXL 2.0 Switch
* 2 x 256GiB Micron CZ-122 CXL Memory Devices (interleaved)
* MemVerge GISMO, which natively supports Ray.io
* The number of training images was capped to 10,000 for no other reason than to reduce the training time.
CXL devices allow you to design the memory configuration, in conjunction with DRAM, to meet the [growing] needs of the applications. Adding more CXL devices, either locally and/or externally, adds capacity and bandwidth. You can choose between E3.s and CEM (PCIe® Add-in-card) form factors depending on your server or memory appliance chassis design. CXL device characteristics offer a choice between cost, performance, capacity, and features such as volatile/non-volatile, compression, security, etc.
**Q: Is there cost-effective access to hardware for device development in CXL?**
Hardware device development commonly starts on FPGAs. FPGA vendors can provide the necessary CXL IP Blocks and Bitstreams to get started with designing CXL devices. Xilinx, Altera, and AMD Versal FPGA products offer CXL IP Blocks. You should choose the FPGA board and IP Blocks that provide the features you need for your CXL device design. Once you have thoroughly tested and validated your design, then you can take it to a fab and produce ASICs.
**Q: What additional work is needed to enable CXL NV (Persistent Memory) and when can we expect it in future devices?**
Samsung announced their Persistent Memory CXL devices in March 2024. Their CXL Memory Module-Hybrid (CMM-H) device offers several modes. Visit [https://semiconductor.samsung.com/news-events/tech-blog/samsung-cxl-solutions-cmm-h/](https://semiconductor.samsung.com/news-events/tech-blog/samsung-cxl-solutions-cmm-h/) for more information.
**Q: Are there any open-source management frameworks to handle memory allocation and coherence across different compute nodes while porting applications to use CXL?**
There are two leading projects. FAMFS is an open-source shared CXL memory-aware file system from Micron that is currently under development. MemVerge’s GISMO is a proprietary object store. Both allow applications to Create, Read, Update, and Delete (CRUD) files/objects from multiple servers using CXL Shared Memory connected via a fabric. CXL 3.X introduces memory-centric fabric architectures, which will lead to the development of new distributed shared memory management frameworks and libraries.
**Related Links on the CXL Consortium Website**
* [CXL Consortium Announces Compute Express Link 3.2 Specification Release](https://computeexpresslink.org/wp-content/uploads/2024/12/CXL_3.2-Spec-Announcement_FINAL-1.pdf)
* [ABI Research White Paper – Opportunities and Challenges for Compute Express Link (CXL)](https://computeexpresslink.org/wp-content/uploads/2024/11/CR-CXL-101_FINAL.pdf)
**Watch On-Demand or Download the Slides**
If you were not able to attend the live webinar, the recording is available via [YouTube](https://www.youtube.com/watch?v=nKm8NYk6FfI)and [BrightTALK](https://www.brighttalk.com/webcast/17915/631961) and the webinar presentation slides are available for download on the [CXL Consortium website](https://computeexpresslink.org/wp-content/uploads/2024/12/CXL-Breaking-Memory-Barriers-Webinar.pdf).
**Webinar Q&A**
We received great questions from the audience but were not able to address them all during the webinar. Below, we’ve included answers to the questions we didn’t get to during the live webinar.
**Q: Where can I try CXL servers and devices?**
Reach out to your preferred Server OEM. They can provide you with their current server portfolio and roadmaps along with a list of validated CXL devices.
**Q: Are platform vendors committed to enabling CXL in the update cycle and when do you anticipate CXL support to be common? Are integration challenges delaying or preventing acceptance?**
Integration isn’t the problem. It takes time (years) to bring new protocol standards, such as CXL, to market. CPU and Server platform vendors are committed to delivering servers with CXL support. AMD and Intel have CPUs on the market with CXL 1.1 support today, and ARM’s Neoverse V2 introduced CXL support. A few server vendors have x86 servers available with CXL 1.1 support. The server and device market are ramping up for CXL 2.0 adoption, as is evident from CXL device and server announcements. This will continue as future generations support CXL 3.X and beyond. The Linux Kernel continues to add new CXL versions and feature support as they are announced.
**Q: Could you share the memory foot prints and bandwidth requirements for the workloads in the use cases you discussed like ray and other AI inference?**
The Stable Diffusion Demo from MemVerge and Micron idea came from Anyscale’s “[We Pre-Trained Stable Diffusion Models on 2 billion Images and Didn’t Break the Bank – Definitive Guides with Ray Series](https://www.anyscale.com/blog/we-pre-trained-stable-diffusion-models-on-2-billion-images-and-didnt-break-the-bank-definitive-guides-with-ray-series)” blog.
We used the following configuration:
* 2 x Servers, each with Intel 5th Gen Xeon CPUs (Emerald Rapids), 1TiB DDR, 1 x NVidia A100, Ubuntu 22.04.04, 10Gbps Ethernet, 1 x 3.84TiB U.3 Micron 7450 Max NVMe
* 1 x XConn CXL 2.0 Switch
* 2 x 256GiB Micron CZ-122 CXL Memory Devices (interleaved)
* MemVerge GISMO, which natively supports Ray.io
* The number of training images was capped to 10,000 for no other reason than to reduce the training time.
CXL devices allow you to design the memory configuration, in conjunction with DRAM, to meet the [growing] needs of the applications. Adding more CXL devices, either locally and/or externally, adds capacity and bandwidth. You can choose between E3.s and CEM (PCIe® Add-in-card) form factors depending on your server or memory appliance chassis design. CXL device characteristics offer a choice between cost, performance, capacity, and features such as volatile/non-volatile, compression, security, etc.
**Q: Is there cost-effective access to hardware for device development in CXL?**
Hardware device development commonly starts on FPGAs. FPGA vendors can provide the necessary CXL IP Blocks and Bitstreams to get started with designing CXL devices. Xilinx, Altera, and AMD Versal FPGA products offer CXL IP Blocks. You should choose the FPGA board and IP Blocks that provide the features you need for your CXL device design. Once you have thoroughly tested and validated your design, then you can take it to a fab and produce ASICs.
**Q: What additional work is needed to enable CXL NV (Persistent Memory) and when can we expect it in future devices?**
Samsung announced their Persistent Memory CXL devices in March 2024. Their CXL Memory Module-Hybrid (CMM-H) device offers several modes. Visit [https://semiconductor.samsung.com/news-events/tech-blog/samsung-cxl-solutions-cmm-h/](https://semiconductor.samsung.com/news-events/tech-blog/samsung-cxl-solutions-cmm-h/) for more information.
**Q: Are there any open-source management frameworks to handle memory allocation and coherence across different compute nodes while porting applications to use CXL?**
There are two leading projects. FAMFS is an open-source shared CXL memory-aware file system from Micron that is currently under development. MemVerge’s GISMO is a proprietary object store. Both allow applications to Create, Read, Update, and Delete (CRUD) files/objects from multiple servers using CXL Shared Memory connected via a fabric. CXL 3.X introduces memory-centric fabric architectures, which will lead to the development of new distributed shared memory management frameworks and libraries.
**Related Links on the CXL Consortium Website**
* [CXL Consortium Announces Compute Express Link 3.2 Specification Release](https://computeexpresslink.org/wp-content/uploads/2024/12/CXL_3.2-Spec-Announcement_FINAL-1.pdf)
* [ABI Research White Paper – Opportunities and Challenges for Compute Express Link (CXL)](https://computeexpresslink.org/wp-content/uploads/2024/11/CR-CXL-101_FINAL.pdf)