MEMORY INDUSTRY INTELLIGENCE
CXL로 AI 성능 향상하기 - Compute Express Link
한국어 번역·요약·분석
원문 제목: Boosting AI Performance with CXL - Compute Express Link
핵심 요약
이 글은 Cadence Design Systems의 시니어 제품 마케팅 매니저 Vanessa Do가 작성한 것으로, AI 모델의 대규모 데이터 처리와 반복 연산으로 인해 유연한 메모리 확장과 기기 간 메모리 공유, 시스템 일관성 유지에 대한 수요가 지속된다고 설명합니다. CXL은 CXL.mem을 통한 메모리 확장·공유, CXL.cache를 통한 데이터 일관성, CXL.io를 통한 PCIe 기반 통신을 제공한다고 소개합니다. CXL 메모리 확장기는 로컬 RAM을 외부 DDR 메모리 모듈로 확장하고, 하이퍼바이저 같은 시스템 소프트웨어가 이를 공유 풀 자원으로 관리해 워크로드 수요에 따라 동적으로 할당할 수 있다고 합니다. 또한 CXL은 PCIe 버스에서 별도 장치로 메모리를 연결해 CPU 메모리 채널 제약을 우회하며, 메모리 풀링·공유·캐시 일관성을 통해 여러 프로세서·GPU·AI 가속기가 동일 메모리 풀에 접근할 수 있게 한다고 설명합니다. Cadence는 CXL 3.X 솔루션을 제공하며 CXL DevCon 2025 부스 방문이나 영업팀 문의를 안내합니다.
메모리 산업 영향 분석
이 원문은 CXL 컨트롤러 공급사 Cadence의 기술 마케팅 자료로, CXL.mem 기반 메모리 확장·풀링·공유와 CXL.cache 기반 캐시 일관성이 AI 워크로드의 메모리 병목을 완화한다는 주장을 담고 있습니다. 메모리 산업 관점에서 직접적인 함의는 CXL 메모리 확장기가 외부 DDR 메모리 모듈을 로컬 RAM 확장 자원으로 사용한다는 점이며, 이는 서버 DDR 수요의 새로운 연결 경로가 될 수 있습니다. 다만 원문은 특정 고객 채택, 납품, 양산, 주문량, 성능 수치를 제시하지 않으므로 실제 공급 배분·고객 인증·제품 믹스·투자 일정에 대한 영향은 미확인입니다. CXL은 연결 프로토콜이므로 CXL의 DRAM을 기존 서버 DDR 총량에 추가 합산해서는 안 되며, CXL 메모리 확장기로 연결된 DDR 용량은 별도 총량으로 관찰해야 합니다. HBM·HBF와의 계층 이동 여부는 원문에 근거가 없어 미확인으로 남깁니다. 판단 변경 조건은 CXL 메모리 확장기의 실제 서버 채택·인증 사례, CXL 3.X 컨트롤러 양산, 하이퍼바이저 지원 성숙도, 그리고 CXL 연결 DDR의 지연·대역폭이 로컬 DDR 대비 충분한지에 대한 검증입니다. research_topics의 표준·밸류체인 질문에 대해 이 원문은 CXL 표준의 기능 설명과 Cadence CXL 3.X 솔루션 제공만 확인하며, 실제 제품 양산·채택 사례는 확인되지 않습니다.
한국어 번역 읽기
수집된 원문 v1의 전체 본문 기준 · 5221자
작성자: Vanessa Do, Cadence Design Systems 시니어 제품 마케팅 매니저
AI 애플리케이션이 빠르게 발전함에 따라 AI 모델은 수십억, 심지어 수조 개의 파라미터를 포함하는 방대한 양의 데이터를 처리하는 임무를 맡게 되었습니다. 각 대규모 워크로드는 훈련 중 데이터 비교, 예측 계산, 파라미터 결과 업데이트를 위한 수많은 반복을 수반합니다. 따라서 시스템 내 일관성을 유지하면서 빠른 데이터 접근에 대한 긴급한 요구를 충족하기 위해 유연한 메모리 확장과 기기 간 메모리 공유에 대한 수요가 끊임없이 존재합니다.
Compute Express Link®(CXL®)는 메모리 확장, 메모리 공유를 제공하는 CXL.mem과 패브릭 내 데이터 일관성을 보장하는 CXL.cache를 통해 이러한 문제를 해결하기 위해 만들어졌으며, 이 모든 것은 CXL.io를 통한 통신을 위해 기본 PCIe 구조를 유지합니다.
출처: CXL Consortium
모든 AI 파라미터는 훈련과 추론 모두에서 메모리에 저장되어야 합니다. 이러한 반복 프로세스는 훈련과 시간적 데이터 처리 모두를 위해 상당한 메모리 저장 공간을 필요로 합니다. 전통적으로 로컬 RAM이 용량에 도달하면 데이터는 외부 SSD나 호스트 메모리와 같은 물리적 메모리에 저장됩니다. 이러한 유형의 전송은 일반적으로 가상 주소와 물리 주소 간의 변환 지연 시간과 로컬 RAM 및 DDR 메모리 접근에 비해 외부 플래시 메모리나 호스트 메모리와 관련된 더 긴 접근 시간으로 인해 긴 지연 시간을 겪습니다.
메모리 확장에 대한 수요를 해결하기 위해 CXL 메모리 확장기는 기기가 로컬 RAM 메모리를 외부 DDR 메모리 모듈로 확장할 수 있게 합니다. 이 중앙 집중식 자원은 하이퍼바이저와 같은 시스템 소프트웨어에 의해 관리되는 공유 풀로 취급됩니다. 애플리케이션을 위한 단일 통합 자원으로 가상화함으로써 시스템 소프트웨어는 워크로드 수요에 따라 메모리를 동적으로 할당할 수 있어 성능을 개선하고 메모리 사용 효율성을 높이며 개별 기기에 로컬로 할당된 메모리가 충분히 활용되지 않는 문제를 해결합니다.
CXL 아키텍처는 메모리가 PCIe 버스에서 별도 장치로 연결될 수 있게 하여 CPU의 메모리 채널에 제한받지 않고 추가 메모리 용량을 제공할 수 있는 CXL 메모리 확장기를 추가할 수 있게 합니다. 전통적인 아키텍처에서 CPU의 용량은 메모리 채널 수에 의해 제한되며, 각 채널에는 여러 DIMM 슬롯이 있습니다. 메모리 수요가 증가함에 따라 CPU에 새 채널을 추가하는 것은 지나치게 복잡하고 비용이 많이 들며, 특히 채널이 이전에 저성능 애플리케이션에 대해 충분히 활용되지 않은 경우 높은 전력 소비를 초래합니다. CXL 메모리 확장기 솔루션은 PCIe 버스에서 메모리 장치의 확장과 동적 할당을 허용하여 전통적인 메모리 채널 병목 현상의 제약을 우회하고 AI 시스템이 효과적으로 확장하여 현재와 미래의 복잡한 AI 애플리케이션의 증가하는 요구를 충족할 수 있게 합니다.
메모리 확장 기능 외에도 CXL은 메모리 풀링과 여러 기기 간 자원 공유를 촉진하여 AI 처리를 향상시킵니다. CXL을 사용하면 여러 프로세서, GPU, AI 가속기가 동일한 공유 메모리 풀에 접근할 수 있어 효율적인 자원 활용이 가능합니다. 그러면 AI 시스템은 워크로드가 증가함에 따라 메모리를 동적으로 할당할 수 있어 전통적인 고정 메모리 아키텍처의 제약을 제거합니다. 이러한 유연성은 GPT-4와 같은 대규모 AI 모델의 집약적인 메모리 요구를 허용합니다. 또한 CXL의 분리형 아키텍처는 자원 활용과 전체 시스템 효율성을 최적화하여 AI 워크로드에 완벽하게 적합합니다.
출처: CXL Consortium
CXL은 또한 CPU와 연결된 메모리 장치 간의 캐시 일관성을 보장하여 모든 장치에서 일관된 데이터를 유지합니다. 이는 중복 메모리 관리로 인한 지연을 피하면서 원활한 통합과 효율적인 데이터 공유를 가능하게 합니다. 캐시 일관성을 통해 한 장치에서 수행된 업데이트는 시스템 내 다른 장치에 즉시 표시됩니다. 이는 장치 간 데이터 전송 필요성을 줄이고 AI 훈련 또는 추론 작업 중 일관성을 보장하면서 시간과 전력을 절약합니다. 가장 중요한 것은 CXL 캐시 일관성이 AI 시스템 내 여러 장치에서 병렬 데이터 계산 중 잘못된 계산, 오래된 데이터 또는 경쟁 조건으로 이어질 수 있는 불일치를 제거한다는 것입니다.
CXL의 저지연 아키텍처는 CPU, GPU, 가속기 간의 통신을 크게 향상시켜 지연이 성능을 저하시킬 수 있는 자율주행차와 금융 거래와 같은 실시간 AI 애플리케이션에 중요합니다. 메모리 확장기, 메모리 풀링, 메모리 공유, 캐시 일관성과 같은 고급 기능을 통해 CXL 아키텍처는 AI/ML 작업의 성능을 최적화하며 벡터 데이터베이스와 대규모 언어 모델(LLM)과 같은 복잡한 AI 워크로드를 처리하는 데 특히 효과적입니다. 이러한 기능은 까다로운 워크로드가 최소 지연으로 효율적으로 작동하는 데 필요한 메모리 대역폭과 자원을 갖추도록 보장합니다.
Cadence CXL 컨트롤러는 고객의 성공을 보장하기 위해 고급 CXL 3.X 솔루션을 제공합니다. [CXL DevCon 2025](https://computeexpresslink.org/cxl-devcon-2025/)에서 저희 부스를 방문하시거나 더 자세한 정보를 위해 Cadence 영업팀에 문의하십시오.
AI 애플리케이션이 빠르게 발전함에 따라 AI 모델은 수십억, 심지어 수조 개의 파라미터를 포함하는 방대한 양의 데이터를 처리하는 임무를 맡게 되었습니다. 각 대규모 워크로드는 훈련 중 데이터 비교, 예측 계산, 파라미터 결과 업데이트를 위한 수많은 반복을 수반합니다. 따라서 시스템 내 일관성을 유지하면서 빠른 데이터 접근에 대한 긴급한 요구를 충족하기 위해 유연한 메모리 확장과 기기 간 메모리 공유에 대한 수요가 끊임없이 존재합니다.
Compute Express Link®(CXL®)는 메모리 확장, 메모리 공유를 제공하는 CXL.mem과 패브릭 내 데이터 일관성을 보장하는 CXL.cache를 통해 이러한 문제를 해결하기 위해 만들어졌으며, 이 모든 것은 CXL.io를 통한 통신을 위해 기본 PCIe 구조를 유지합니다.
출처: CXL Consortium
모든 AI 파라미터는 훈련과 추론 모두에서 메모리에 저장되어야 합니다. 이러한 반복 프로세스는 훈련과 시간적 데이터 처리 모두를 위해 상당한 메모리 저장 공간을 필요로 합니다. 전통적으로 로컬 RAM이 용량에 도달하면 데이터는 외부 SSD나 호스트 메모리와 같은 물리적 메모리에 저장됩니다. 이러한 유형의 전송은 일반적으로 가상 주소와 물리 주소 간의 변환 지연 시간과 로컬 RAM 및 DDR 메모리 접근에 비해 외부 플래시 메모리나 호스트 메모리와 관련된 더 긴 접근 시간으로 인해 긴 지연 시간을 겪습니다.
메모리 확장에 대한 수요를 해결하기 위해 CXL 메모리 확장기는 기기가 로컬 RAM 메모리를 외부 DDR 메모리 모듈로 확장할 수 있게 합니다. 이 중앙 집중식 자원은 하이퍼바이저와 같은 시스템 소프트웨어에 의해 관리되는 공유 풀로 취급됩니다. 애플리케이션을 위한 단일 통합 자원으로 가상화함으로써 시스템 소프트웨어는 워크로드 수요에 따라 메모리를 동적으로 할당할 수 있어 성능을 개선하고 메모리 사용 효율성을 높이며 개별 기기에 로컬로 할당된 메모리가 충분히 활용되지 않는 문제를 해결합니다.
CXL 아키텍처는 메모리가 PCIe 버스에서 별도 장치로 연결될 수 있게 하여 CPU의 메모리 채널에 제한받지 않고 추가 메모리 용량을 제공할 수 있는 CXL 메모리 확장기를 추가할 수 있게 합니다. 전통적인 아키텍처에서 CPU의 용량은 메모리 채널 수에 의해 제한되며, 각 채널에는 여러 DIMM 슬롯이 있습니다. 메모리 수요가 증가함에 따라 CPU에 새 채널을 추가하는 것은 지나치게 복잡하고 비용이 많이 들며, 특히 채널이 이전에 저성능 애플리케이션에 대해 충분히 활용되지 않은 경우 높은 전력 소비를 초래합니다. CXL 메모리 확장기 솔루션은 PCIe 버스에서 메모리 장치의 확장과 동적 할당을 허용하여 전통적인 메모리 채널 병목 현상의 제약을 우회하고 AI 시스템이 효과적으로 확장하여 현재와 미래의 복잡한 AI 애플리케이션의 증가하는 요구를 충족할 수 있게 합니다.
메모리 확장 기능 외에도 CXL은 메모리 풀링과 여러 기기 간 자원 공유를 촉진하여 AI 처리를 향상시킵니다. CXL을 사용하면 여러 프로세서, GPU, AI 가속기가 동일한 공유 메모리 풀에 접근할 수 있어 효율적인 자원 활용이 가능합니다. 그러면 AI 시스템은 워크로드가 증가함에 따라 메모리를 동적으로 할당할 수 있어 전통적인 고정 메모리 아키텍처의 제약을 제거합니다. 이러한 유연성은 GPT-4와 같은 대규모 AI 모델의 집약적인 메모리 요구를 허용합니다. 또한 CXL의 분리형 아키텍처는 자원 활용과 전체 시스템 효율성을 최적화하여 AI 워크로드에 완벽하게 적합합니다.
출처: CXL Consortium
CXL은 또한 CPU와 연결된 메모리 장치 간의 캐시 일관성을 보장하여 모든 장치에서 일관된 데이터를 유지합니다. 이는 중복 메모리 관리로 인한 지연을 피하면서 원활한 통합과 효율적인 데이터 공유를 가능하게 합니다. 캐시 일관성을 통해 한 장치에서 수행된 업데이트는 시스템 내 다른 장치에 즉시 표시됩니다. 이는 장치 간 데이터 전송 필요성을 줄이고 AI 훈련 또는 추론 작업 중 일관성을 보장하면서 시간과 전력을 절약합니다. 가장 중요한 것은 CXL 캐시 일관성이 AI 시스템 내 여러 장치에서 병렬 데이터 계산 중 잘못된 계산, 오래된 데이터 또는 경쟁 조건으로 이어질 수 있는 불일치를 제거한다는 것입니다.
CXL의 저지연 아키텍처는 CPU, GPU, 가속기 간의 통신을 크게 향상시켜 지연이 성능을 저하시킬 수 있는 자율주행차와 금융 거래와 같은 실시간 AI 애플리케이션에 중요합니다. 메모리 확장기, 메모리 풀링, 메모리 공유, 캐시 일관성과 같은 고급 기능을 통해 CXL 아키텍처는 AI/ML 작업의 성능을 최적화하며 벡터 데이터베이스와 대규모 언어 모델(LLM)과 같은 복잡한 AI 워크로드를 처리하는 데 특히 효과적입니다. 이러한 기능은 까다로운 워크로드가 최소 지연으로 효율적으로 작동하는 데 필요한 메모리 대역폭과 자원을 갖추도록 보장합니다.
Cadence CXL 컨트롤러는 고객의 성공을 보장하기 위해 고급 CXL 3.X 솔루션을 제공합니다. [CXL DevCon 2025](https://computeexpresslink.org/cxl-devcon-2025/)에서 저희 부스를 방문하시거나 더 자세한 정보를 위해 Cadence 영업팀에 문의하십시오.
브리프용 요약 초안
Cadence가 CXL.mem 기반 메모리 확장·풀링·공유와 CXL.cache 기반 캐시 일관성이 AI 워크로드의 메모리 병목을 완화한다고 소개했습니다. CXL 메모리 확장기는 외부 DDR 메모리 모듈을 로컬 RAM 확장 자원으로 사용한다고 설명하지만, 특정 고객 채택·납품·양산·주문량은 제시하지 않았습니다. CXL 3.X 컨트롤러 제공과 CXL DevCon 2025 참가 안내가 포함되어 있습니다.
원문 텍스트
원문 열기 ↗Written by: Vanessa Do, Senior Product Marketing Manager at Cadence Design Systems
As AI applications rapidly advance, AI models are being tasked with processing massive amounts of data containing billions – or even trillions – of parameters. Each large workload involves numerous iterations for data comparison, predictive calculations, and parameter results updating during training. Hence, there is a constant demand for flexible memory expansion and memory sharing among devices to meet the urgent need for rapid data access while maintaining coherency within the system.
Compute Express Link® (CXL®) was created to address these problems through CXL.mem, which offers memory expansion, memory sharing, and CXL.cache to ensure data coherency within the fabric; all while maintaining the basic PCIe structures for communication via CXL.io.
Source: CXL Consortium
Every AI parameter must be stored in memory during both training and inference. These iterative processes require substantial memory storage for both training and processing temporal data. Traditionally, when local RAM reaches capacity, data is stored in physical memory, such as an external SSD or host memory. This type of transfer typically experiences long latency due to the translation drag time between virtual and physical addresses as well as the longer access times associated with external flash memory or host memory compared to accessing local RAM and DDR memory.
Addressing the demand for memory expansion, the CXL memory expander allows devices to extend their local RAM memory to external DDR memory modules. This centralized resource is then treated as a shared pool managed by system software, such as hypervisors. By virtualizing them as a single, unified resource for applications, system software can dynamically allocate memory based on workload demand, improving performance, enhancing memory usage efficiency, and resolving the issue of underutilized memory assigned locally to individual devices.
CXL architecture allows memory to connect as a separate device on the PCIe bus, enabling the addition of a CXL memory expander that can provide extra memory capacity without being restricted by the CPU’s memory channels. In traditional architecture, the CPU’s capacity is limited by the number of memory channels, each of which contains several DIMM slots. As the demand for memory increases, adding new channels to CPUs becomes overly complex, costly, and results in high-power consumption, particularly if the channels were previously underutilized for low-performance applications. The CXL memory expander solution allows the expansion and dynamic allocation of memory devices on the PCIe bus, bypassing the restrictions of the traditional memory channel bottleneck and enabling AI systems to scale effectively, meeting the growing demands of current and future complex AI applications.
Beyond its memory expansion capability, CXL facilitates memory pooling and resource sharing across multiple devices to enhance AI processing. With CXL, multiple processors, GPUs, and AI accelerators can access the same shared memory pool, facilitating efficient resource utilization. AI systems are then able to dynamically allocate memory as workloads grow, eliminating the constraints of traditional, fixed-memory architecture. This flexibility allows for the intensive memory requirements of large AI models, such as GPT-4. In addition, CXL’s disaggregated architecture optimizes resource utilization and overall system efficiency, making it a perfect fit for AI workloads.
Source: CXL Consortium
CXL also ensures cache coherency between the CPU and attached memory devices, maintaining consistent data across all devices. This enables seamless integration and efficient data sharing while avoiding delays caused by redundant memory management. With cache coherency, updates made by one device are immediately visible to other devices within the system. This reduces the need to transfer data between devices and saving both time and power while ensuring consistency during AI training or inference tasks. Most importantly, CXL cache coherency eliminates inconsistencies that could lead to incorrect computations, stale data, or race conditions during parallel data computations across multiple devices within an AI system.
CXL’s low-latency architecture significantly enhances communication between CPUs, GPUs, and accelerators, making it crucial for real-time AI applications such as autonomous vehicles and financial trading where delays can undermine performance. With advanced features like memory expander, memory pooling, memory sharing, and cache coherency, CXL architecture optimizes the performance of AI/ML tasks and is particularly effective for handling complex AI workloads like vector databases and large language models (LLMs). These features ensure that demanding workloads have the necessary memory bandwidth and resources to operate efficiently with minimal latency.
The Cadence CXL controller offers advanced CXL 3.X solutions to ensure our customers’ success. Visit our booth at the [CXL DevCon 2025](https://computeexpresslink.org/cxl-devcon-2025/) or contact the Cadence Sale team for more information.
As AI applications rapidly advance, AI models are being tasked with processing massive amounts of data containing billions – or even trillions – of parameters. Each large workload involves numerous iterations for data comparison, predictive calculations, and parameter results updating during training. Hence, there is a constant demand for flexible memory expansion and memory sharing among devices to meet the urgent need for rapid data access while maintaining coherency within the system.
Compute Express Link® (CXL®) was created to address these problems through CXL.mem, which offers memory expansion, memory sharing, and CXL.cache to ensure data coherency within the fabric; all while maintaining the basic PCIe structures for communication via CXL.io.
Source: CXL Consortium
Every AI parameter must be stored in memory during both training and inference. These iterative processes require substantial memory storage for both training and processing temporal data. Traditionally, when local RAM reaches capacity, data is stored in physical memory, such as an external SSD or host memory. This type of transfer typically experiences long latency due to the translation drag time between virtual and physical addresses as well as the longer access times associated with external flash memory or host memory compared to accessing local RAM and DDR memory.
Addressing the demand for memory expansion, the CXL memory expander allows devices to extend their local RAM memory to external DDR memory modules. This centralized resource is then treated as a shared pool managed by system software, such as hypervisors. By virtualizing them as a single, unified resource for applications, system software can dynamically allocate memory based on workload demand, improving performance, enhancing memory usage efficiency, and resolving the issue of underutilized memory assigned locally to individual devices.
CXL architecture allows memory to connect as a separate device on the PCIe bus, enabling the addition of a CXL memory expander that can provide extra memory capacity without being restricted by the CPU’s memory channels. In traditional architecture, the CPU’s capacity is limited by the number of memory channels, each of which contains several DIMM slots. As the demand for memory increases, adding new channels to CPUs becomes overly complex, costly, and results in high-power consumption, particularly if the channels were previously underutilized for low-performance applications. The CXL memory expander solution allows the expansion and dynamic allocation of memory devices on the PCIe bus, bypassing the restrictions of the traditional memory channel bottleneck and enabling AI systems to scale effectively, meeting the growing demands of current and future complex AI applications.
Beyond its memory expansion capability, CXL facilitates memory pooling and resource sharing across multiple devices to enhance AI processing. With CXL, multiple processors, GPUs, and AI accelerators can access the same shared memory pool, facilitating efficient resource utilization. AI systems are then able to dynamically allocate memory as workloads grow, eliminating the constraints of traditional, fixed-memory architecture. This flexibility allows for the intensive memory requirements of large AI models, such as GPT-4. In addition, CXL’s disaggregated architecture optimizes resource utilization and overall system efficiency, making it a perfect fit for AI workloads.
Source: CXL Consortium
CXL also ensures cache coherency between the CPU and attached memory devices, maintaining consistent data across all devices. This enables seamless integration and efficient data sharing while avoiding delays caused by redundant memory management. With cache coherency, updates made by one device are immediately visible to other devices within the system. This reduces the need to transfer data between devices and saving both time and power while ensuring consistency during AI training or inference tasks. Most importantly, CXL cache coherency eliminates inconsistencies that could lead to incorrect computations, stale data, or race conditions during parallel data computations across multiple devices within an AI system.
CXL’s low-latency architecture significantly enhances communication between CPUs, GPUs, and accelerators, making it crucial for real-time AI applications such as autonomous vehicles and financial trading where delays can undermine performance. With advanced features like memory expander, memory pooling, memory sharing, and cache coherency, CXL architecture optimizes the performance of AI/ML tasks and is particularly effective for handling complex AI workloads like vector databases and large language models (LLMs). These features ensure that demanding workloads have the necessary memory bandwidth and resources to operate efficiently with minimal latency.
The Cadence CXL controller offers advanced CXL 3.X solutions to ensure our customers’ success. Visit our booth at the [CXL DevCon 2025](https://computeexpresslink.org/cxl-devcon-2025/) or contact the Cadence Sale team for more information.