MEMORY INDUSTRY INTELLIGENCE
AI 메모리 연구
기술을 사업의 언어로
AI는 메모리를 얼마나, 어디에 쓰게 될까요?
논문·공식 발표에서 달라지는 구조를 찾고, HBM·DRAM·NAND의 기회와 확인할 조건을 읽습니다. 어려운 수식보다 의사결정에 필요한 의미를 먼저 설명합니다.
읽는 순서쉬운 요약 → 메모리 영향 → 확인할 조건초록·공식 요약 기준 · 사업 영향은 조건부 해석
① 요청당 사용량같은 답을 만들 때 필요한 용량·데이터 이동
② 저장 위치와 역할HBM·DRAM·NAND 사이에 어떤 데이터가 이동하는지
③ 전체 사용량비용 절감 후 사용자·문맥 길이가 늘어나는지
용어가 낯설다면 · 1분 용어 설명
- KV Cache
- 답변 생성 중 이전 입력을 다시 계산하지 않도록 저장하는 중간 기록. 모델의 학습된 지식인 ‘가중치’와 다릅니다.
- HBM / Base 다이
- HBM은 연산 장치 가까이 있는 빠른 메모리. Base 다이는 적층 메모리 아래에서 연결·제어를 담당하는 칩입니다.
- Offloading / Data movement
- 연산·데이터 처리를 다른 장치에 맡기는 것 / 메모리와 장치 사이에서 데이터를 옮기는 것.
- Linear Attention / SSM
- 긴 입력을 처리할 때 계산·기록의 증가를 줄이는 모델 구조. Mamba는 SSM을 활용합니다. 압축 프로그램을 기존 모델에 붙이는 것과 적용 조건이 다릅니다.
- CXL
- 외부 메모리를 연결하고 여러 장치가 활용하도록 하는 연결 방식. 그 안에 들어가는 DRAM과 별도 물량으로 합산하지 않습니다.
- HBF
- NAND를 기반으로 대용량 데이터를 빠르게 전달하려는 메모리 계층. HBM과는 지연·쓰기 특성이 달라 용도별 검증이 필요합니다.
정기 수집 운영arXiv + Google Research·SK hynix·CXL 공식 피드 · 하루 신규 최대 12건다음 예약 10월 13일 06:15 KST · 수집 후 한국어 요약 순차 처리
최근 확인 10.12 06:18수집 완료수집 성공과 분석 완료, 실제 채택은 별개입니다.
연구와 사업 영향
요약 3건 · 분석 대기 0건
발표일이 최근인 순서입니다. 근거 수준은 확인한 자료 범위만 나타냅니다. 자동 요약은 검토 전 초안이며, 논문 실험을 상용 채택으로 표시하지 않습니다.
검증 수준 미확인자동 요약 초안2026.09.28
TempoKV: Timely Staging of LLM KV Caches for Memory-Semantic Flash
LLM이 대화 맥락을 기억하는 KV 캐시는 GPU 메모리를 넘어설 수 있어 SSD와 고속 메모리 사이에 두게 된다. TempoKV는 필요할 때만 고속 메모리에 올려 SSD 지연을 숨기고 고속 메모리 낭비를 줄이는 방법이다.
메모리 사업 해석- HBM
- 원문에서 HBM과의 직접 연결은 확인되지 않아 미확인이다.
- DRAM
- 고속 계층으로 추정되는 DRAM의 요청당 상주 시간이 줄고, 용량이 100→25GiB로 줄어도 성능이 유지되어 용량 수요를 낮출 수 있으나 구체적 규격은 미확인이다.
- NAND
- SSD 기반 CXL 메모리 장치가 사용되어 NAND 기반 저장장치의 지연·대역폭이 KV 스테이징에 중요해질 수 있으나, eSSD·NAND 물량 변화는 미확인이다.
검토 방향경영진은 CXL 메모리와 SSD 계층 조합이 LLM 서빙 메모리 구성에 미칠 영향을 검토하되, 원문은 특정 제품·공급사·양산 채택을 확인하지 않았음을 유의해야 한다.
검증 수준 미확인자동 요약 초안2026.09.20
Bridging LLM Serving and CXL-SSDs with Chunk-Aware KV Cache Management
LLM 서빙에서 대화 기록(KV 캐시)을 NAND 저장장치에 두면 용량은 늘지만, 데이터를 꺼내는 과정에서 CPU와 호스트 DRAM을 거치며 병목이 생깁니다. 이 연구는 CXL-SSD에 KV 청크를 직접 인식시키고 장치 DRAM을 GPU 버퍼로 쓰는 LM-CXD를 제안해 대기 시간을 줄였다고 주장합니다. 다만 기성 CXL-SSD는 아직 로컬 DRAM보다 약 3배 느리고 NVMe SSD보다 빠르지 않아, 실제 사업화까지는 시간이 걸릴 수 있습니다.
메모리 사업 해석- HBM
- 미확인
- DRAM
- 장치 DRAM을 GPU 접근 가능 버퍼로 사용하는 방안이 제시되었으나, 구체적 DRAM 규격·용량·사용처는 확인되지 않았다.
- NAND
- NAND 기반 저장장치가 LLM 프리픽스 캐싱 용량을 제공하지만, 블록 I/O 경로의 CPU 캐시 경합과 호스트 DRAM 스테이징 비용이 지적되었다. CXL-SSD는 NAND 용량에 바이트 주소 지정 접근을 제공하려는 시도이다.
검토 방향경영진은 CXL-SSD와 KV 캐시 관리 기술을 단기 매출 기회로 보기보다 장기 메모리 계층 변화 가능성으로 검토하고, 실제 채택·성능·비용 지표를 확인한 뒤 투자 판단을 내려야 한다.
논문 내 실험편집 요약2025.11.25
Beluga: A CXL-Based Memory Architecture for Scalable and Efficient LLM KVCache Management
GPU 가까운 메모리가 부족하면 더 큰 외부 메모리가 필요합니다. Beluga는 CXL 스위치로 연결한 메모리 풀을 GPU와 CPU가 활용해 대화 기록을 관리하는 연구입니다.
메모리 사업 해석- HBM
- 큰 KV의 일부를 외부 풀에서 관리하면 HBM의 용량 부담을 완화할 수 있습니다. 빠른 작업 데이터까지 모두 옮길 수 있는지는 별도 문제입니다.
- DRAM
- 외부 DRAM 풀과 연결·공유 시스템의 기회입니다. 풀링은 유휴 용량을 줄일 수도 있어 탑재량 증가만으로 단정하지 않습니다.
- NAND
- 이 초록은 CXL 메모리 풀을 다루며 NAND 수요 증가를 직접 입증하지 않습니다.
검토 방향CXL은 연결 방식입니다. 성능과 풀 활용률을 보고 DRAM 물량을 판단하세요.