발표일이 최근인 순서입니다. 근거 수준은 확인한 자료 범위만 나타냅니다. 자동 요약은 검토 전 초안이며, 논문 실험을 상용 채택으로 표시하지 않습니다.
검증 수준 미확인자동 요약 초안2026.10.08
Read What Matters: Query-Adaptive Quantization for KV Caches
AI가 대화할 때 쓰는 임시 메모리(KV 캐시)를 모든 질문에 똑같이 읽지 않고, 질문에 따라 중요한 부분만 골라 읽는 방법입니다. 마치 두꺼운 책을 통째로 읽지 않고 질문에 필요한 페이지의 핵심 문장만 찾아 읽는 것과 비슷합니다.
메모리 사업 해석- HBM
- 논문은 HBM을 직접 언급하지 않아 요청당 용량·대역폭·역할 변화는 미확인입니다.
- DRAM
- 논문은 서버 DDR 등 일반 DRAM을 직접 언급하지 않아 요청당 용량·대역폭·역할 변화는 미확인입니다.
- NAND
- 논문은 NAND를 다루지 않아 관련 변화는 미확인입니다.
검토 방향메모리 수요 감소를 단정하지 말고, 효율 개선이 동시 사용자·문맥 증가로 상쇄될 가능성을 함께 검토해야 합니다.
검증 수준 미확인자동 요약 초안2026.10.06
Lachesis: Lifetime-Aware KV Cache Placement for Agent Serving across HBM and High-Bandwidth Flash
AI 에이전트가 대화 맥락(KV 캐시)을 쌓으면서 메모리가 부족해지자, HBM과 HBF를 함께 쓰는 방법이 제안됐습니다. 마치 자주 쓰는 서류는 책상(HBM)에, 덜 쓰는 서류는 창고(HBF)에 두되, 창고에 쓰는 횟수를 줄여 수명을 늘리는 방식입니다.
메모리 사업 해석- HBM
- 단수명 KV 캐시 쓰기를 흡수하는 계층으로 쓰일 수 있으나, HBM 수요 감소는 원문에서 확인되지 않았습니다.
- DRAM
- HBM 외 DRAM 규격에 대한 직접 언급은 없어 미확인입니다.
- NAND
- HBF는 NAND 기반 계층으로, KV 캐시 저장 계층으로 추가 사용될 조건부 가능성이 있습니다.
검토 방향HBF를 HBM 대체가 아닌 보조 계층으로 검토하되, 내구성·인증·통합 비용을 확인한 뒤 투자 판단을 하십시오.
검증 수준 미확인자동 요약 초안2026.09.30
Characterizing High Bandwidth Flash for LLM Serving
LLM 서빙은 모델과 대화 기록을 담을 메모리가 부족해지는데, HBF라는 플래시 기반 메모리를 HBM 옆에 층층이 쌓는 방법이 연구됐다. 마치 좁은 책상(HBM) 옆에 큰 서랍(HBF)을 두고 자주 쓰는 것만 책상에 두는 방식이다.
메모리 사업 해석- HBM
- HBM은 여전히 빠른 계층으로 남지만, HBF가 추가되면 모든 데이터를 HBM에 두지 않아도 되어 HBM 용량 압력이 완화될 수 있다. 다만 HBM 수요 감소는 원문에서 확인되지 않는다.
- DRAM
- 서버 DDR 등 다른 DRAM의 역할 변화는 원문에서 직접 다루지 않아 미확인이다.
- NAND
- HBF는 NAND 기반이며, 쓰기 수명이 제약이다. 버퍼링된 캐시 인식 스케줄링으로 추정 쓰기 수명이 1.21년에서 14.82년으로 연장됐다.
검토 방향HBF를 HBM 대체로 단정하지 말고, 특정 LLM 서빙 워크로드에서 HBM 용량을 보완하는 조건부 계층으로 검토하라.
검증 수준 미확인자동 요약 초안2026.09.29
AVSG: Accelerated Vectorized Sparse Gather for Efficient KV Cache Offload in Sparse-Attention LLM Serving
LLM이 긴 문맥을 처리할 때 모든 과거 정보(KV 캐시)를 HBM에 두기 어려워 일부를 호스트 메모리로 옮긴다. AVSG는 자주 쓰는 정보를 HBM에 남겨두는 똑똑한 캐시 관리자처럼 동작해, 같은 HBM 용량으로 더 많은 요청을 처리할 수 있게 한다.
메모리 사업 해석- HBM
- 원문은 HBM 버퍼 재사용으로 8K 항목 기준 94.83% 적중률을 보고하지만, HBM 요청당 용량·대역폭 변화는 명시하지 않아 미확인이다.
- DRAM
- KV 캐시 오프로드 대상인 호스트 메모리는 서버 DDR과 연결될 수 있으나, 원문은 DDR 규격·용량·고객을 명시하지 않아 미확인이다.
- NAND
- 원문에 NAND·SSD 관련 내용이 없어 직접 연결 근거가 부족하다.
검토 방향HBM 수요 감소로 단정하지 말고, HBM 활용 효율 개선이 HBM 탑재량·서버 DDR 용량에 미치는 순효과를 실제 서빙 데이터로 확인해야 한다.
검증 수준 미확인자동 요약 초안2026.09.28
TempoKV: Timely Staging of LLM KV Caches for Memory-Semantic Flash
LLM이 대화 맥락을 기억하는 KV 캐시는 GPU 메모리를 넘어설 수 있어 SSD와 고속 메모리 사이에 두게 된다. TempoKV는 필요할 때만 고속 메모리에 올려 SSD 지연을 숨기고 고속 메모리 낭비를 줄이는 방법이다.
메모리 사업 해석- HBM
- 원문에서 HBM과의 직접 연결은 확인되지 않아 미확인이다.
- DRAM
- 고속 계층으로 추정되는 DRAM의 요청당 상주 시간이 줄고, 용량이 100→25GiB로 줄어도 성능이 유지되어 용량 수요를 낮출 수 있으나 구체적 규격은 미확인이다.
- NAND
- SSD 기반 CXL 메모리 장치가 사용되어 NAND 기반 저장장치의 지연·대역폭이 KV 스테이징에 중요해질 수 있으나, eSSD·NAND 물량 변화는 미확인이다.
검토 방향경영진은 CXL 메모리와 SSD 계층 조합이 LLM 서빙 메모리 구성에 미칠 영향을 검토하되, 원문은 특정 제품·공급사·양산 채택을 확인하지 않았음을 유의해야 한다.
검증 수준 미확인자동 요약 초안2026.09.27
When to Evict, Not What to Keep: Draft-Guided Eviction for Training-Free KV-Cache Compression
챗봇이 긴 대화를 기억할 때 쓰는 임시 메모(KV 캐시)를 언제 비우느냐를 바꾸는 연구입니다. 책상을 정리할 때 무엇을 버릴지 고민하는 대신, 답변을 조금 써본 뒤에 버리는 것과 비슷합니다. 품질은 좋아졌지만 실제 메모리 칩 수요에 어떤 영향인지는 이 논문만으로 알 수 없습니다.
메모리 사업 해석- HBM
- 원문은 HBM을 언급하지 않아 요청당 용량·대역폭·역할 변화는 미확인입니다.
- DRAM
- 원문은 DRAM을 언급하지 않아 요청당 용량·대역폭·역할 변화는 미확인입니다.
- NAND
- 원문은 NAND를 언급하지 않아 요청당 용량·대역폭·역할 변화는 미확인입니다.
검토 방향메모리 산업 영향은 원문에 직접 근거가 없으므로, 실제 추론 서버 메모리 사용량 실측 전에는 공급·투자 판단에 반영하지 않는 것이 적절합니다.
검증 수준 미확인자동 요약 초안2026.09.25
The KV Cache Is the New Memory Wall
긴 문맥 AI 추론은 책상(HBM)이 좁아서 생기는 병목에 가까워지고 있다. 모델 자체(가중치)보다 대화 기록(KV 캐시)이 더 많은 공간을 차지하기 시작하면서, 기록을 압축하거나 다른 서랍(호스트 메모리·스토리지)으로 옮기는 연구가 늘고 있다.
메모리 사업 해석- HBM
- 원문은 단일 가속기 HBM 80GB와 128k 토큰당 KV 캐시 42GB를 제시하며, 교차점까지는 HBM이 지배하고 그 너머에서는 KV 압축·계층화가 HBM 트래픽을 줄일 수 있다고 본다. 실제 제품별 영향은 미확인.
- DRAM
- 원문은 서버 DDR·PC DRAM·모바일 DRAM을 직접 다루지 않으며, 이종 계층화가 KV 상태를 호스트 메모리로 오프로드할 경우 서버 DDR 수요가 조건부로 늘 수 있다는 해석은 분석가 가설이다.
- NAND
- 원문은 NAND·eSSD를 직접 다루지 않으며, 계층화가 스토리지 계층까지 확장될 경우 eSSD 수요가 조건부로 늘 수 있다는 해석은 분석가 가설이다.
검토 방향경영진은 HBM 수요를 단순 증가로 단정하지 말고, 교차 길이와 품질 예산에 따라 HBM·호스트 DDR·PCIe/NVLink·eSSD 계층 간 트래픽 이동이 어떻게 달라지는지 검토해야 한다. 원문은 연구 초록이므로 양산·상용 채택·동료 심사는 확인되지 않았다.
검증 수준 미확인자동 요약 초안2026.09.22
Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
확산 LLM은 한 번에 여러 단어를 채워 넣는 방식이라 기존 언어 모델과 다릅니다. 이 논문은 그 과정에서 생기는 메모리 병목을 소프트웨어로 줄이는 방법을 제안했지만, 특정 메모리 제품 수요에 대한 내용은 없습니다.
메모리 사업 해석- HBM
- 미확인. 원문은 HBM을 언급하지 않으며, GPU 메모리 I/O 최적화가 HBM 수요에 미치는 영향은 확인되지 않음.
- DRAM
- 미확인. 원문은 DDR·LPDDR 등 특정 DRAM 제품을 언급하지 않음.
- NAND
- 미확인. 원문은 NAND를 언급하지 않음.
검토 방향메모리 산업 관점에서는 직접적 전략 변경 근거가 없으므로, dLLM 생태계 성숙과 실제 하드웨어 구성을 추가로 관찰한 뒤 판단해야 합니다.
검증 수준 미확인자동 요약 초안2026.09.20
Bridging LLM Serving and CXL-SSDs with Chunk-Aware KV Cache Management
LLM 서빙에서 대화 기록(KV 캐시)을 NAND 저장장치에 두면 용량은 늘지만, 데이터를 꺼내는 과정에서 CPU와 호스트 DRAM을 거치며 병목이 생깁니다. 이 연구는 CXL-SSD에 KV 청크를 직접 인식시키고 장치 DRAM을 GPU 버퍼로 쓰는 LM-CXD를 제안해 대기 시간을 줄였다고 주장합니다. 다만 기성 CXL-SSD는 아직 로컬 DRAM보다 약 3배 느리고 NVMe SSD보다 빠르지 않아, 실제 사업화까지는 시간이 걸릴 수 있습니다.
메모리 사업 해석- HBM
- 미확인
- DRAM
- 장치 DRAM을 GPU 접근 가능 버퍼로 사용하는 방안이 제시되었으나, 구체적 DRAM 규격·용량·사용처는 확인되지 않았다.
- NAND
- NAND 기반 저장장치가 LLM 프리픽스 캐싱 용량을 제공하지만, 블록 I/O 경로의 CPU 캐시 경합과 호스트 DRAM 스테이징 비용이 지적되었다. CXL-SSD는 NAND 용량에 바이트 주소 지정 접근을 제공하려는 시도이다.
검토 방향경영진은 CXL-SSD와 KV 캐시 관리 기술을 단기 매출 기회로 보기보다 장기 메모리 계층 변화 가능성으로 검토하고, 실제 채택·성능·비용 지표를 확인한 뒤 투자 판단을 내려야 한다.