발표일이 최근인 순서입니다. 근거 수준은 확인한 자료 범위만 나타냅니다. 자동 요약은 검토 전 초안이며, 논문 실험을 상용 채택으로 표시하지 않습니다.
아키텍처·시뮬레이션 제안편집 요약2026.09.24
HBF-Sim: An Extensible HBF Simulator for Large-scale GPU Memory Systems
새 메모리가 빠르다고 해도 GPU의 작은 요청을 잘 처리해야 합니다. HBF-Sim은 GPU 요청부터 NAND 내부 처리까지 연결해 병목을 살펴보는 시뮬레이터 연구입니다.
메모리 사업 해석- HBM
- HBF와 HBM의 역할 분담을 평가하는 도구입니다. HBM을 같은 사양의 대용량 HBF로 교체할 수 있다는 의미는 아닙니다.
- DRAM
- DRAM 계층과의 실제 대체 범위는 초록에서 확인되지 않습니다.
- NAND
- 고대역폭 NAND 스택·컨트롤러 설계의 중요성이 커집니다. 단순 NAND 용량보다 요청을 묶는 방식과 병렬성이 성능을 좌우합니다.
검토 방향HBF의 명목 대역폭보다 실제 요청 패턴에서의 성능을 확인하세요.
아키텍처·시뮬레이션 제안편집 요약2026.08.10
Memory Fabric: HBM Die-to-Die Interconnect for GPU Bandwidth Expansion
HBM 사이의 데이터를 옮길 때 매번 GPU를 거치면 연결이 병목이 됩니다. 이 연구는 HBM 아래 제어 칩끼리 연결하고, 데이터 이동 작업을 그곳에 맡기는 방식을 제안합니다.
메모리 사업 해석- HBM
- 용량 절감보다 HBM 사이의 연결·유효 대역폭을 개선하는 방향입니다. 맞춤형 Base 다이의 기능이 늘어날 수 있습니다.
- DRAM
- 서버 DRAM으로 데이터를 옮기는 효과는 직접 확인되지 않습니다.
- NAND
- NAND 활용 변화의 직접 근거는 없습니다.
검토 방향HBM의 저장 용량뿐 아니라 데이터 이동을 처리하는 설계 가치도 보세요.
자세히 읽기 ↗논문 초록 · IEEE Computer Architecture Letters 표준·개발 발표편집 요약2026.08.03
Sandisk and SK hynix Advance Global Standardization of High Bandwidth Flash with Release of First OCP Technical Specification
AI가 쓰는 큰 데이터를 연산 장치 가까이 두기 위해 NAND 기반의 새 메모리 계층을 만들고 있습니다. Sandisk와 SK hynix의 발표는 그 연결·구현을 위한 첫 OCP 기술 규격이 나왔다는 내용입니다.
메모리 사업 해석- HBM
- 어떤 데이터를 HBF에 두느냐에 따라 HBM의 역할이 달라질 수 있습니다. 규격 공개만으로 HBM 주문 감소를 확정할 수 없습니다.
- DRAM
- DRAM과의 대체 범위·연결 조건은 이 발표 요약만으로 확인되지 않습니다.
- NAND
- NAND가 저장장치 외에 연산 가까운 고용량 계층으로 확장될 기회입니다. 패키징·컨트롤러·소프트웨어가 함께 필요합니다.
검토 방향새 NAND 시장의 조건을 추적하되 표준 참여와 고객 채택을 구분하세요.
아키텍처·시뮬레이션 제안편집 요약2026.04.28
AMMA: A Multi-Chiplet Memory-Centric Architecture for Low-Latency 1M Context Attention Serving
데이터를 계속 GPU까지 옮기기보다 HBM 가까이에서 일부 Attention을 처리하자는 제안입니다. 긴 문맥에서 데이터를 읽는 시간이 큰 상황을 겨냥합니다.
메모리 사업 해석- HBM
- HBM의 역할이 저장에서 가까운 연산까지 확장될 수 있습니다. HBM이 사라지는 설계로 해석하면 안 됩니다.
- DRAM
- 서버 DRAM 대체나 이동량은 이 초록만으로 확인되지 않습니다.
- NAND
- NAND 역할 변화의 직접 근거는 없습니다.
검토 방향메모리 업체의 설계 가치가 커지는 조건과 실물 검증 일정을 추적하세요.
논문 내 실험편집 요약2026.03.24
TurboQuant: Redefining AI efficiency with extreme compression
AI의 대화 기록을 더 적은 비트로 저장해 메모리 부담을 줄이는 연구입니다. Google의 공식 요약은 일부 장문 시험에서 기록을 크게 줄이면서 품질을 유지한 결과를 소개합니다.
메모리 사업 해석- HBM
- 요청당 KV 공간을 줄이면 동시 사용자·문맥 길이를 늘릴 여지가 있습니다. 전체 HBM 탑재량이 같은 비율로 줄어드는 것은 아닙니다.
- DRAM
- 압축된 KV를 CPU에 보관할 때의 이득과 복원 비용은 별도 검증해야 합니다.
- NAND
- KV 압축만으로 NAND로 데이터를 이동하거나 NAND 수요가 늘어나는 것은 아닙니다.
검토 방향요청당 절감과 전체 서비스 사용량 증가를 함께 보며 HBM 전망을 점검하세요.
자세히 읽기 ↗공식 발표 요약 · Google Research · 공식 연구 요약 논문 내 실험편집 요약2025.11.25
Beluga: A CXL-Based Memory Architecture for Scalable and Efficient LLM KVCache Management
GPU 가까운 메모리가 부족하면 더 큰 외부 메모리가 필요합니다. Beluga는 CXL 스위치로 연결한 메모리 풀을 GPU와 CPU가 활용해 대화 기록을 관리하는 연구입니다.
메모리 사업 해석- HBM
- 큰 KV의 일부를 외부 풀에서 관리하면 HBM의 용량 부담을 완화할 수 있습니다. 빠른 작업 데이터까지 모두 옮길 수 있는지는 별도 문제입니다.
- DRAM
- 외부 DRAM 풀과 연결·공유 시스템의 기회입니다. 풀링은 유휴 용량을 줄일 수도 있어 탑재량 증가만으로 단정하지 않습니다.
- NAND
- 이 초록은 CXL 메모리 풀을 다루며 NAND 수요 증가를 직접 입증하지 않습니다.
검토 방향CXL은 연결 방식입니다. 성능과 풀 활용률을 보고 DRAM 물량을 판단하세요.
논문 내 실험편집 요약2025.04.28
TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate
대화 기록의 숫자를 짧게 적으면서도 중요한 관계를 유지하려는 연구입니다. 숫자를 먼저 회전해 압축하기 좋은 형태로 바꾸고, 남은 오차를 별도로 보정합니다.
메모리 사업 해석- HBM
- KV 저장량과 이를 읽는 부담을 줄일 가능성이 있습니다. 모델 가중치나 전체 GPU 메모리의 절감률과는 다릅니다.
- DRAM
- KV를 다른 계층에 저장하는 경우의 전송·복원 효과는 별도 확인이 필요합니다.
- NAND
- NAND 수요 변화의 직접 근거는 없습니다.
검토 방향같은 품질의 요청당 비용과 동시 처리 용량을 함께 비교하세요.
논문 내 실험편집 요약2024.05.31
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
작은 상태로 긴 입력을 처리하는 방식도 실제 GPU에서 효율적으로 돌아가야 유용합니다. Mamba-2는 SSM과 Attention의 수학적 연결을 이용해 실행하기 좋은 구조를 설계합니다.
메모리 사업 해석- HBM
- 일부 장문 추론 상태의 저장 방식을 바꿀 수 있습니다. 가중치와 하이브리드 Attention의 KV까지 자동으로 줄지는 않습니다.
- DRAM
- CPU DRAM으로 옮기는 직접 효과는 초록에서 확인되지 않습니다.
- NAND
- NAND 대체·증가의 직접 근거는 없습니다.
검토 방향구조의 이론적 장점과 실제 서비스에서의 비용 개선을 따로 확인하세요.
논문 내 실험편집 요약2024.02.05
KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache
대화 기록의 숫자를 더 짧은 표기법으로 저장하는 연구입니다. 기록의 종류에 맞춰 압축하는 방식을 달리해, 정확도 저하를 줄이면서 메모리 사용을 낮추려 합니다.
메모리 사업 해석- HBM
- KV 기록에 쓰는 바이트가 줄어 동시 요청 수를 늘릴 여지가 있습니다. 가중치와 다른 저장 공간까지 같은 비율로 줄지는 않습니다.
- DRAM
- KV를 CPU에 저장하는 구성에서도 적용 가능성은 있지만 이 초록만으로 효과를 확정할 수 없습니다.
- NAND
- NAND 역할 변화의 직접 근거는 없습니다.
검토 방향압축률보다 고객의 실제 품질·지연 조건에서 확보한 메모리 여유를 보세요.