MEMORY INDUSTRY INTELLIGENCE
AI 메모리 연구
기술을 사업의 언어로
AI는 메모리를 얼마나, 어디에 쓰게 될까요?
논문·공식 발표에서 달라지는 구조를 찾고, HBM·DRAM·NAND의 기회와 확인할 조건을 읽습니다. 어려운 수식보다 의사결정에 필요한 의미를 먼저 설명합니다.
읽는 순서쉬운 요약 → 메모리 영향 → 확인할 조건초록·공식 요약 기준 · 사업 영향은 조건부 해석
① 요청당 사용량같은 답을 만들 때 필요한 용량·데이터 이동
② 저장 위치와 역할HBM·DRAM·NAND 사이에 어떤 데이터가 이동하는지
③ 전체 사용량비용 절감 후 사용자·문맥 길이가 늘어나는지
용어가 낯설다면 · 1분 용어 설명
- KV Cache
- 답변 생성 중 이전 입력을 다시 계산하지 않도록 저장하는 중간 기록. 모델의 학습된 지식인 ‘가중치’와 다릅니다.
- HBM / Base 다이
- HBM은 연산 장치 가까이 있는 빠른 메모리. Base 다이는 적층 메모리 아래에서 연결·제어를 담당하는 칩입니다.
- Offloading / Data movement
- 연산·데이터 처리를 다른 장치에 맡기는 것 / 메모리와 장치 사이에서 데이터를 옮기는 것.
- Linear Attention / SSM
- 긴 입력을 처리할 때 계산·기록의 증가를 줄이는 모델 구조. Mamba는 SSM을 활용합니다. 압축 프로그램을 기존 모델에 붙이는 것과 적용 조건이 다릅니다.
- CXL
- 외부 메모리를 연결하고 여러 장치가 활용하도록 하는 연결 방식. 그 안에 들어가는 DRAM과 별도 물량으로 합산하지 않습니다.
- HBF
- NAND를 기반으로 대용량 데이터를 빠르게 전달하려는 메모리 계층. HBM과는 지연·쓰기 특성이 달라 용도별 검증이 필요합니다.
정기 수집 운영arXiv + Google Research·SK hynix·CXL 공식 피드 · 하루 신규 최대 12건다음 예약 10월 13일 06:15 KST · 수집 후 한국어 요약 순차 처리
최근 확인 10.12 06:18수집 완료수집 성공과 분석 완료, 실제 채택은 별개입니다.
연구와 사업 영향
요약 4건 · 분석 대기 0건
발표일이 최근인 순서입니다. 근거 수준은 확인한 자료 범위만 나타냅니다. 자동 요약은 검토 전 초안이며, 논문 실험을 상용 채택으로 표시하지 않습니다.
검증 수준 미확인자동 요약 초안2026.10.06
Lachesis: Lifetime-Aware KV Cache Placement for Agent Serving across HBM and High-Bandwidth Flash
AI 에이전트가 대화 맥락(KV 캐시)을 쌓으면서 메모리가 부족해지자, HBM과 HBF를 함께 쓰는 방법이 제안됐습니다. 마치 자주 쓰는 서류는 책상(HBM)에, 덜 쓰는 서류는 창고(HBF)에 두되, 창고에 쓰는 횟수를 줄여 수명을 늘리는 방식입니다.
메모리 사업 해석- HBM
- 단수명 KV 캐시 쓰기를 흡수하는 계층으로 쓰일 수 있으나, HBM 수요 감소는 원문에서 확인되지 않았습니다.
- DRAM
- HBM 외 DRAM 규격에 대한 직접 언급은 없어 미확인입니다.
- NAND
- HBF는 NAND 기반 계층으로, KV 캐시 저장 계층으로 추가 사용될 조건부 가능성이 있습니다.
검토 방향HBF를 HBM 대체가 아닌 보조 계층으로 검토하되, 내구성·인증·통합 비용을 확인한 뒤 투자 판단을 하십시오.
검증 수준 미확인자동 요약 초안2026.09.30
Characterizing High Bandwidth Flash for LLM Serving
LLM 서빙은 모델과 대화 기록을 담을 메모리가 부족해지는데, HBF라는 플래시 기반 메모리를 HBM 옆에 층층이 쌓는 방법이 연구됐다. 마치 좁은 책상(HBM) 옆에 큰 서랍(HBF)을 두고 자주 쓰는 것만 책상에 두는 방식이다.
메모리 사업 해석- HBM
- HBM은 여전히 빠른 계층으로 남지만, HBF가 추가되면 모든 데이터를 HBM에 두지 않아도 되어 HBM 용량 압력이 완화될 수 있다. 다만 HBM 수요 감소는 원문에서 확인되지 않는다.
- DRAM
- 서버 DDR 등 다른 DRAM의 역할 변화는 원문에서 직접 다루지 않아 미확인이다.
- NAND
- HBF는 NAND 기반이며, 쓰기 수명이 제약이다. 버퍼링된 캐시 인식 스케줄링으로 추정 쓰기 수명이 1.21년에서 14.82년으로 연장됐다.
검토 방향HBF를 HBM 대체로 단정하지 말고, 특정 LLM 서빙 워크로드에서 HBM 용량을 보완하는 조건부 계층으로 검토하라.
아키텍처·시뮬레이션 제안편집 요약2026.09.24
HBF-Sim: An Extensible HBF Simulator for Large-scale GPU Memory Systems
새 메모리가 빠르다고 해도 GPU의 작은 요청을 잘 처리해야 합니다. HBF-Sim은 GPU 요청부터 NAND 내부 처리까지 연결해 병목을 살펴보는 시뮬레이터 연구입니다.
메모리 사업 해석- HBM
- HBF와 HBM의 역할 분담을 평가하는 도구입니다. HBM을 같은 사양의 대용량 HBF로 교체할 수 있다는 의미는 아닙니다.
- DRAM
- DRAM 계층과의 실제 대체 범위는 초록에서 확인되지 않습니다.
- NAND
- 고대역폭 NAND 스택·컨트롤러 설계의 중요성이 커집니다. 단순 NAND 용량보다 요청을 묶는 방식과 병렬성이 성능을 좌우합니다.
검토 방향HBF의 명목 대역폭보다 실제 요청 패턴에서의 성능을 확인하세요.
표준·개발 발표편집 요약2026.08.03
Sandisk and SK hynix Advance Global Standardization of High Bandwidth Flash with Release of First OCP Technical Specification
AI가 쓰는 큰 데이터를 연산 장치 가까이 두기 위해 NAND 기반의 새 메모리 계층을 만들고 있습니다. Sandisk와 SK hynix의 발표는 그 연결·구현을 위한 첫 OCP 기술 규격이 나왔다는 내용입니다.
메모리 사업 해석- HBM
- 어떤 데이터를 HBF에 두느냐에 따라 HBM의 역할이 달라질 수 있습니다. 규격 공개만으로 HBM 주문 감소를 확정할 수 없습니다.
- DRAM
- DRAM과의 대체 범위·연결 조건은 이 발표 요약만으로 확인되지 않습니다.
- NAND
- NAND가 저장장치 외에 연산 가까운 고용량 계층으로 확장될 기회입니다. 패키징·컨트롤러·소프트웨어가 함께 필요합니다.
검토 방향새 NAND 시장의 조건을 추적하되 표준 참여와 고객 채택을 구분하세요.