MEMORY INDUSTRY INTELLIGENCE

AI 메모리 연구

기술을 사업의 언어로

AI는 메모리를 얼마나, 어디에 쓰게 될까요?

논문·공식 발표에서 달라지는 구조를 찾고, HBM·DRAM·NAND의 기회와 확인할 조건을 읽습니다. 어려운 수식보다 의사결정에 필요한 의미를 먼저 설명합니다.

읽는 순서쉬운 요약 → 메모리 영향 → 확인할 조건초록·공식 요약 기준 · 사업 영향은 조건부 해석
① 요청당 사용량같은 답을 만들 때 필요한 용량·데이터 이동
② 저장 위치와 역할HBM·DRAM·NAND 사이에 어떤 데이터가 이동하는지
③ 전체 사용량비용 절감 후 사용자·문맥 길이가 늘어나는지
용어가 낯설다면 · 1분 용어 설명
KV Cache
답변 생성 중 이전 입력을 다시 계산하지 않도록 저장하는 중간 기록. 모델의 학습된 지식인 ‘가중치’와 다릅니다.
HBM / Base 다이
HBM은 연산 장치 가까이 있는 빠른 메모리. Base 다이는 적층 메모리 아래에서 연결·제어를 담당하는 칩입니다.
Offloading / Data movement
연산·데이터 처리를 다른 장치에 맡기는 것 / 메모리와 장치 사이에서 데이터를 옮기는 것.
Linear Attention / SSM
긴 입력을 처리할 때 계산·기록의 증가를 줄이는 모델 구조. Mamba는 SSM을 활용합니다. 압축 프로그램을 기존 모델에 붙이는 것과 적용 조건이 다릅니다.
CXL
외부 메모리를 연결하고 여러 장치가 활용하도록 하는 연결 방식. 그 안에 들어가는 DRAM과 별도 물량으로 합산하지 않습니다.
HBF
NAND를 기반으로 대용량 데이터를 빠르게 전달하려는 메모리 계층. HBM과는 지연·쓰기 특성이 달라 용도별 검증이 필요합니다.
정기 수집 운영arXiv + Google Research·SK hynix·CXL 공식 피드 · 하루 신규 최대 12건다음 예약 10월 13일 06:15 KST · 수집 후 한국어 요약 순차 처리
최근 확인 10.12 06:18수집 완료수집 성공과 분석 완료, 실제 채택은 별개입니다.

연구와 사업 영향

요약 25건 · 분석 대기 0건

발표일이 최근인 순서입니다. 근거 수준은 확인한 자료 범위만 나타냅니다. 자동 요약은 검토 전 초안이며, 논문 실험을 상용 채택으로 표시하지 않습니다.

검증 수준 미확인자동 요약 초안2026.10.08

비전 토큰 압축 연구, 메모리 수요 직접 연결은 미확인

V-CoLA: Vision Token Compression with Linear Attention

AI가 이미지를 이해할 때 쓰는 많은 '비전 토큰'을 줄여 계산을 빠르게 하는 연구입니다. 마치 긴 회의록에서 핵심 문장만 남기는 것과 비슷하지만, 이것이 메모리 반도체 수요를 늘릴지 줄일지는 이 글만으로 알 수 없습니다.

메모리 사업 해석
HBM
원문에 HBM 언급이 없어 미확인입니다. 프리필 속도 향상이 가속기 메모리 대역폭 요구를 바꿀 수 있다는 것은 가설입니다.
DRAM
원문에 DRAM 언급이 없어 미확인입니다. 서버·PC·모바일 등 사용처별 영향은 확인되지 않습니다.
NAND
원문에 NAND 언급이 없어 미확인입니다. 모델 가중치·캐시 저장 수요와의 연결은 확인되지 않습니다.

검토 방향메모리 산업 영향은 간접적·조건부이므로, 실제 배포 지표가 나오기 전까지 HBM·DDR·NAND 수요 방향을 단정하지 않는 것이 좋습니다.

자세히 읽기 ↗논문 초록 · arXiv · 저자 초록
검증 수준 미확인자동 요약 초안2026.10.08

KV 캐시를 쿼리별로 골라 읽는 기술

Read What Matters: Query-Adaptive Quantization for KV Caches

AI가 대화할 때 쓰는 임시 메모리(KV 캐시)를 모든 질문에 똑같이 읽지 않고, 질문에 따라 중요한 부분만 골라 읽는 방법입니다. 마치 두꺼운 책을 통째로 읽지 않고 질문에 필요한 페이지의 핵심 문장만 찾아 읽는 것과 비슷합니다.

메모리 사업 해석
HBM
논문은 HBM을 직접 언급하지 않아 요청당 용량·대역폭·역할 변화는 미확인입니다.
DRAM
논문은 서버 DDR 등 일반 DRAM을 직접 언급하지 않아 요청당 용량·대역폭·역할 변화는 미확인입니다.
NAND
논문은 NAND를 다루지 않아 관련 변화는 미확인입니다.

검토 방향메모리 수요 감소를 단정하지 말고, 효율 개선이 동시 사용자·문맥 증가로 상쇄될 가능성을 함께 검토해야 합니다.

자세히 읽기 ↗논문 초록 · arXiv · 저자 초록
검증 수준 미확인자동 요약 초안2026.10.06

HBF를 HBM 옆에 두는 수명 인식 KV 캐시 배치

Lachesis: Lifetime-Aware KV Cache Placement for Agent Serving across HBM and High-Bandwidth Flash

AI 에이전트가 대화 맥락(KV 캐시)을 쌓으면서 메모리가 부족해지자, HBM과 HBF를 함께 쓰는 방법이 제안됐습니다. 마치 자주 쓰는 서류는 책상(HBM)에, 덜 쓰는 서류는 창고(HBF)에 두되, 창고에 쓰는 횟수를 줄여 수명을 늘리는 방식입니다.

메모리 사업 해석
HBM
단수명 KV 캐시 쓰기를 흡수하는 계층으로 쓰일 수 있으나, HBM 수요 감소는 원문에서 확인되지 않았습니다.
DRAM
HBM 외 DRAM 규격에 대한 직접 언급은 없어 미확인입니다.
NAND
HBF는 NAND 기반 계층으로, KV 캐시 저장 계층으로 추가 사용될 조건부 가능성이 있습니다.

검토 방향HBF를 HBM 대체가 아닌 보조 계층으로 검토하되, 내구성·인증·통합 비용을 확인한 뒤 투자 판단을 하십시오.

자세히 읽기 ↗논문 초록 · arXiv · 저자 초록
검증 수준 미확인자동 요약 초안2026.10.06

SSM 순환 연산자 동적 변조 연구, 메모리 산업 직접 연결 미확인

MaRK: Markov-adapted Recurrent Kernels for Dynamic Operator Conditioning in State Space Models

AI 모델의 계산 방식을 바꾸는 알고리즘 연구가 나왔지만, 이것이 메모리 수요를 늘릴지 줄일지는 아직 알 수 없습니다. 마치 자동차 엔진 설계를 바꾼 논문이 나왔지만, 그것이 휘발유 수요에 어떤 영향을 줄지는 실제 자동차가 팔려야 알 수 있는 것과 같습니다.

메모리 사업 해석
HBM
미확인
DRAM
미확인
NAND
미확인

검토 방향현재로선 메모리 산업 전략에 직접 반영할 근거가 부족하므로, SSM 기반 추론의 상용 채택과 메모리 요구 변화를 관찰하는 것이 적절함

자세히 읽기 ↗논문 초록 · arXiv · 저자 초록
검증 수준 미확인자동 요약 초안2026.10.03

비전 AI 학습 메모리 병목을 푸는 FLASHSWIN

FLASHSWIN: Unlocking Large Windows and Dense Tokens in Swin Vision Transformers with Memory Efficient Attention

고해상도 이미지를 잘 보려면 AI가 한 번에 많은 조각을 봐야 하는데, 기존 방식은 조각이 늘수록 메모리가 폭발해 작은 창만 썼습니다. FLASHSWIN은 계산 방식을 바꿔 큰 창을 써도 메모리가 거의 늘지 않게 했습니다. 마치 좁은 창으로 방을 훑던 로봇이 넓은 창으로 한 번에 보되, 창문 청소 비용은 그대로인 셈입니다.

메모리 사업 해석
HBM
원문에서 HBM 언급이 없어 미확인입니다.
DRAM
원문에서 DRAM 언급이 없어 미확인입니다.
NAND
원문에서 NAND 언급이 없어 미확인입니다.

검토 방향메모리 산업 영향은 원문만으로 판단할 수 없으므로, 실제 채택과 학습 인프라 지표를 확인한 뒤 공급 배분·투자 일정을 검토해야 합니다.

자세히 읽기 ↗논문 초록 · arXiv · 저자 초록
검증 수준 미확인자동 요약 초안2026.09.30

HBF로 LLM 서빙 메모리 병목 완화 가능성

Characterizing High Bandwidth Flash for LLM Serving

LLM 서빙은 모델과 대화 기록을 담을 메모리가 부족해지는데, HBF라는 플래시 기반 메모리를 HBM 옆에 층층이 쌓는 방법이 연구됐다. 마치 좁은 책상(HBM) 옆에 큰 서랍(HBF)을 두고 자주 쓰는 것만 책상에 두는 방식이다.

메모리 사업 해석
HBM
HBM은 여전히 빠른 계층으로 남지만, HBF가 추가되면 모든 데이터를 HBM에 두지 않아도 되어 HBM 용량 압력이 완화될 수 있다. 다만 HBM 수요 감소는 원문에서 확인되지 않는다.
DRAM
서버 DDR 등 다른 DRAM의 역할 변화는 원문에서 직접 다루지 않아 미확인이다.
NAND
HBF는 NAND 기반이며, 쓰기 수명이 제약이다. 버퍼링된 캐시 인식 스케줄링으로 추정 쓰기 수명이 1.21년에서 14.82년으로 연장됐다.

검토 방향HBF를 HBM 대체로 단정하지 말고, 특정 LLM 서빙 워크로드에서 HBM 용량을 보완하는 조건부 계층으로 검토하라.

자세히 읽기 ↗논문 초록 · arXiv · 저자 초록
검증 수준 미확인자동 요약 초안2026.09.29

KV 캐시 오프로드 최적화, HBM 수요보다 활용 효율에 영향

AVSG: Accelerated Vectorized Sparse Gather for Efficient KV Cache Offload in Sparse-Attention LLM Serving

LLM이 긴 문맥을 처리할 때 모든 과거 정보(KV 캐시)를 HBM에 두기 어려워 일부를 호스트 메모리로 옮긴다. AVSG는 자주 쓰는 정보를 HBM에 남겨두는 똑똑한 캐시 관리자처럼 동작해, 같은 HBM 용량으로 더 많은 요청을 처리할 수 있게 한다.

메모리 사업 해석
HBM
원문은 HBM 버퍼 재사용으로 8K 항목 기준 94.83% 적중률을 보고하지만, HBM 요청당 용량·대역폭 변화는 명시하지 않아 미확인이다.
DRAM
KV 캐시 오프로드 대상인 호스트 메모리는 서버 DDR과 연결될 수 있으나, 원문은 DDR 규격·용량·고객을 명시하지 않아 미확인이다.
NAND
원문에 NAND·SSD 관련 내용이 없어 직접 연결 근거가 부족하다.

검토 방향HBM 수요 감소로 단정하지 말고, HBM 활용 효율 개선이 HBM 탑재량·서버 DDR 용량에 미치는 순효과를 실제 서빙 데이터로 확인해야 한다.

자세히 읽기 ↗논문 초록 · arXiv · 저자 초록
검증 수준 미확인자동 요약 초안2026.09.28

LLM KV 캐시, SSD와 고속 계층 사이 타이밍 최적화

TempoKV: Timely Staging of LLM KV Caches for Memory-Semantic Flash

LLM이 대화 맥락을 기억하는 KV 캐시는 GPU 메모리를 넘어설 수 있어 SSD와 고속 메모리 사이에 두게 된다. TempoKV는 필요할 때만 고속 메모리에 올려 SSD 지연을 숨기고 고속 메모리 낭비를 줄이는 방법이다.

메모리 사업 해석
HBM
원문에서 HBM과의 직접 연결은 확인되지 않아 미확인이다.
DRAM
고속 계층으로 추정되는 DRAM의 요청당 상주 시간이 줄고, 용량이 100→25GiB로 줄어도 성능이 유지되어 용량 수요를 낮출 수 있으나 구체적 규격은 미확인이다.
NAND
SSD 기반 CXL 메모리 장치가 사용되어 NAND 기반 저장장치의 지연·대역폭이 KV 스테이징에 중요해질 수 있으나, eSSD·NAND 물량 변화는 미확인이다.

검토 방향경영진은 CXL 메모리와 SSD 계층 조합이 LLM 서빙 메모리 구성에 미칠 영향을 검토하되, 원문은 특정 제품·공급사·양산 채택을 확인하지 않았음을 유의해야 한다.

자세히 읽기 ↗논문 초록 · arXiv · 저자 초록
검증 수준 미확인자동 요약 초안2026.09.27

KV 캐시 제거 시점을 늦추는 추론 기법, 메모리 영향은 미확인

When to Evict, Not What to Keep: Draft-Guided Eviction for Training-Free KV-Cache Compression

챗봇이 긴 대화를 기억할 때 쓰는 임시 메모(KV 캐시)를 언제 비우느냐를 바꾸는 연구입니다. 책상을 정리할 때 무엇을 버릴지 고민하는 대신, 답변을 조금 써본 뒤에 버리는 것과 비슷합니다. 품질은 좋아졌지만 실제 메모리 칩 수요에 어떤 영향인지는 이 논문만으로 알 수 없습니다.

메모리 사업 해석
HBM
원문은 HBM을 언급하지 않아 요청당 용량·대역폭·역할 변화는 미확인입니다.
DRAM
원문은 DRAM을 언급하지 않아 요청당 용량·대역폭·역할 변화는 미확인입니다.
NAND
원문은 NAND를 언급하지 않아 요청당 용량·대역폭·역할 변화는 미확인입니다.

검토 방향메모리 산업 영향은 원문에 직접 근거가 없으므로, 실제 추론 서버 메모리 사용량 실측 전에는 공급·투자 판단에 반영하지 않는 것이 적절합니다.

자세히 읽기 ↗논문 초록 · arXiv · 저자 초록