MEMORY INDUSTRY INTELLIGENCE
AI 메모리 연구
기술을 사업의 언어로
AI는 메모리를 얼마나, 어디에 쓰게 될까요?
논문·공식 발표에서 달라지는 구조를 찾고, HBM·DRAM·NAND의 기회와 확인할 조건을 읽습니다. 어려운 수식보다 의사결정에 필요한 의미를 먼저 설명합니다.
읽는 순서쉬운 요약 → 메모리 영향 → 확인할 조건초록·공식 요약 기준 · 사업 영향은 조건부 해석
① 요청당 사용량같은 답을 만들 때 필요한 용량·데이터 이동
② 저장 위치와 역할HBM·DRAM·NAND 사이에 어떤 데이터가 이동하는지
③ 전체 사용량비용 절감 후 사용자·문맥 길이가 늘어나는지
용어가 낯설다면 · 1분 용어 설명
- KV Cache
- 답변 생성 중 이전 입력을 다시 계산하지 않도록 저장하는 중간 기록. 모델의 학습된 지식인 ‘가중치’와 다릅니다.
- HBM / Base 다이
- HBM은 연산 장치 가까이 있는 빠른 메모리. Base 다이는 적층 메모리 아래에서 연결·제어를 담당하는 칩입니다.
- Offloading / Data movement
- 연산·데이터 처리를 다른 장치에 맡기는 것 / 메모리와 장치 사이에서 데이터를 옮기는 것.
- Linear Attention / SSM
- 긴 입력을 처리할 때 계산·기록의 증가를 줄이는 모델 구조. Mamba는 SSM을 활용합니다. 압축 프로그램을 기존 모델에 붙이는 것과 적용 조건이 다릅니다.
- CXL
- 외부 메모리를 연결하고 여러 장치가 활용하도록 하는 연결 방식. 그 안에 들어가는 DRAM과 별도 물량으로 합산하지 않습니다.
- HBF
- NAND를 기반으로 대용량 데이터를 빠르게 전달하려는 메모리 계층. HBM과는 지연·쓰기 특성이 달라 용도별 검증이 필요합니다.
정기 수집 운영arXiv + Google Research·SK hynix·CXL 공식 피드 · 하루 신규 최대 12건다음 예약 10월 13일 06:15 KST · 수집 후 한국어 요약 순차 처리
최근 확인 10.12 06:18수집 완료수집 성공과 분석 완료, 실제 채택은 별개입니다.
연구와 사업 영향
요약 4건 · 분석 대기 0건
발표일이 최근인 순서입니다. 근거 수준은 확인한 자료 범위만 나타냅니다. 자동 요약은 검토 전 초안이며, 논문 실험을 상용 채택으로 표시하지 않습니다.
검증 수준 미확인자동 요약 초안2026.10.03
FLASHSWIN: Unlocking Large Windows and Dense Tokens in Swin Vision Transformers with Memory Efficient Attention
고해상도 이미지를 잘 보려면 AI가 한 번에 많은 조각을 봐야 하는데, 기존 방식은 조각이 늘수록 메모리가 폭발해 작은 창만 썼습니다. FLASHSWIN은 계산 방식을 바꿔 큰 창을 써도 메모리가 거의 늘지 않게 했습니다. 마치 좁은 창으로 방을 훑던 로봇이 넓은 창으로 한 번에 보되, 창문 청소 비용은 그대로인 셈입니다.
메모리 사업 해석- HBM
- 원문에서 HBM 언급이 없어 미확인입니다.
- DRAM
- 원문에서 DRAM 언급이 없어 미확인입니다.
- NAND
- 원문에서 NAND 언급이 없어 미확인입니다.
검토 방향메모리 산업 영향은 원문만으로 판단할 수 없으므로, 실제 채택과 학습 인프라 지표를 확인한 뒤 공급 배분·투자 일정을 검토해야 합니다.
검증 수준 미확인자동 요약 초안2026.09.22
Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs
확산 LLM은 한 번에 여러 단어를 채워 넣는 방식이라 기존 언어 모델과 다릅니다. 이 논문은 그 과정에서 생기는 메모리 병목을 소프트웨어로 줄이는 방법을 제안했지만, 특정 메모리 제품 수요에 대한 내용은 없습니다.
메모리 사업 해석- HBM
- 미확인. 원문은 HBM을 언급하지 않으며, GPU 메모리 I/O 최적화가 HBM 수요에 미치는 영향은 확인되지 않음.
- DRAM
- 미확인. 원문은 DDR·LPDDR 등 특정 DRAM 제품을 언급하지 않음.
- NAND
- 미확인. 원문은 NAND를 언급하지 않음.
검토 방향메모리 산업 관점에서는 직접적 전략 변경 근거가 없으므로, dLLM 생태계 성숙과 실제 하드웨어 구성을 추가로 관찰한 뒤 판단해야 합니다.
아키텍처·시뮬레이션 제안편집 요약2026.08.10
Memory Fabric: HBM Die-to-Die Interconnect for GPU Bandwidth Expansion
HBM 사이의 데이터를 옮길 때 매번 GPU를 거치면 연결이 병목이 됩니다. 이 연구는 HBM 아래 제어 칩끼리 연결하고, 데이터 이동 작업을 그곳에 맡기는 방식을 제안합니다.
메모리 사업 해석- HBM
- 용량 절감보다 HBM 사이의 연결·유효 대역폭을 개선하는 방향입니다. 맞춤형 Base 다이의 기능이 늘어날 수 있습니다.
- DRAM
- 서버 DRAM으로 데이터를 옮기는 효과는 직접 확인되지 않습니다.
- NAND
- NAND 활용 변화의 직접 근거는 없습니다.
검토 방향HBM의 저장 용량뿐 아니라 데이터 이동을 처리하는 설계 가치도 보세요.
자세히 읽기 ↗논문 초록 · IEEE Computer Architecture Letters 논문 내 실험편집 요약2022.05.27
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
책상에서 할 수 있는 일을 매번 창고를 오가며 처리하면 느려집니다. FlashAttention은 GPU 안의 작은 작업 공간을 활용해 HBM과 오가는 중간 데이터를 줄입니다.
메모리 사업 해석- HBM
- 중간 데이터의 왕복과 일부 메모리 부담이 줄어듭니다. 장기 보관 KV Cache를 제거한다는 의미는 아닙니다.
- DRAM
- 서버 DRAM으로 데이터를 옮기는 효과는 직접 확인되지 않습니다.
- NAND
- NAND 수요와의 직접 연결은 확인되지 않습니다.
검토 방향데이터 이동 절감과 KV Cache 용량 절감을 서로 다른 변화로 추적하세요.