MEMORY INDUSTRY INTELLIGENCE
AI 메모리 연구
기술을 사업의 언어로
AI는 메모리를 얼마나, 어디에 쓰게 될까요?
논문·공식 발표에서 달라지는 구조를 찾고, HBM·DRAM·NAND의 기회와 확인할 조건을 읽습니다. 어려운 수식보다 의사결정에 필요한 의미를 먼저 설명합니다.
읽는 순서쉬운 요약 → 메모리 영향 → 확인할 조건초록·공식 요약 기준 · 사업 영향은 조건부 해석
① 요청당 사용량같은 답을 만들 때 필요한 용량·데이터 이동
② 저장 위치와 역할HBM·DRAM·NAND 사이에 어떤 데이터가 이동하는지
③ 전체 사용량비용 절감 후 사용자·문맥 길이가 늘어나는지
용어가 낯설다면 · 1분 용어 설명
- KV Cache
- 답변 생성 중 이전 입력을 다시 계산하지 않도록 저장하는 중간 기록. 모델의 학습된 지식인 ‘가중치’와 다릅니다.
- HBM / Base 다이
- HBM은 연산 장치 가까이 있는 빠른 메모리. Base 다이는 적층 메모리 아래에서 연결·제어를 담당하는 칩입니다.
- Offloading / Data movement
- 연산·데이터 처리를 다른 장치에 맡기는 것 / 메모리와 장치 사이에서 데이터를 옮기는 것.
- Linear Attention / SSM
- 긴 입력을 처리할 때 계산·기록의 증가를 줄이는 모델 구조. Mamba는 SSM을 활용합니다. 압축 프로그램을 기존 모델에 붙이는 것과 적용 조건이 다릅니다.
- CXL
- 외부 메모리를 연결하고 여러 장치가 활용하도록 하는 연결 방식. 그 안에 들어가는 DRAM과 별도 물량으로 합산하지 않습니다.
- HBF
- NAND를 기반으로 대용량 데이터를 빠르게 전달하려는 메모리 계층. HBM과는 지연·쓰기 특성이 달라 용도별 검증이 필요합니다.
정기 수집 운영arXiv + Google Research·SK hynix·CXL 공식 피드 · 하루 신규 최대 12건다음 예약 10월 13일 06:15 KST · 수집 후 한국어 요약 순차 처리
최근 확인 10.12 06:18수집 완료수집 성공과 분석 완료, 실제 채택은 별개입니다.
연구와 사업 영향
요약 5건 · 분석 대기 0건
발표일이 최근인 순서입니다. 근거 수준은 확인한 자료 범위만 나타냅니다. 자동 요약은 검토 전 초안이며, 논문 실험을 상용 채택으로 표시하지 않습니다.
검증 수준 미확인자동 요약 초안2026.10.08
V-CoLA: Vision Token Compression with Linear Attention
AI가 이미지를 이해할 때 쓰는 많은 '비전 토큰'을 줄여 계산을 빠르게 하는 연구입니다. 마치 긴 회의록에서 핵심 문장만 남기는 것과 비슷하지만, 이것이 메모리 반도체 수요를 늘릴지 줄일지는 이 글만으로 알 수 없습니다.
메모리 사업 해석- HBM
- 원문에 HBM 언급이 없어 미확인입니다. 프리필 속도 향상이 가속기 메모리 대역폭 요구를 바꿀 수 있다는 것은 가설입니다.
- DRAM
- 원문에 DRAM 언급이 없어 미확인입니다. 서버·PC·모바일 등 사용처별 영향은 확인되지 않습니다.
- NAND
- 원문에 NAND 언급이 없어 미확인입니다. 모델 가중치·캐시 저장 수요와의 연결은 확인되지 않습니다.
검토 방향메모리 산업 영향은 간접적·조건부이므로, 실제 배포 지표가 나오기 전까지 HBM·DDR·NAND 수요 방향을 단정하지 않는 것이 좋습니다.
검증 수준 미확인자동 요약 초안2026.10.06
MaRK: Markov-adapted Recurrent Kernels for Dynamic Operator Conditioning in State Space Models
AI 모델의 계산 방식을 바꾸는 알고리즘 연구가 나왔지만, 이것이 메모리 수요를 늘릴지 줄일지는 아직 알 수 없습니다. 마치 자동차 엔진 설계를 바꾼 논문이 나왔지만, 그것이 휘발유 수요에 어떤 영향을 줄지는 실제 자동차가 팔려야 알 수 있는 것과 같습니다.
메모리 사업 해석- HBM
- 미확인
- DRAM
- 미확인
- NAND
- 미확인
검토 방향현재로선 메모리 산업 전략에 직접 반영할 근거가 부족하므로, SSM 기반 추론의 상용 채택과 메모리 요구 변화를 관찰하는 것이 적절함
논문 내 실험편집 요약2024.05.31
Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
작은 상태로 긴 입력을 처리하는 방식도 실제 GPU에서 효율적으로 돌아가야 유용합니다. Mamba-2는 SSM과 Attention의 수학적 연결을 이용해 실행하기 좋은 구조를 설계합니다.
메모리 사업 해석- HBM
- 일부 장문 추론 상태의 저장 방식을 바꿀 수 있습니다. 가중치와 하이브리드 Attention의 KV까지 자동으로 줄지는 않습니다.
- DRAM
- CPU DRAM으로 옮기는 직접 효과는 초록에서 확인되지 않습니다.
- NAND
- NAND 대체·증가의 직접 근거는 없습니다.
검토 방향구조의 이론적 장점과 실제 서비스에서의 비용 개선을 따로 확인하세요.
논문 내 실험편집 요약2023.12.01
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
기존 방식이 대화의 많은 기록을 다시 펼쳐 본다면, Mamba는 중요한 정보를 작은 상태로 이어갑니다. 모델 구조를 바꿔 긴 입력을 처리할 때 기록과 계산의 증가를 줄이려 합니다.
메모리 사업 해석- HBM
- 일부 추론 상태의 길이 증가 부담이 완화됩니다. 모델 가중치·학습 저장 공간·Attention을 섞은 모델의 KV는 별도로 남습니다.
- DRAM
- 큰 KV를 CPU로 이동하는 방식과는 다릅니다. DRAM 전체 수요 감소는 확인되지 않습니다.
- NAND
- NAND에 대한 직접 수요 변화는 확인되지 않습니다.
검토 방향장기 구조 변화로 관찰하되 순수 SSM과 하이브리드 모델을 구분하세요.
논문 내 실험편집 요약2020.06.29
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
대화의 모든 부분을 서로 비교하면 대화가 길어질수록 일이 급격히 늘어납니다. Linear Attention은 계산 순서를 바꿔 긴 입력을 더 작은 누적 상태로 처리할 수 있도록 합니다.
메모리 사업 해석- HBM
- 일부 상태와 계산의 길이 의존성을 완화할 여지가 있습니다. 기존 Attention의 품질과 동일한 대체품인지는 별도 검증이 필요합니다.
- DRAM
- 저장 계층을 CPU DRAM으로 옮기는 직접 근거는 없습니다.
- NAND
- NAND 수요의 직접 연결은 확인되지 않습니다.
검토 방향KV 압축과 모델 구조 변경을 다른 채택 경로로 관리하세요.