OpenAI는 비교 조건에서 최대 처리량 기준 전력당 AI 작업이 1.5~1.9배라고 발표했다.
1.5 to 1.9 times more AI work per watt
MEMORY INDUSTRY INTELLIGENCE
Jalapeño 첫 성능 공개: KV 캐시 배치·데이터 이동 최적화와 메모리 수요
포착한 변화·분석
OpenAI는 2026년 8월 Jalapeño의 첫 측정 결과를 공개했다. 전력당 작업 효율과 지연시간 개선을 주장하며, KV 캐시를 가까이 배치하고 데이터 이동을 줄이는 구조를 설명한다. 개발사의 측정 결과이며 범용 성능 우위나 독립 검증으로 확대하지 않는다.
KV 캐시 지역성·데이터 이동 최적화는 작업당 메모리 접근 비용을 낮출 수 있다. 동시에 처리량과 사용량 확대가 총 메모리 수요를 늘릴 수 있다. 효율 개선율을 HBM 구매 감소율로 바꾸지 않으며, 단위 탑재량·배치 대수·사용량을 따로 관찰한다.
미확인: 공개 본문만으로 HBM 세대·용량·공급업체와 실제 주문량을 확인할 수 없다. 모든 모델·워크로드에서 동일 효율을 보장하지 않으며 메모리 수요의 정량 변화는 미확인이다.
중요도 설정 이유 고객의 칩·메모리 전략과 제품 대체 관찰
반대 근거·미확인 정보 공개 본문만으로 HBM 세대·용량·공급업체와 실제 주문량을 확인할 수 없다. 모든 모델·워크로드에서 동일 효율을 보장하지 않으며 메모리 수요의 정량 변화는 미확인이다.
반대 근거·미확인 정보 공개 본문만으로 HBM 세대·용량·공급업체와 실제 주문량을 확인할 수 없다. 모든 모델·워크로드에서 동일 효율을 보장하지 않으며 메모리 수요의 정량 변화는 미확인이다.
주장과 검증 근거
아키텍처는 KV 캐시를 포함한 모델 상태의 배치를 다룬다.
model state, including the KV cache
단일 가속기에서 prefill과 decode를 함께 지원하는 설계를 설명했다.
prefill and decode
제품 영향 경로
변화 → 고객·시스템 → 제품 지표 → 전략 선택지 경로를 기록하세요.
연결된 전략 과제
연결된 과제가 없습니다.