MEMORY INDUSTRY INTELLIGENCE
주장
22725건 공개자료 기반 개인 관찰 기록
| 기록 | 상태·범위 | 수정일·발행일 | |
|---|---|---|---|
| RULER 16K에서 2% KV 캐시 예산일 때 KV$^2$는 차선 기준선보다 평균 점수를 40퍼센트포인트 이상 개선한다. | 승인연구 결과 | 2026.10.17 06:21 | |
| RULER, Needle-in-a-Haystack, LongBench에서 KV$^2$의 기준선 대비 격차는 예산이 빡빡해질수록 커진다. | 승인연구 결과 | 2026.10.17 06:21 | |
| KV$^2$는 경량 대리 점수기로 정보량이 많은 문맥 내 토큰을 식별한 뒤, 그 부분집합만 다시 처리해 최종 제거 점수를 계산한다. | 승인연구 결과 | 2026.10.17 06:21 | |
| KV$^2$는 선택적 재구성에 기반한 질의 비의존적 KV 캐시 압축 방법이다. | 승인연구 결과 | 2026.10.17 06:21 | |
| 재사용 환경에서 질의 비의존적 압축은 비용과 품질을 맞바꾸며, 경량 추정기는 저렴하지만 정확도가 낮고 전체 문맥 재구성 점수 계산은 더 정확하지만 전체 프롬프트를 다시 처리한다. | 승인확인 사실 | 2026.10.17 06:21 | |
| KV 캐시의 메모리 사용량이 긴 문맥 모델의 실제 사용을 제약하고, 하나의 미리 채워진 문맥을 여러 질의에 재사용할 때 비용을 지배한다. | 승인확인 사실 | 2026.10.17 06:21 | |
| 절제 실험은 이득이 인코더 교체에 기인함을 보여주고, 계층적 사전 구조가 시퀀스 모델 계열 간에 전이됨을 확인하며, 순열 불변 어텐션 융합기가 교차 규모 통합에 여전히 올바른 메커 | 승인연구 결과 | 2026.10.17 06:20 | |
| 선형 시간 인코더는 고주파 문맥을 60개에서 240개 버킷으로 확장할 수 있게 하여 어텐션 변형이 포화되는 지점에서 오차를 0.1927로 줄였고, 추론 시 상수 시간 스트리밍 업데 | 승인연구 결과 | 2026.10.17 06:20 | |
| Optiver 실현 변동성 예측 벤치마크에서 시간 인식 5겹 교차 검증으로 HAN-Mamba는 HAN-T 대비 평균 RMSPE를 0.1942 대 0.1965로 개선하고 파라미터 수 | 승인연구 결과 | 2026.10.17 06:20 | |
| HAN-Mamba는 각 스트림을 순환 상태로 요약하며, 입력 의존적 게이팅이 변동성의 지속적 감쇠 기억과 급격한 체제 전환이라는 두 구조적 속성에 부합한다. | 승인분석가 해석 | 2026.10.17 06:20 | |
| 이 글은 이차 어텐션 인코더를 선택적 상태 공간(Mamba) 인코더로 교체하고, 입력이 세 토큰 집합인 융합기에서만 어텐션을 유지하는 하이브리드 HAN-Mamba를 제안한다. | 승인회사 계획 | 2026.10.17 06:20 | |
| 기존 회의 논문 HAN-T는 규모별 Transformer 인코더와 학습된 어텐션 융합기를 사용하는 계층적 아키텍처다. | 승인확인 사실 | 2026.10.17 06:20 | |
| 단기 실현 변동성 예측은 초 단위 주문장 동학부터 주간 체제 드리프트까지 서로 다른 시간 해상도의 시장 정보 통합을 요구한다. | 승인확인 사실 | 2026.10.17 06:20 | |
| 실험 결과 LLoPS는 다양한 선형 어텐션 기준선과 비교해 광범위한 벤치마크에서 최고 성능을 달성했다. | 승인연구 결과 | 2026.10.17 06:20 | |
| LLoPS는 기존 접근보다 엄밀히 더 작은 근사 오차를 달성함을 증명할 수 있는 저계수 다항식 스케치를 학습한다. | 승인연구 결과 | 2026.10.17 06:20 | |
| LLoPS는 선형 어텐션으로 다항식 커널을 근사하기 위한 원리적이고 유연한 프레임워크로 제안된다. | 승인회사 계획 | 2026.10.17 06:20 | |
| 이 논문은 다항식 커널 근사 관점에서 기존 선형 어텐션 방법이 여전히 차선이라고 주장한다. | 승인분석가 해석 | 2026.10.17 06:20 | |
| 선행 연구는 근사 다항식 커널에 의존하며 이는 무시할 수 없는 근사 오차를 도입한다. | 승인확인 사실 | 2026.10.17 06:20 | |
| 고차 다항식 커널의 정확한 계산은 고차원 표현에서 실행 불가능하다. | 승인확인 사실 | 2026.10.17 06:20 | |
| 최근 연구는 다항식 커널이 소프트맥스 어텐션과 유사한 희소·첨예 거동을 보여 특히 효과적이라고 보고했다. | 승인연구 결과 | 2026.10.17 06:20 | |
| 선형 어텐션은 지수 커널을 선형 시간 계산이 가능한 대체 함수로 바꿔 이 문제를 완화한다. | 승인확인 사실 | 2026.10.17 06:20 | |
| 트랜스포머의 소프트맥스 어텐션은 시퀀스 길이에 대해 이차 복잡도를 가져 긴 문맥 응용에 비실용적이다. | 승인확인 사실 | 2026.10.17 06:20 | |
| 이 초록만으로는 DropKV의 양산·상용 채택·동료 심사 여부가 확인되지 않는다. | 승인보도·미확인 | 2026.10.17 06:20 | |
| RULER 및 LongBench 벤치마크 평가에서 DropKV가 동등한 캐시 예산에서 최신 기준선을 일관되게 능가하고, 제거 방법 중 가장 낮은 추론 지연을 달성하며 동적 캐시 기 | 승인연구 결과 | 2026.10.17 06:20 | |
| 전체 어텐션 행렬을 구체화하지 않는 융합 트리톤 커널 구현을 제공하며, 19.8배의 점수화 커널 속도 향상과 최대 9.9%의 일치 배치 종단 간 프리필 속도 향상을 보고한다. | 승인연구 결과 | 2026.10.17 06:20 |