MEMORY INDUSTRY INTELLIGENCE
주장
47446건 공개자료 기반 개인 관찰 기록
| 기록 | 상태·범위 | 수정일·발행일 | |
|---|---|---|---|
| 일시정지 토큰이 블록을 인코딩하면 원래 블록의 캐시를 해제하고, 이후 토큰은 일시정지 토큰의 KV 항목에 주의한다. | 승인회사 계획 | 2026.10.22 18:31 | |
| 일시정지 토큰은 출력을 생성하지 않는 학습된 임베딩을 가진 추가 입력 토큰이다. | 승인확인 사실 | 2026.10.22 18:31 | |
| AbridgeKV는 생성된 텍스트의 완료된 각 블록을 학습된 일시정지 토큰 몇 개의 KV 항목으로 압축한다. | 승인회사 계획 | 2026.10.22 18:31 | |
| 캐시 항목을 제거하는 방식은 모델이 제거된 캐시로 학습된 적이 없어 더 길고 종종 길이 한계까지 생성하므로 문제를 해결하지 못한다. | 승인분석가 해석 | 2026.10.22 18:31 | |
| 긴 사고 연쇄 디코딩은 메모리 병목이며, 생성된 토큰의 KV 캐시가 테스트 시점 연산량에 비례해 선형으로 증가한다. | 승인확인 사실 | 2026.10.22 18:31 | |
| 코드는 https://github.com/alibaba/EfficientRL 에서 이용할 수 있다. | 승인확인 사실 | 2026.10.22 18:31 | |
| V-CoLA는 1.86배에서 6.15배의 프리필 속도 향상을 제공한다. | 승인연구 결과 | 2026.10.22 18:31 | |
| 비전 토큰을 12.5%로 줄여도 88.0% 이상의 성능을 달성했다. | 승인연구 결과 | 2026.10.22 18:31 | |
| 여러 벤치마크 실험에서 비전 토큰을 50.0%로 줄여 원래 성능의 99.5%를 달성했다. | 승인연구 결과 | 2026.10.22 18:31 | |
| 모든 구성 요소는 선형 어텐션의 청크 단위 병렬성과 호환되도록 구현 수준에서 최적화됐다. | 승인회사 계획 | 2026.10.22 18:31 | |
| V-CoLA는 고유성 인식 중요도 기준과 적응형 토큰 병합 전략을 도입한다. | 승인회사 계획 | 2026.10.22 18:31 | |
| 저자들은 선형 어텐션을 위해 특별히 설계된 학습 불필요 토큰 압축 프레임워크 V-CoLA를 제안한다. | 승인회사 계획 | 2026.10.22 18:31 | |
| 어텐션 기반 접근법과 유사도 기반 접근법 모두 이 영역에서 상당한 성능 저하를 겪는다는 분석이 제시됐다. | 승인연구 결과 | 2026.10.22 18:31 | |
| 선형 어텐션을 포함한 하이브리드 아키텍처가 등장하면서 소프트맥스 어텐션용 기존 압축 방법은 일반화가 어렵다. | 승인분석가 해석 | 2026.10.22 18:31 | |
| 비전-언어 모델은 비전 토큰이 입력 시퀀스를 지배해 상당한 계산 오버헤드를 겪는다. | 승인확인 사실 | 2026.10.22 18:31 | |
| 이 결과는 지속적 자율 발견이 더 강한 에이전트뿐 아니라 누가 탐색하고 무엇을 기억하며 연구 노력이 어떻게 배분되는지에 달려 있음을 시사한다는 해석이다. | 승인분석가 해석 | 2026.10.22 18:30 | |
| 통제 비교에서 학문적 배경이 없으면 탐색이 일찍 정체되고, 사적 이력이 없으면 동일한 공유 증거에도 진전이 적으며, 균일 선택은 같은 예산에서 적응적 배분에 미치지 못했다. | 승인연구 결과 | 2026.10.22 18:30 | |
| 이 설계를 선형 어텐션 아키텍처 탐색에 적용해 13억 파라미터 규모에서 언어 모델링, 상식 추론, 합성 및 실제 검색 과제에서 GDN2를 능가했다고 보고한다. | 승인연구 결과 | 2026.10.22 18:30 | |
| 각기 다른 학문 분야에 기반을 두고 사적 연구 이력을 유지하며 실험 증거를 공유하고 적응적 배분을 통해 연구 기회를 받는 지속형 AI 연구자 팀을 구성한다. | 승인회사 계획 | 2026.10.22 18:30 | |
| 실험이 비용이 많이 들면 팀은 제한된 수의 아이디어만 시험할 수 있어 탐색과 활용의 균형이 필요하다는 가정이다. | 승인사용자 가정 | 2026.10.22 18:30 | |
| 발견 과정의 국소 최솟값을 벗어나기 위해 다양한 전문성을 가진 에이전트로 팀을 구성해 직교적 탐색을 장려할 것을 제안한다. | 승인회사 계획 | 2026.10.22 18:30 | |
| 자율 에이전트가 아이디어 제안, 코드 수정, 실험 실행을 할 수 있게 되어 협업 AI 연구자 팀으로 과학적 발견을 가속할 기회가 생긴다는 연구 배경이다. | 승인연구 결과 | 2026.10.22 18:30 | |
| Mamba-QE는 높은 표현력을 유지하면서 복잡한 분자 시스템의 양자 시뮬레이션을 위한 견고하고 확장 가능한 기반을 확립한다고 저자들은 주장한다. | 승인연구 결과 | 2026.10.22 18:30 | |
| 수소 분자(H2)에서 Mamba-QE는 16개 기하 구조에 걸쳐 화학적 정확도 이내로 완전 배치 상호작용(FCI) 기준 에너지를 재현했고, 에너지 오차는 3×10⁻⁶ Ha 미만이며 | 승인연구 결과 | 2026.10.22 18:30 | |
| Mamba-QE는 거리 조건 메커니즘을 통합해 완전한 퍼텐셜 에너지 표면(PES)을 직접 예측할 수 있게 한다. | 승인연구 결과 | 2026.10.22 18:30 |