AI 모델 KV-캐시 통신, 지연시간 2.5배 단축

대규모 언어 모델(LLM)이 텍스트 대신 내부 상태인 KV-캐시를 직접 주고받는 통신 기술이 공개됐다. 칭화대 연구진은 이 방식으로 모델 간 평균 통신 지연시간을 기존 텍스트 기반 방식보다 2.5배 단축했다고 밝혔다.