우리는 가중치를 변경하지 않고 동결된 작은 언어 모델을 한 번에 더 유능하고 훨씬 더 저렴하게 만드는 방법을 보고합니다. 확인된 지식은 바이트 단위의 정확한 키-값(KV) 상태 아티팩트로 한 번 저장되고 나중에 접목을 통해 새로운 추론 컨텍스트로 복원됩니다. 복원은 비트입니다.

원문: We report a way to make a frozen small language model both more capable and dramatically cheaper at ...