release
디스크 기반 문맥 캐싱 도입
(2년 전)
반복 입력을 저비용 저장장치에 보관해 재계산을 줄이는 디스크 기반 문맥 캐싱 도입.
관련 항목
상세 내용
긴 대화·문서 질의 등 앞부분이 반복되는 API 요청에 적용. 캐시에서 기존 계산 결과를 불러와 중복 연산 회피. V2의 MLA가 줄인 KV 캐시를 서비스 수준의 비용 절감으로 연결. 캐시 적중 입력 가격 인하를 통한 모델 효율성의 API 가격 경쟁력 전환.
반복 입력을 저비용 저장장치에 보관해 재계산을 줄이는 디스크 기반 문맥 캐싱 도입.
긴 대화·문서 질의 등 앞부분이 반복되는 API 요청에 적용. 캐시에서 기존 계산 결과를 불러와 중복 연산 회피. V2의 MLA가 줄인 KV 캐시를 서비스 수준의 비용 절감으로 연결. 캐시 적중 입력 가격 인하를 통한 모델 효율성의 API 가격 경쟁력 전환.