品玩6月20日讯,据月之暗面官方消息,Kimi 开放平台 Context Caching 功能即将启动内测,届时将支持长文本大模型,可实现上下文缓存功能。
Context Caching 是由 Kimi 开放平台提供的一项高级功能,可通过缓存重复的 Tokens 内容,降低用户在请求相同内容时的成本
官方表示,Context Caching可提升 API 的接口响应速度。在规模化、重复度高的 prompt 场景,Context Caching 功能带来的收益越大。

品玩6月20日讯,据月之暗面官方消息,Kimi 开放平台 Context Caching 功能即将启动内测,届时将支持长文本大模型,可实现上下文缓存功能。
Context Caching 是由 Kimi 开放平台提供的一项高级功能,可通过缓存重复的 Tokens 内容,降低用户在请求相同内容时的成本
官方表示,Context Caching可提升 API 的接口响应速度。在规模化、重复度高的 prompt 场景,Context Caching 功能带来的收益越大。