谷歌推出一种可能镌汰东说念主工智能系统内存需求的压缩算法 TurboQuant。TurboQuant 压缩技巧旨在镌汰大谈话模子和向量搜索引擎的内存占用。该算法主要针对 AI 系统顶用于存储高频走访信息的键值缓存（key-value cache）瓶颈问题。跟着险峻文窗口变大，这些缓存正成为主要的内存瓶颈。TurboQuant 可在无需从头磨砺或微调模子的情况下B体育(BSports)，B体育官方网站首页将键值缓存压缩至 3bit 精度，同期基本保握模子准确率不受影响。对包括 Gemma 等开源模子的测试显现，该技巧可完了约 6 倍的键值缓存内存压缩后果。（财联社）

• 算法
• 谷歌
• 退出
• B体育(BSports)
• 压缩