当前版本

40｜A12 如何提高推理效率？

v20261102-fcfad3 · 更新人 A12 管理员 · 2026/11/2

包括连续批处理、 KV Cache 管理、冷启动缓存、低精度推理、投机解码、 Prefill/Decode 分离等技术方向。

历史版本已归档，仅团队成员可见。