https://fxio.site/tags/%E5%90%91%E9%87%8F%E6%A3%80%E7%B4%A2/Recent content in 向量检索 on FXIO 技术博客Hugo -- 0.157.0zh-cnTue, 09 Jun 2026 23:00:00 +0800https://fxio.site/posts/ai/turbovec/Tue, 09 Jun 2026 23:00:00 +0800https://fxio.site/posts/ai/turbovec/<h2 id="背景">背景</h2> <p>最近在搞 RAG 相关的东西，向量数据库这块一直用的 FAISS。用着没啥大毛病，但有个痛点：内存占用太大。</p> <p>1000万条 1536 维的向量，float32 存储直接干到 31GB。服务器内存吃不住，量化方案又得单独跑 train 阶段，数据量小了码本质量还拉胯。</p> <p>然后在 arXiv 上刷到一篇 Google Research 的论文——TurboQuant（ICLR 2026），顺着论文找到了它的 Rust 实现：<strong>turbovec</strong>。</p> <p>试了一下，真香。</p> <h2 id="turbovec-是什么">turbovec 是什么</h2> <p>一句话：<strong>基于 TurboQuant 算法的向量索引库，Rust 写的，有 Python 绑定。</strong></p> <p>核心卖点：</p> <ul> <li>1000万 1536 维向量，31GB → <strong>4GB</strong></li> <li><strong>没有 train 阶段</strong>，<code>add()</code> 直接索引</li> <li>比 FAISS IndexPQFastScan 快 12-20%（ARM）/ 持平或略快（x86）</li> <li>纯本地，数据不出机器</li> </ul> <p>GitHub: <a href="https://github.com/RyanCodrai/turbovec">RyanCodrai/turbovec</a>（9K+ stars）</p> <h2 id="技术原理简化版">技术原理（简化版）</h2> <p>TurboQuant 的核心思路挺巧妙的：</p> <ol> <li><strong>归一化</strong>：把向量长度去掉，变成超球面上的单位方向</li> <li><strong>随机正交旋转</strong>：旋转之后，每个坐标独立服从已知的 Beta 分布。关键点——这个分布跟输入数据无关，是数学上能推导出来的</li> <li><strong>Lloyd-Max 量化</strong>：既然分布已知，最优的桶边界可以直接算出来，不需要从数据里学</li> <li><strong>Bit-pack</strong>：1536维向量从 6144 字节压到 384 字节，16 倍压缩</li> </ol> <p>省掉了 train 阶段，意味着：</p> <ul> <li>数据量小也能用</li> <li>在线添加新向量不需要重建索引</li> <li>没有超参数调优的烦恼</li> </ul> <h2 id="实际用法">实际用法</h2> <div class="highlight"><pre tabindex="0" class="chroma"><code class="language-bash" data-lang="bash"><span class="line"><span class="cl">pip install turbovec </span></span></code></pre></div><p>基础用法真的很简单：</p>