BM25 关键词检索
科普速读
- 它是什么： BM25 按查询词与文档的匹配情况排序。
- 适合什么场景： 查找精确名称、错误码、版本号和代码符号。
- 主要边界： 它不会自动判断不同说法的含义相近。
概览
搜索 E_CONN_RESET 时，系统应优先返回包含该错误码的资料。BM25 会提高有用且较少见的查询词权重，降低常见词的影响。
核心定义
BM25 是一种词项排序函数，根据查询词频、文档频率和文档长度估算相关性。
背景与发展
BM25 来自信息检索领域，至今仍适用于 AI 搜索。它可以提供语义检索可能漏掉的精确词项匹配。
工作机制（How It Works）
排序分数会考虑查询词在文档中的出现次数、该词在整个集合中的常见程度，以及文档长度。搜索系统可以根据自己的数据调整参数。
在软件测试与开发中的应用
可用 BM25 在技术文档中查找精确 API 名称、版本、堆栈信息或测试标识符。它也可以为检索增强生成系统提供候选片段。
优势与局限
BM25 速度快，匹配原因也容易检查。用户说法不同、拼写不同、分词方式或语言不同，都可能导致漏检。
与相近术语对比
向量搜索能找到说法相近的段落；BM25 偏向字面词项匹配；混合检索会合并两种结果。
实施建议（Best Practices）
用真实问题测试 BM25，既包括普通问句，也包括精确标识符。还要检查搜索引擎如何切分标点和代码符号。
常见误区（Pitfalls）
系统使用嵌入，不代表关键词检索已经过时。错误码和函数名通常需要精确匹配。
FAQ
有了向量搜索，BM25 还值得保留吗？
值得。只要精确词项很重要，就应对比真实查询效果和运行成本，再决定单独使用还是组合使用。