揭秘RAG神器！如何通过上下文检索与混合搜索打造超强生成效果

揭秘RAG神器！如何通过上下文检索与混合搜索打造超强生成效果

2024-10-31 20:33

检索增强生成 (RAG) 是自然语言处理 (NLP) 中使用的一种先进方法，用于生成准确、知情的响应。与仅依赖内部知识的传统模型不同，RAG 通过在生成过程中从外部文档或数据库检索相关信息来增强模型的能力。
在这里插入图片描述

这意味着该模型可以“查找”相关数据并使用它来制定更精确的响应，特别是在处理需要最新或专业信息的主题时。上下文检索和混合搜索是用于增强检索增强生成 (RAG)系统的先进技术。它们属于更广泛的 RAG 范畴，但代表了改进这些系统检索相关信息的更复杂的方法。

上下文检索不仅仅是简单的关键字匹配。它不是仅仅查找包含查询中确切单词的文档，而是根据查询的含义检索信息。这涉及理解上下文和语义，使系统能够获取更相关和更有意义的文档。

混合搜索结合了两种检索信息的方法：

词法搜索 (BM25) ：这种传统方法根据精确的关键字匹配来检索文档。例如，如果您搜索“cat on the mat”，它将找到包含这些确切单词的文档。

基于嵌入的搜索（密集检索）：这种较新的方法通过比较文档的语义来检索文档。查询和文档都被转换为高维向量（嵌入），系统检索其含义（向量表示）最接近查询的文档。

通过结合这两种方法，混合搜索可以提供更好的结果。它利用基于关键字的 BM25 的精度和密集检索的语义理解，确保系统根据所使用的单词及其含义找到最相关的文档。

将 BM25 与上下文嵌入相结合的关键优势在于，它们各自的强项能够互补：

这种组合让 RAG 系统能够检索到既包含正确关键词、又符合查询意图的文档，从而显著提升生成内容的质量。

在此示例中，我们将使用rank_bm25库来实现词法搜索：

在这里，我们将使用transformers为文档和查询创建密集嵌入，然后使用faiss查找最相似的文档：

为了执行混合搜索，我们结合了 BM25 和密集检索的结果。每种方法的分数均经过标准化和加权以获得最佳总体结果：

将 BM25 与基于嵌入的检索（密集检索）相结合，创建了一种高效的混合搜索方法，可增强检索增强生成 (RAG) 系统。BM25 通过基于精确关键字匹配来检索文档来确保精度，而密集检索则通过捕获单词背后的深层含义来增加语义理解的能力。

这些方法相辅相成，使系统能够根据词汇和上下文的相似性检索最相关的信息。尽管密集检索的计算要求很高，并且可能需要针对特定领域进行微调，但其理解语义上下文的能力显着提高了响应的质量和准确性。

这种混合方法可确保 RAG 系统生成更明智、更有意义的结果，使其成为现代信息检索的强大工具。

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【】

为了成为更好的 AI大模型开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

在这里插入图片描述

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

在这里插入图片描述

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。