一篇文章带你学会向量数据库Milvus
Milvus 提供多种索引类型来对字段值进行排序，以实现高效的相似性搜索。它还提供三种度量类型：余弦相似度 (COSINE)、欧几里得距离 (L2) 和内积 （IP）来测量向量嵌入之间的距离。
建议对经常使用的向量字段和标量字段创建索引
如果集合创建请求中指定了以下任一条件， 在创建集合时会自动生成索引并将其加载到内存中：
- 向量的维度和类型
- schema 和索引参数
下面的代码片段重新调整了现有代码的用途，以建立与 Milvus 实例的连接并创建一个集合，而无需指定其索引参数。在这种情况下，集合缺少索引并且保持卸载状态。
集合索引
要为集合创建索引或为集合建立索引，我们需要设置索引参数并调用。
Milvus 目前只支持为集合的每个字段创建一个索引文件
查看索引详细信息
创建索引后我们可以检索索引的详细信息：
我们可以查看针对特定字段创建的索引文件，并统计使用该索引简历的索引行数。类比 关系性数据库的索引。
删除索引
如果不在需要索引，我们可以删除相关的索引
什么是标量字段？变量字段就是除 vector 字段，id 字段之外的字段。在 Milvus 中，标量索引用于加速特定非向量字段值的元过滤，类似于传统的数据库索引。
变量索引类型
- Milvus 根据标量字段的数据类型自动决定索引类型。这适用于不需要控制具体索引类型的情况。
- 可以指定明确的索引类型，比如倒排索引。这就提供了对索引的类型的更多选择。
Auto index 自动索引
要使用自动索引，请省略 index_type 参数，以便 可以根据标量字段类型推断索引类型。
例子：
自定义索引
如果我们要使用自定义索引，请在 index_type 参数中指定特定索引类型。
看下面的例子：
对于自定义索引，有效值为：
- INVERTED：（推荐）倒排索引由术语词典组成，其中包含按字母顺序排序的所有标记化单词。有关详细信息，请参阅标量索引。
- STL_SORT：使用标准模板库排序算法对标量字段进行排序。支持布尔和数字字段（例如 INT8、INT16、INT32、INT64、FLOAT、DOUBLE）。
- Trie：用于快速前缀搜索和检索的树形数据结构。支持 VARCHAR 字段。
索引检索
使用 list_indexes() 方法验证标量索引的创建：
索引限制
目前，标量索引支持 、、、、、、 和 数据类型，但不支持 和 类型。
在 Milvus 集合的上下文中，实体是集合中单个、可识别的实例。它代表特定类别的独特成员，无论是图书馆中的一本书、基因组中的基因还是任何其他可识别的实体。
集合中的实体共享一组通用的属性，称为schema，概述了每个实体必须遵守的结构，包括字段名称、数据类型和任何其他约束。
将实体成功插入集合中要求提供的数据应包含目标集合的所有架构定义字段。此外，仅当您启用了动态字段时，您还可以包含非架构定义的字段。
准备工作
插入实体
要插入实体，您需要将数据组织到字典列表中，其中每个字典代表一个实体。每个字典都包含与目标集合中的预定义字段和动态字段对应的键。
插入分区
要将数据插入到特定分区，可以在插入请求中指定分区名称，如下所示：
更新插入数据
更新插入数据是更新和插入操作的组合。在 Milvus 中，upsert 操作执行数据级操作，根据集合中是否已存在主键来插入或更新实体。具体来说：
- 如果集合中已存在该实体的主键，则现有实体将被覆盖。
- 如果集合中不存在主键，则将插入一个新实体。
分区更新也是同样的操作：
删除实体
如果不再需要某个实体，您可以将其从集合中删除。 Milvus 提供两种方式供您识别要删除的实体。
- 通过过滤器删除实体。
- 按 ID 删除实体。
插入数据后，下一步是在 Milvus 中检索集合执行相似性搜索。
Milvus 允许您进行两种类型的搜索，具体取决于集合中向量字段的数量：
- 单向量搜索：如果您的集合只有一个向量字段，请使用方法查找最相似的实体。此方法将您的查询向量与集合中的现有向量进行比较，并返回最接近匹配的 ID 以及它们之间的距离。或者，它还可以返回结果的向量值和元数据。
- 多向量搜索：对于具有两个或多个向量场的集合，请使用方法。此方法执行多个近似最近邻 (ANN) 搜索请求，并组合结果以在重新排名后返回最相关的匹配项。
多种搜索类型可以满足不同的搜索需求：
- 基本搜索：包括单向量搜索、批量向量搜索、分区搜索和指定输出字段搜索。
- 过滤搜索： 应用基于标量字段的过滤条件来细化搜索结果。
- 范围搜索： 查找距查询向量特定距离范围内的向量。
- 分组搜索： 根据特定字段对搜索结果进行分组，以确保结果的多样性。
基本搜索：
发送 请求时，我们可以提供一个或多个表示查询嵌入的向量值以及指示要返回的结果数的 值。根据数据和查询向量，我们获得的结果可能会少于 个。当 大于查询可能匹配向量的数量时，就会发生这种情况。
单向量搜索
单向量搜索是 Milvus 中操作的最简单形式，旨在查找与给定查询向量最相似的向量。
要执行单向量搜索，请指定目标集合名称、查询向量和所需的结果数量 ()。此操作返回一个结果集，其中包含最相似的向量、它们的 ID 以及与查询向量的距离。
批量向量搜索
批量向量搜索通过允许在单个请求中搜索多个查询向量来扩展单向量搜索概念。这种类型的搜索非常适合需要为一组查询向量查找相似向量的场景，从而显着减少所需的时间和计算资源。
在批量向量搜索中，您可以在 字段中包含多个查询向量。系统并行处理这些向量，为每个查询向量返回一个单独的结果集，每个结果集包含在集合中找到的最接近的匹配项。
下面是从两个查询向量中搜索两个不同的最相似实体集的示例：
分区搜索
分区搜索将搜索范围缩小到集合的特定子集或分区。这对于有组织的数据集特别有用，其中数据被分段为逻辑或分类部分，从而通过减少要扫描的数据量来实现更快的搜索操作。
要进行分区搜索，只需在搜索请求的 中包含目标分区的名称即可。这指定操作仅考虑指定分区内的向量。
使用输出字段进行搜索
使用输出字段进行搜索允许您指定搜索结果中应包含匹配向量的哪些属性或字段。
您可以在请求中指定以返回包含特定字段的结果。
过滤搜索
筛选搜索将标量筛选器应用于矢量搜索，允许我们根据特定条件优化搜索结果。
例如，要根据字符串模式优化搜索结果，可以使用 like 运算符。此运算符通过考虑前缀、中缀和后缀来启用字符串匹配：
- 若要匹配以特定前缀开头的值，请使用语法. 如: ‘like “prefix%”’ 。
- 若要匹配字符串中任意位置包含特定字符序列的值，请使用语法 ‘like “%infix%”’
- 若要匹配以特定后缀结尾的值，请使用语法: ‘like “%suffix”’ .
- like 运算符还可以通过使用下划线 （_） 表示任何单个字符来用于单字符匹配。 ‘like “y_llow”’ .
筛选颜色以绿色为前缀的结果：
范围搜索
范围搜索允许查找距查询向量指定距离范围内的向量。
通过设置 和可选的 ，可以调整搜索的广度以包含与查询向量有些相似的向量，从而提供潜在匹配的更全面的视图。
- ：定义搜索空间的外边界。只有距查询向量在此距离内的向量才被视为潜在匹配。
- ：虽然设置搜索的外部限制，但可以选择使用来定义内部边界，创建一个距离范围，在该范围内向量必须落下才被视为匹配。
更多搜索方式可以参考 Milvus 官网。
在 Milvus2.4 版本开始，引入了多想两支持和混合搜索功能。这就意味着用户可以将多个向量字段引入到单个集合中。不同的向量长可以表示不同的方面，不同的 embedding Model 甚至表征同一实体的不同数据模态。这同时意味着扩展了信息的丰富性。有了这个功能我们可以在综合场景使用，比如：根据图片、语言、指纹等各种属性来识别向量中最相似的人。
多向量搜索支持在各种字段上执行搜索请求，并使用重新排名策略的组合结果。
示例：
创建 AnnSearchRequest 实例
多向量搜索使用 API 在一次调用中执行多个 ANN 搜索请求。每个 代表特定矢量场上的单个搜索请求。
示例创建两个 实例以对两个向量字段执行单独的相似性搜索。
配置排名策略
创建 实例后，配置重新排名策略以组合结果并重新排名。目前有两个选项： 和 。
- 使用加权评分： 用于为每个具有指定权重的向量场搜索结果分配重要性。如果将某些向量字段的优先级置于其他向量字段之上， 可以在组合搜索结果中提现出来。
使用时，请注意：
每个权重值的范围从 0（最不重要）到 1（最重要），影响最终的总分。
中提供的权重值总数应等于您创建的 实例的数量。
执行混合搜索
设置 实例和重新排名策略后，使用 方法执行多向量搜索。
参数说明：
- reqs： 搜索请求列表，其中每个请求都是一个 对象。每个请求可以对应于不同的矢量场和不同的搜索参数集。
- （对象）：用于混合搜索的重新排名策略。可能的值： 和 。
- (int)：混合搜索中返回的最终结果的最大数量。
limits 限制
- 通常，每个集合默认允许最多 4 个向量字段。但是，您可以选择调整 配置以扩展集合中矢量字段的最大数量，每个集合的最大限制为 10 个矢量字段
- 集合中部分索引或加载的向量字段将导致错误。
- 目前，混合搜索中的每个 只能携带一个查询向量。
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
自己也整理很多AI大模型资料：AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集