商务服务
知新温故,从知识图谱到图数据库
2024-10-31 20:03

说到人工智能技术,首先会联想到深度学习、机器学习技术;谈到人工智能应用,很可能会马上想起语音助理、自动驾驶等等。实际上,人工智能要在行业中得到应用的先决条件是首先要对行业建立起认知,只有理解了行业和场景,才能真正智能化。简单的说,就是要建立行业知识图谱,才能给行业AI方案。

知新温故,从知识图谱到图数据库

机器通过人工智能技术与用户的互动,从中获取数据、优化算法,更重要的是构建和完善知识图谱,认知和理解世界,进而服务于这个世界。

那什么是知识图谱呢?

知识图谱

知识图谱本质上是语义网络的知识库,从实际应用的角度出发其实可以简单地把知识图谱理解成多关系图。

那什么是多关系图呢? 回忆在数据结构中的“图”。图是由节点和边来构成,通常用来描述某些事物之间的某种特定关系。图用点代表事物,用连接两点的边表示相应两个事物间具有某种关系,但这些图通常只包含一种类型的节点和边,在一文中就谈到了有向无环图。多关系图一般包含多种类型的节点和多种类型的边。 图的数学基础是图论,本身是应用数学的一部分,在往下大概要涉及到拓扑学的领域了。

在知识图谱里,通常用“实体”来表达图里的节点、用“关系”来表达图里的“边”。实体指的是现实世界中的事物,关系则用来表达不同实体之间的某种联系,实体和关系也会拥有各自的属性。知识图谱的构建是后续应用的基础,而且构建的前提是需要把数据从不同的数据源中抽取出来。数据抽取的难点在于处理非结构化数据,这回涉及到NLP中的相关技术,例如实体命名识别、关系抽取、实体统一、指代消解等等。

知识图谱工程本身还是业务为重心,以数据为中心。不要低估业务和数据的重要性。

知识图谱最重要的核心在于对业务的理解以及对知识图谱本身的设计。要从业务逻辑出发,并且通过观察知识图谱的设计也很容易推测其背后业务的逻辑,而且设计时也要想好未来业务可能的变化。让知识图谱尽量轻量化、并决定哪些数据放在知识图谱,哪些数据不需要放在知识图谱,在于把知识图谱设计成小而轻的存储载体。

知识图谱主要有两种存储方式:RDF和图数据库。它们之间的区别如下图所示。RDF一个重要的设计原则是数据的易发布以及共享,图数据库则把重点放在了高效的图查询和搜索上。其次,RDF以三元组的方式来存储数据而且不包含属性信息,但图数据库一般以属性图为基本的表示形式,所以实体和关系可以包含属性,这就意味着更容易表达现实的业务场景。

那为什么要用图数据库呢? 核心在于“关系”。

关系是指人与人之间,人与事物之间,事物与事物之间的相互联系。

不同事物按着各种不同类型的关系而彼此联系在一起,例如,空间与时间的关系,整体与部分的关系,原因与结果的关系,内容与形式的关系以及遗传关系、函数相依关系、内部关系与外部关系等等。 数据结构中的关系指的是集合中元素之间的某种相关性。关系的运算包括集合的子,交,并,补等等。

在数学中,相关关系是一种非确定的相互依存关系:

事物之间的关系也是复杂的、无限多样的。

在现实生活中,每一个实体都和周围的其他实体有着千丝万缕的关系,这些关系里面所存储的信息甚至要大于实体本身的属性。

但是数据库有很多,为什么需要图数据库呢?关系型数据库和众多的NoSQL为什么不能完全拥有知识图谱的构建呢?

世界是由关系组成的,关系型数据库能够处理好关系吗?

关系型数据库

传统的关系型数据库更注重刻画实体内部的属性,实体与实体之间的关系通常都是利用外键来实现,将所有的数据用竖立的堆栈表示,并且保持它们直接的关系,在求解关系的时候通常需要join操作,而join操作通常又是耗时的。常常被优化用于聚合数据,而非高度关联的数据。

互联网尤其是移动互联网的爆发式增长本来就使得传统关系型数据库不堪重负,再加上诸如社交网络等应用对于关系的高需求,关系型数据库显得力不从心。

从应用开发的角度上看,不增加关系型数据库复杂性就不能建模和存储数据和关系。随着关系数量和层次的增加,数据库尺寸的增加,性能降低。当增加新类型的数据和关系的时候,需要重新设计,增加了时间成本,这些导致传统数据库不适用于有实时价值的数据关系。

既然这样,对于高度关联的数据存储与分析就需要求助于NoSQL了。

NoSQL

在一文中将NoSQL分为了4类:key-value,文档型,列存储和图数据库。

Key-Value模型适合用于简单的数据或者列表。当数据之间不断交互关联时,实际上更需要一张图。文档型NoSQL用来管理文档。在传统的数据库中,信息被分割成离散的数据段,而在文档数据库中,文档是处理信息的基本单位。文档可以很长,可以很复杂,可以是无结构的,与字处理文档类似。一个文档相当于关系数据库中的一条记录。文档型NoSQL用文档进行层次划分,而自由的数据规划也很容易被表示成一颗树。成长为一张图的话,文档之间的关联需要更有代表性的数据结构来存储,列存储的NoSQL也是如此。

从应用开发的角度看,这些NoSQL数据库不处理关系,没有数据结构建模或存储数据关系,没有查询结构支持些数据关系。而且,在应用中连接数据同样需要JOIN操作, 对事务没有 ACID 的支持。

因此,这三种 NoSQL 数据库也不适用于有实时价值的数据关系。

图数据库终于登场,它作为重点描述数据之间关系的数据库应运而生,最适合处理关系,能够制作从简单到到复杂的数据结构且互相连接的数据。图数据库成为了NoSQL中非常重要的一部分。

图数据库是基于数学里图论的思想和算法而实现的高效处理复杂关系网络的数据库。图形数据库善于高效处理大量的、复杂的、互连的、多变的数据,计算效率远远高于传统的关系型数据库。

图中每个节点代表一个对象,节点之间的连线代表对象之间的关系。节点可带标签,节点和关系都可以带若干属性。关系可以将节点组织成任意的结构,允许一张图被组织成一个列表,一棵树,一张地图,或者一个复杂的实体。这个实体本身也是由复杂的,关系高度关联的结构组成。

以图数据库Neo4J为例,用 Cypher 创建节点和关系的示意如下:

查询也很简单:

一个节点可以从单属性开始,成长为成千上亿,虽然会有一点点麻烦。从某种意义上讲,将数据用关系连接起来分布到不同节点上才是有意义的。对于通过某一给定的属性值来找到节点或者关系,对比遍历图查找,用索引将会更加高效。

用图来存储数据,是最接近高性能的一种用于存储数据的数据结构方式之一。图数据库也有很多,常用且比较闻名的应该是Neo4j了。

图数据库中的 Neo4j 是专为数据关系而生的,模型维护容易,白板模型即物理模型,查询也较简单,表映射关系变成了图关系,使用较少的资源就可以获得较高的性能。

用图来表示社交网络中人与人的关系

实际上,Neo4j最适合一个完整的企业部署或者用于一个轻量级项目中服务器的一个子集,有以下几个显著特特性:

ACID支持

ACID操作是保证数据一致性的基础。Neo4j确保了在一个事务里面的多个操作同时发生,保证数据一致性。不管是采用嵌入模式还是多服务器集群部署,都支持这一特性。

高可用性

图存储可以非常轻松的集成到任何一个应用中。随着应用在运营中的不断发展,性能问题肯定会逐步凸显出来,而Neo4j不管应用如何变化,只会受到计算机硬件性能的影响,而不受业务本身的约束。

轻松扩展

可以扩展到上亿级别的节点和关系,部署一个neo4j服务器便可以承载上亿级的节点和关系。当单节点无法承载数据需求时,可以进行分布式集群部署。通常来讲,对于10亿节点以下规模的图谱来说Neo4j已经足够了。

高速检索

通过Neo4j提供的遍历工具,可以非常高效的进行数据检索,每秒可以达到上亿级的检索量。

Neo4j的用户包括电子港湾、必能宝、沃尔玛、德国汉莎航空公司、思科、惠普、埃森哲等很多知名企业。

Neo4j是是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎。主要有三种访问Neo4j数据库的方式:

嵌入式

通过指定数据库地址直接访问数据库。

REST API

通过请求API访问数据库。

JDBC

通过Java API的方式访问数据库。

人生苦短,我用Python

应用Python完成基于Neo4j的应用,需要从安装py2neo:

Cipher 简要

简单的类比一下,可以把Cipher查询语言理解为SQL语句。

Cipher中的其他操作指令包括:

在Neo4j的集群部署中,一般使用zookeeper来负责neo4j server的心跳检测。

需要注意的是,在 zookeeper master选举期间,write请求不可处理,会直接返回异常,最好在客户端提供一种故障切换的重试机制进行控制。

在db-engines.com上,可以看到图数据库的市场排名。

市场有着较大的变化,曾经的记忆好像是这样的:

曾经关注的几种图数据库部分属性对比:

由于Neo4j没有缓存层,将无法支持读取QPS量,也不能满足分布式巨量数据存储的需要。许多大厂都有着自己图数据库,例如百度就开源了他的HugeGraph,可以存储海量的节点对象和复杂的关系。

    以上就是本篇文章【知新温故,从知识图谱到图数据库】的全部内容了,欢迎阅览 ! 文章地址:http://dfvalve.xrbh.cn/news/980.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 迅博思语资讯移动站 http://keant.xrbh.cn/ , 查看更多   
最新新闻
云南网络营销软件哪个好?权威推荐助您快速选择
在数字化时代,网络营销软件成为了许多企业实现营销目标的重要工具。然而,市面上网络营销软件琳琅满目,选择一个适合自己的并不
宫崎骏的时代结束了
在《你想活出怎样的人生》之前,宫崎骏一直是著名的退休诈骗犯。七次退休又七次复出,年过八旬,创作欲还是旺盛到令人害怕。然而
个人大数据信用查询平台哪个更准确一些?蘑菇画像个人大数据信用报告查询平台更好用
个人大数据信用查询平台哪个更准确一些?蘑菇画像个人大数据信用报告查询平台更好用,个人大数据信用查询平台市面上还是比较多的
小红书关键词热度查询!国风大潮下,品牌怎么玩出花样、玩出水平?
国风,是当下年轻人钟爱的潮流。汉服穿搭、文物手办、国潮仿妆……频频出圈。“民族的就是世界的”,国风的影响力可谓深远,一说
app推广接单发布平台哪个好?怎么领取任务赚钱?
最近几年,随着互联网的快速发展,利用网络兼职的赚钱方式也呈现越来越火,非常受大众欢迎的趋势。而且其种类也非常多:微商、社
【可打印】文学常识常考100题汇总,初中生练一练!(部编版初中语文)
关注本公众号,私信发送数字:2493,领取电子打印版文学常识1、成语“万事俱备,只欠东风”是根据《三国演义》________ (战役)
“迎旅发大会 游美丽望城”望城首届文旅短视频大赛,最高3万奖励等你来拿!
湘江水浩浩奔腾,流淌沧桑巨变。铜官窑静穆肃然,在这里诉说着望城的厚重历史,流传着“君生我未生,我生君已老”凄美爱情故事;落日
mysql导入大txt文件怎么打开_mysql怎么导入txt文件?
有时候我们在使用mysql数据库的时候,想导入txt文本文档,要怎么操作呢?下面本篇文章就来给大家介绍一下方法
寸头抖音短视频教程_人开始衰老的迹象是什么
岁月不饶人,我才50出头,可是许多衰老迹象已经越来越明显,惹得中医闺蜜笑话这样的我。1、觉得右后背和肩膀疼,出现“五十肩”
什么是网站页脚:以及最佳页脚设计示例
主体内容外,网站还包括页眉和页脚,用于帮助访问者的特定目的。由于我们认为网站页脚设计同样重要,我们整理了10个最佳免费网站
本企业新闻

点击拨打: