知识图谱|知识图谱的典型应用

helloworld_38131402
• 阅读 472

作者: cooldream2009 

我们构建知识图谱的目的,在于利用知识图谱来做一些事情。有效利用知识图谱,就是要考虑知识图谱的具备的能力,知识图谱具有哪些能力呢,首先我们知道知识图谱包含了海量的数据,是一个超级知识库,所以我们可以依赖它进行搜索一些内容,由于知识图谱的数据组织方式是计算机能理解的,具有语义,这种搜索可以定义为语义搜索。第二,对搜索进行延伸,搜索的结果可能会有很多,按照一定的规则排序,如果只取最可能的答案,就变成了问答系统,这也是知识图谱的典型应用。第三,将知识图谱与其它技术进行结合,可以充分利用知识图谱的知识,比如将用户的个性化特征与知识图谱结合,能够得到个性化推荐系统。第四,将知识图谱的数据进行深度分析,按照一定的规则进行推断,还可以得到辅助决策。

1 语义搜索 知识图谱的概念,最早就是由谷歌提出,大家知道,谷歌是做搜索引擎的,它提出知识图谱的概念,就是为了优化搜索。语义搜索作为一个概念,起源于常被称为互联网之父的Tim Berners-Lee 在2001 年《科学美国人》(Scientific American)上发表的一篇文章。其中,他解释了语义搜索的本质。

语义搜索的本质是通过数学来摆脱当今搜索中使用的猜测和近似,并为词语的含义以及它们如何关联到我们在搜索引擎输入框中所找的东西引进一种清晰的理解方式。

百科给出了更明确地定义,也更容易理解。

所谓语义搜索,是指搜索引擎的工作不再拘泥于用户所输入请求语句的字面本身,而是透过现象看本质,准确地捕捉到用户所输入语句后面的真正意图,并以此来进行搜索,从而更准确地向用户返回最符合其需求的搜索结果。

举例来说,我们用百度来搜索“现任美国总统的夫人”的图片,搜出来的多数是美国总统特朗普的夫人,还有少量kelindun和aobama夫人的图片,说明搜索引擎理解了我们的搜索内容,给我们找到了我们想要的答案。少量前任总统夫人的结果,说明搜索技术还需要进一步完善,可以把这部分内容看作是噪声,应该过滤掉的,随着算法的改进,结果应该会更加准确。

知识图谱|知识图谱的典型应用

语义搜索是知识图谱最典型的应用,它首先将用户输入的问句进行解析,找出问句中的实体和关系,理解用户问句的含义,然后在知识图谱中匹配查询语句,找出答案,最后通过一定的形式将结果呈现到用户面前。

2 智能问答 智能问答,就是通过一问一答的形式,用户和具有智能问答系统的机器之间进行交互,就像是两个人进行问答一样,具有智能问答系统的机器就像一个智者一样,为用户提供答案,友好的进行交谈。

作为人工智能的一个重要应用案例,智能问答系统在很多场景中发挥作用。

比如原来很多的在线客服,正在部分的被智能问答系统取代,早些年银行、电信等行业的在线客服,不同业务按不同的数字,在进入细分业务,继续选不同的数字,一直要选很多次,有了智能问答,会简化这些繁琐的过程,直接根据用户的问话,给出答案。当然,现在的智能问答,还不够完善,只能部分取代在线客服,如果不能提供有效的答案,还是要由人工客服提供服务。还有一些智能问答机器人,也会提供一些简单的服务,比如给孩子用的机器人,可以提供儿歌、算术、诗词、语文、英语等方面的内容,代替了老师的一部分职能。还有一些聊天机器人,提供情景对话,就像一个人一样,和用户进行聊天。

知识图谱|知识图谱的典型应用

同为智能问答,特点不同,依赖的知识图谱技术也不同,聊天机器人,不仅提供情景对话,也能够提供各行各业的知识,它依赖的知识图谱是开放领域的知识图谱,提供的知识非常宽泛,能够为用户提供日常知识,也能进行聊天式的对话。那些行业用的智能问答系统,依赖的是行业知识图谱,知识集中在某个领域,专业知识丰富,能够为用户有针对性的提供专业领域知识。

智能问答,可以看作是语义搜索的延伸,语义搜索的结果会按照某种规则进行排序,依据一定的算法将最相关的排在前面,我们使用百度、谷歌搜索引擎进行搜索时,结果可能包括很多页,就是语义搜索的常见形式。智能问答,属于一问一答,只要一个答案,也就是将最相关的那个答案反馈给用户,如果像聊天一样,不断地进行问答,回答不仅仅是在知识库中搜索,还要考虑前面的聊天内容。

3 个性化推荐 个性化推荐是根据用户的个性化特征,为用户推荐感兴趣的产品或内容。百度百科给出的定义是:

个性化推荐系统是互联网和电子商务发展的产物,它是建立在海量数据挖掘基础上的一种高级商务智能平台,向顾客提供个性化的信息服务和决策支持。

我们上网的时候会经常查找一些我们感兴趣的页面或者产品,在浏览器上浏览过的痕迹会被系统记录下来,放入我们的特征库,比如对于电子商务网站来说,如果我们想购买笔记本,就会在电子商务网站上查看比较不同商家的笔记本,我们再次打开电子商务网站的时候,笔记本这个产品就会优先显示在商品列表中,供我们选择。再比如,浏览新闻,如果我们对体育类或者社会热点很关注,新闻APP就会给我们推荐体育题材或者社会热点的新闻。

知识图谱|知识图谱的典型应用

个性化推荐系统通过收集用户的兴趣偏好、属性,产品的分类、属性、内容等,分析用户之间的社会关系,用户和产品的关联关系,利用个性化算法,推断出用户的喜好和需求,从而为用户推荐感兴趣的产品或者内容。

4 辅助决策 辅助决策,就是利用知识图谱的知识,对知识进行分析处理,通过一定规则的逻辑推理,得出对于某种结论,为用户决断提供支持。以下是百科给出的定义。

辅助决策系统,以决策主题为重心,以互联网搜索技术、信息智能处理技术和自然语言处理技术为基础,构建决策主题研究相关知识库、政策分析模型库和情报研究方法库,建设并不断完善辅助决策系统,为决策主题提供全方位、多层次的决策支持和知识服务。

知识图谱|知识图谱的典型应用

随着我国日益变为老龄化社会,养老问题成为人们关注的焦点,也成为研究的重要课题。对一个地区来说,应该采用什么样的养老模式,配套设施应该如何建设,才能解决老人的养老问题。就需要对这个地区的老人、基础设施、配套情况、周围环境等建立知识库,分析老人日常生活,发现问题,对数据进行汇总,根据已有事实得出结论,为政府制定政策提供决策支持。这里面最基础的问题是建立所有数据的知识图谱以及有效的推理规则,最后才能得出有意义的结论。

知识图谱知识点:

一、知识图谱概论

1.1知识图谱的起源和历史

1.2知识图谱的发展史——从框架、本体论、语义网、链接数据到知识图谱

1.3知识图谱的本质和价值

1.4知识图谱VS传统知识库VS关系数据库

1.5经典的知识图谱

1.5.1经典的CYC, WordNnet, WikiData, DBpedia, YAGO, NELL等知识库

1.5.2行业知识图谱:

Google知识图谱,微软实体图,阿里知识图谱,医学知识图谱,基因知识图谱等知识图谱项目

二、知识图谱应用

2.1知识图谱应用场景

2.2知识图谱应用简介

2.2.1知识图谱在数字图书馆上的应用

2.2.2知识图谱在国防、情报、公安上的应用

2.2.3知识图谱在金融上的应用

2.2.4知识图谱在电子商务中的应用

2.2.5知识图谱在农业、医学、法律等领域的应用

2.2.6知识图谱在制造行业的应用

2.2.7知识图谱在大数据融合中的应用

2.2.8知识图谱在人机交互(智能问答)中的应用

三、知识表示与知识建模

3.1知识表示概念

3.2 知识表示方法

a.语义网络 b.产生式规则 c.框架系统 d.描述逻辑 e.本体 f.RDF和RDFS

g.OWL和OWL2 Fragments h.SPARQL查询语言

i.Json-LD、RDFa、HTML5 MicroData等新型知识表示

3.3典型知识库项目的知识表示

3.4知识建模方法学

3.5知识表示和知识建模实践

1.sanguo演义知识图谱的表示和建模实践案例

2.学术知识图谱等

四、知识抽取与挖掘

4.1知识抽取基本问题

a.实体识别 b.关系抽取 c.事件抽取

4.2数据采集和获取

4.3面向结构化数据的知识抽取

a.D2RQ b.R2RML

4.4面向半结构化数据的知识抽取

a.基于正则表达式的方法 b.基于包装器的方法

4.5.面向非结构化数据的知识抽取

a.实体识别技术(基于规则、机器学习、深度学习、半监督学习、预训练等方法)

b.关系抽取技术(基于模板、监督、远程监督、深度学习等方法)

c.事件抽取技术(基于规则、深度学习、强化学习等方法)

4.6.知识挖掘

a.实体消歧b.实体链接c.类型推断 d.知识表示学习

4.7知识抽取上机实践

A.面向半结构化数据的sanguo演义知识抽取

B.面向文本的sanguo演义知识抽取

C.人物关系抽取

五、知识融合

5.1知识融合背景

5.2知识异构原因分析

5.3知识融合解决方案分析

5.4.本体对齐基本流程和常用方法

a.基于文本的匹配 b.基于图结构的匹配 c.基于外部知识库的匹配

e.不平衡本体匹配 d.跨语言本体匹配 f.弱信息本体匹配

5.5实体匹配基本流程和常用方法

a.基于相似度的实例匹配 b.基于规则或推理的实体匹配

c.基于机器学习的实例匹配 d.大规模知识图谱的实例匹配

(1)基于分块的实例匹配

(2)无需分块的实例匹配

(3)大规模实例匹配的分布式处理

5.6 知识融合上机实践

1.百科知识融合

2.OAEI知识融合任务

六、存储与检索

6.1.知识图谱的存储与检索概述

6.2.知识图谱的存储

a.基于表结构的存储 b.基于图结构的存储

6.3.知识图谱的检索

a.关系数据库查询:SQL语言 b数据库查询:SPARQL语言

6.4.上机实践案例:利用GraphDB完成知识图谱的存储与检索

七、知识推理

7.1.知识图谱中的推理技术概述

7.2.归纳推理:学习推理规则

a.归纳逻辑程设计Øb.关联规则挖掘 c.路径排序算法

上机实践案例:利用AMIE+算法完成Freebase数据上的关联规则挖掘

7.3.演绎推理:推理具体事实

Ø a.马尔可夫逻辑网 b.概率软逻辑

7.4.基于分布式表示的推理

a.TransE模型及其变种 b.RESCAL模型及其变种

c.(深度)神经网络模型介绍 d.表示学习模型训练

7.5.上机实践案例:利用分布式知识表示技术完成Freebase上的链接预测

八、语义搜索

8.1.语义搜索概述

8.2.搜索关键技术

a.索引技术:倒排索引

b.排序算法:BM25及其扩展

8.3.知识图谱搜索

a.实体搜索

b.关联搜索

8.4.知识可视化 a.摘要技术

8.5.上机实践案例:SPARQL搜索

九、知识问答

9.1.知识问答概述

9.2.知识问答基本流程

9.3.相关测试集:QALD、WebQuestions等

9.4.知识问答关键技术

a.基于模板的方法

b.语义解析

c.基于深度学习的方法

9.5.上机实践案例:DeepQA、TemplateQA

点赞
收藏
评论区
推荐文章
知识图谱Knowledge Graph构建与应用
《新一代人工智能发展规划》明确提出了“建立新一代人工智能关键共性技术体系”的重点任务,特别强调了要解决“研究跨媒体统一表征、关联理解与知识挖掘、知识图谱构建与学、知识演化与推理、智能描述与生成等技术,开发跨媒体分析推理引擎与验证系统”的关键共性技术问题。一、知识图谱概论1.1知识图谱的起源和历史1.2知识图谱的发展史——从框架、本体论、语义网、链
Wesley13 Wesley13
3年前
##好好好####BERT meet Knowledge Graph:预训练模型与知识图谱相结合的研究进展
随着BERT等预训练模型横空出世,NLP方向迎来了一波革命,预训练模型在各类任务上均取得了惊人的成绩。随着各类预训练任务层出不穷,也有部分研究者考虑如何在BERT这一类模型中引入或者强化知识图谱中包含的信息,进而增强BERT对背景知识或常识信息的编码能力。本文主要关注于如何在BERT中引入知识图谱中信息,并survey了目前已公布的若干种方法,欢迎大家批评和
Stella981 Stella981
3年前
Jure Leskovec等顶尖学者倾情授课,斯坦福知识图谱课程完结
  机器之心报道  参与:杜伟、魔王斯坦福知识图谱春季课程视频上线B站,领域内顶尖学者和业界大牛倾情授课,对知识图谱感兴趣的小伙伴赶紧去观看吧!  从Google搜索,到聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统,这些应用无一不跟知识图谱相关。知识图谱在技术领域的热度也在逐渐上升。  但
知识图谱丨知识图谱赋能企业数字化转型
知识图谱丨知识图谱赋能企业数字化转型相互关联是大数据时代的鲜明特征。激增且日益复杂的海量数据正通过各种方式对企业发展产生重要影响。如何正确理解和解读数据,发掘其内在价值,从而推动企业的智能决策备受关注。在当今的商业世界或者日常生活中,无论是企业还
知识图谱:技术成熟度飞速跃升,与产业互联结合更加紧密
国双数据科学团队刘燕对比2020和2019年Gartner发布的人工智能领域的技术“成熟度曲线”(HypeCycle),在短短1年时间,知识图谱的成熟度由创新触发阶段一跃达到预期膨胀高峰阶段且非常接近最高点。知识图谱逐渐成为人工
胡赤儿 胡赤儿
8个月前
知识图谱技术的深度解析与应用前景展望
在数字化时代,信息爆炸式增长,如何有效地组织、存储和查询知识成为了一个亟待解决的问题。知识图谱作为一种新型的知识表示和组织方式,正逐渐成为信息领域的研究热点。本文将对知识图谱的技术原理、构建方法以及应用前景进行深度解析,旨在为读者提供一个全面而深入的了解。
知识图谱自动化构建的探索与挑战
知识图谱自动化构建的探索与挑战|论文分享达观数据知识图谱的自动化构建是知识图谱中具有极强挑战性且巨大应用价值的技术方向。就实体抽取技术,达观数据副总裁、上海市人工智能技术标准委员会委员王文广提到“狭义的实体抽取,即命名实体识别(NER)技术发展至今已较为成熟,能够很好地抽取出人名、地名、机构名等少数类型的实体。但在知识图谱实际应用中,则需要抽取出各式各样各不
知识图谱进阶UP!UP!
知识图谱一、知识图谱概论1.1知识图谱始于20世纪50年代,至今大致分为三个发展阶段:•第一阶段(1955年—1977年)是知识图谱的起源阶段,在这一阶段中引文网络分析开始成为一种研究当代科学发展脉络的常用方法;•第二阶段(1977年2012年)是知识图谱的发展阶段,语义网得到快速发展,“知识本体”的研究开始成为计算机科学的一个重要领域,知识图谱