浅谈基于Shapley值的数据融合反欺骗数据判断相关

天翼云开发者社区
• 阅读 374

本文分享自天翼云开发者社区《浅谈基于Shapley值的数据融合反欺骗数据判断相关》,作者:z****n

一、相关背景 多个信息源的数据进行融合处理后的信息具有较高准确性,同时具备互补性、及时性等特征,在一定程度上能够克服单信息源获取信息的局限性,能更加客观地对目标形成认识,具有更高置信度和较强鲁棒性。信息融合技术随着人工智能及物联网的发展,在人们日常生活中已被广泛应用。然而,在通过该技术享受生活便利的同时,也承担着其所带来的决策的误判、情报处理混乱等风险。 现代信息融合技术担当着越发重要的角色,其原理是通过传感器获取对状态、环境及目标的相关信息,并根据特定的算法对多个传感器所获信息进行处理,为得到用于评估战场的状态、敌方潜在的威胁以及自身相关方面的稳定性等重要信息提供依据。欺骗信息往往可以定义为故意或者无意操作产生的异常数据,比如假设一个欺骗者通过观察使用者与传感器之间的通信,然后发送虚假信息给使用者以干扰决策。 证据理论是由Dempster于1967年提出,之后由其学生Shafer对其进行了优化和改进,将之进一步发展,实现了相较于概率论等传统方法更加有效的表示和处理不确定性信息。此外,该理论将经典概率论中的基本时间空间拓宽为所有可能包含基本事件的幂集,也就是辨识框架的概念,同时在此基础上建立基本概率指派函数(Basic Probability Assignment, BPA)。源于该理论有着较强的不确定信息表示和处理能力,并且可以实现在无需先验信息的条件下进行融合等优点,在现代信息融合系统中得到了广泛的应用,是处理不确定信息的经典理论工具之一。 Shapley值最早是由诺贝尔经济学奖获得者L. Shapley在合作博弈论中提出的,旨在针对如何合理分配收益的问题,同时考虑到整体活动中每个参与成员之间的平等性,将成本或者收益按照所有的边际成本进行平均分配的原则,也就是说,每个参与者获得的收益值等于该参与人对所有可能联盟合作的边际贡献和的平均值。Yager将这种测量与变量相关的区分知识(不确定性-确定性)的想法扩展引入Shapley熵的模糊测度的情况,将Shapley值熵概念扩展到模糊度量方法,同时引入了模糊测度的基数指数,用它来定义模糊测度的态度特征并称之为Shapley熵,目前关于模糊信任函数讨论最广泛的转换方法是Shapley值。

二、意义所在 管理虚假和来自可能故意欺骗的信息一直以来都是信息融合过程中的一个重要问题。如果不积极管理虚假和欺骗性信息便相信基于组合来自多个不同来源的信息的任何结论,当真实信息与支持不真实可能性的欺骗性信息相结合时,基于来自所有来源的信息组合得出的结论可能会变得退化或错误。因此,提供有效可行的证据判定方案为高质量生成证据融合结果是有意义的。

三、问题与思路 仅是通过指标观察潜在欺骗数据的影响,并未给出一个直观可以理解的基础框架探讨一条证据是否应该融合或者是否存在欺骗证据的方法和方案,依旧存在值得进一步讨论和发展的研究问题,试想一下,1)当面向一个证据源时,无法直接判断即将融合的数据源中是否存在欺骗数据,即判断每条证据应不应该融合,其本质问题是讨论证据的可用性问题,即如何有效的判断证据是否可用;2)判断证据之后的下一步操作--丢弃还是进一步处理;3)进一步处理的方法。总技术路线概述如下:

浅谈基于Shapley值的数据融合反欺骗数据判断相关

基于技术路线分析:主要为针对多源(多属性)反欺骗信息判定机制以及证据融合策略的关键问题,基于Shapley值方法从证据差异性研究、证据合作收益模型、欺骗证据判定规则、欺骗消解机制以及冲突消解机制五部分内容进行研究。

四、冲突与欺骗 不一致信息往往由于信息源受到了干扰,更多层面上表现为客观数据的差异性,指标数据上表现为规律性或者自然噪声干扰引起的非剧烈波动。这种情况下,我们认为该信息虽然存在一定的差异性,但仍然具备有效信息量,应被Dempster组合规则接收融合,即不一致证据。

欺骗证据更多的是面向同一个问题,由于辨识框架的不完整或者是源自刻意以真实情况为依托进一步杜撰的一种反事实信息(Negative Information),数据上表现为无规律性,在一般情况下欺骗证据的数量应远小于正常数据,或不超过正常数据的一半。在这种情况下,基于对欺骗证据的慎重判定和筛选,我们假设欺骗证据存在两种情况,即强欺骗和弱欺骗。强欺骗是指完全欺骗,也就是对于其他BPA都高度支持的某一事件的基本分配概率为0,即对正确决策产生没有贡献和有效信息量。弱欺骗是指即使该证据对于正确决策的产生有贡献值(非0),但是基于证据判定规则依旧判断为欺骗证据的证据(下文简写为欺骗证据)。

综上,冲突证据包括不一致证据和欺骗证据,欺骗证据一定是冲突证据。因此,对待不一致证据和欺骗证据的处理方法应该不同。

五、小结 反欺骗一直是数据融合中的重要研究内容,现有的改变融合规则及证据折扣融合处理方法均基于需包含所有证据。然而,当前方法在确定所有证据的可用性的前提下,扩展了反欺骗方法的范围。首先对欺骗证据与冲突证据的概念分析和讨论了,通过欺骗证据判定模型实现对证据源中欺骗证据的有效判断,以构建数据融合前对证据进行反欺骗处理的数据模型思路。此外,针对证据理论中证据之间往往存在的不一致导致的证据冲突问题,基于Shapley值制定证据融合策略以实现更好的证据冲突管理。

点赞
收藏
评论区
推荐文章
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Easter79 Easter79
3年前
springboot2之优雅处理返回值
前言最近项目组有个老项目要进行前后端分离改造,应前端同学的要求,其后端提供的返回值格式需形如{"status":0,"message":"success","data":{}}方便前端数据处理。要实现前端同学这个需求,其实也挺简单的,
大数据助力政治学研究
随着信息技术迅猛发展,新型信息分析技术被应用到政治学研究中来。许多政治学研究者采用当前比较成熟的大数据爬取、大数据文本分析等技术,获取新的研究素材并进行分析整理。同时,以亿万为量级单位的大数据本身就具有政治学研究价值。可以说,大数据为政治学带来研究方法上的创新,也进一步拓展了政治学研究领域。基于大数据对网络民意进行研究。网络上有许多现成数据可以用于对网络民意
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
四儿 四儿
1年前
语音识别技术在智能家居领域的应用与前景
一、引言随着人工智能和物联网技术的快速发展,智能家居成为了人们日常生活的重要部分。语音识别技术作为智能家居的关键技术之一,能够为家庭生活带来诸多便利。本文将探讨语音识别技术在智能家居领域的应用以及未来的发展前景。二、语音识别技术在智能家居领域的应用1.智能
四儿 四儿
11个月前
语音数据集在智能语音助手中的应用与挑战
一、引言随着人工智能技术的不断发展,智能语音助手已经成为了人们日常生活中不可或缺的一部分。智能语音助手通过语音交互的方式,为人们提供了便捷、高效的信息查询、任务管理等服务。语音数据集在智能语音助手中发挥着重要作用,为系统提供了丰富的语音数据和信息,推动了智
数字先锋 | 乘云而上!天翼云助力东吴人寿开启云端办公新体验
在数字技术飞速发展的今天,推动大数据、云计算等信息技术手段与金融业态融合发展创新,已成为金融业转型升级的重点方向。与此同时,我国多项网络安全法律法规的出台,也对金融行业的安全管理提出了更高要求。在行业发展与监管要求双轮驱动下,全面推进数字化转型,将有助于金融企业在新时代下行稳致远。
数字先锋 | 部委门户网站上云!这样做!
2020年9月,中共中央办公厅、国务院办公厅印发了《关于加快推进媒体深度融合发展的意见》,提出要以先进技术引领驱动融合发展。如何用好5G、大数据、云计算、物联网、区块链、人工智能等信息技术革命成果,推动关键核心技术自主创新,完善媒体深度融合的“最后一公里”布局成为新的发力点。某部委与时俱进,充分利用大数据、云计算等技术,携手天翼云,以“统一部署、统一管理、统
计算机视觉与信息取证技术讲解
今晚20:0022:00人工智能技术与自信计算机视觉就是用各种成像系统代替视觉器官作为输入敏感手段,由计算机来代替大脑完成处理和解释。计算机视觉的最终研究目标就是使计算机能象人那样通过视觉观察和理解世界,具有自主适应环境的能力。要经过长期的努力才能达到的目标。因此,在实现最终目标以前,人们努力的中期目标是建立一种视觉系统,这个系统能依据视觉敏感和反馈的某
秋桐 秋桐
1年前
通过Java程序将Excel转换为PDF文档格式
Excel广泛应用于商业、教育等众多领域,具有丰富的数据处理和分析功能,包括计算、图表、排序、筛选、数据透视表等。在处理大型数据内容时,Excel绝对是最佳工具。但如果要将处理好的数据内容进行保存和传输的话,转换为PDF文档格式或许更加可靠。PDF文档的稳定布局可以避免数据内容被随意更改,即使是在多次传输后也能保证数据的准确性。将Excel转换为PDF的工具有很多。这里我将介绍如何通过编程的方法来实现该功能。以Java代码为例,使用到的产品是FreeSpire.XLSforJava(免费版)。下面是程序环境和示例代码。
天翼云开发者社区
天翼云开发者社区
Lv1
天翼云是中国电信倾力打造的云服务品牌,致力于成为领先的云计算服务提供商。提供云主机、CDN、云电脑、大数据及AI等全线产品和场景化解决方案。
文章
696
粉丝
15
获赞
40