Latent Embeddings for Collective Activity Recognition

Stella981
• 阅读 510

个人总结:

第一次看到这个方面的论文,方法上还是用了后验概率来建立模型,不过代码并没有开源,具体细节还要商榷。

摘要

提出的问题:传统的手工定制的特征只能定义有限范围内的关系。在一个集体内,个体之间复杂的依赖关系不能很好地建立模型。

解决方法:通过在特征空间(feature space)嵌入潜在变量(embedding latent variable),利用深度学习框架学习特征映射函数。

嵌入的潜在变量包含了:

  1. 个人-集体之间互动的全局关系
  2. 通过联合建模,容纳更多范围内个体的上下文信息

另外在嵌入过程中,还利用了注意力机制,实现更为紧凑的表示(compact representation)。

介绍

我们通过将潜在变量嵌入在特征空间中来来推断拥有复杂依赖的潜在变量,而不是用人为定义的传统图模型。

两方面优点:

  1. 使用嵌入式的方法,模型可以对更为复杂的集体结构进行建模,而不是对个人-个人之间逐对建模。
  2. 个人与集体之间的非线性依赖关系可以通过在深度框架中有区分的学习过程推断出来。

为了获得更为精确的集体活动表示,在嵌入的过程中,为每一个个体设定不同的影响系数,一个注意力机制被引入去修正上下文结构。

Latent Embeddings for Collective Activity Recognition

Latent Embeddings for Collective Activity Recognition :捕捉person Latent Embeddings for Collective Activity Recognition 局部的person-group之间的互动。表示第 Latent Embeddings for Collective Activity Recognition 个个体的隐藏变量

Latent Embeddings for Collective Activity Recognition :通过整合所有的局部互动信息,挖掘全局互动。表示第 Latent Embeddings for Collective Activity Recognition 个scene场景的隐藏变量

为了有效的建模复杂的依赖,我们学习嵌入在特征空间的潜在变量的表示。

我们的方法

不采用直接推断潜在状态的方法,我们利用嵌入的潜在变量(已经在深度神经网络当中参数化)在一个全局的视角去表征结构信息,然后利用person-group互动建模来进行集体活动识别(collective activity recognition)工作。

Modeling Collective Activity with Latent Variable

  变量定义:

Latent Embeddings for Collective Activity Recognition :表示person Latent Embeddings for Collective Activity Recognition 的可见变量,Latent Embeddings for Collective Activity Recognition Latent Embeddings for Collective Activity Recognition Latent Embeddings for Collective Activity Recognition

Latent Embeddings for Collective Activity Recognition :集体场景涉及的所有个人

Latent Embeddings for Collective Activity Recognition :一个scene可见变量

后验概率:

Latent Embeddings for Collective Activity Recognition ​ 表示:隐藏变量 Latent Embeddings for Collective Activity Recognition 捕捉到了person Latent Embeddings for Collective Activity Recognition 与group之间的互动信息。

Latent Embeddings for Collective Activity Recognition ​表示:从一个全局的视角,Latent Embeddings for Collective Activity Recognition 捕捉到所有的集体场景内的互动。

Latent Embeddings for Collective Activity Recognition ​ 基于潜在变量,联合考虑局部person-group 的互动和全局context两方面,完成collective activity识别。

Latent Embeddings for Collective Activity Recognition

公式一Latent Embeddings for Collective Activity Recognition as the embedding of latent variable Latent Embeddings for Collective Activity Recognition , 可以表示 “the local person-group interaction" 这中局部person-group 交互

通过一下方式来构造它:

  1. 联合考虑person Latent Embeddings for Collective Activity Recognition 的一元的图像特征Latent Embeddings for Collective Activity Recognition
  2. person Latent Embeddings for Collective Activity Recognition 的所有邻居的平均表面特征Latent Embeddings for Collective Activity Recognition
  3. 上一步的嵌入式全局场景Latent Embeddings for Collective Activity Recognition , 其实就是全局上下文信息
  • 其中:Latent Embeddings for Collective Activity Recognition 表示 person Latent Embeddings for Collective Activity Recognition 的所有邻居们,Latent Embeddings for Collective Activity Recognition  
  • ";" 表示向量垂直连在一起
  • Latent Embeddings for Collective Activity Recognition 表示线性修正单元(RELU)
  • Latent Embeddings for Collective Activity Recognition 表示更新步值

同样的,Latent Embeddings for Collective Activity Recognition ​是 the embedding of latent variable Latent Embeddings for Collective Activity Recognition , 其作用是从一个全局的角度捕捉集体交流(collective interaction)。可以将其看作是全局关系的表示,因为它把个体和它附近的局部关系以非线性依赖的形式建模。

Latent Embeddings for Collective Activity Recognition

公式二:

通过一下方式来构造它:

  • global image feature 全局图像特征Latent Embeddings for Collective Activity Recognition
  • 池化所有人的低层特征,即Latent Embeddings for Collective Activity Recognition
  • 平均累计嵌入式的个人,即Latent Embeddings for Collective Activity Recognition

Latent Embeddings for Collective Activity Recognition

Latent Embeddings for Collective Activity Recognition

公式三:基于嵌入式的潜在变量,我可以定义后验概率,y表示一个活动标签名。

  • 其中Latent Embeddings for Collective Activity Recognition 表示一个激活函数,本文设置为softmax

Latent Embeddings for Collective Activity Recognition

公式四:使用了cross entropy 交叉熵损失函数来评判模型输出与实际注释的一致性。

  • 其中Latent Embeddings for Collective Activity Recognition 是模型参数,需要被学习到。
  • Latent Embeddings for Collective Activity Recognition 是activity 的标签数
  • Latent Embeddings for Collective Activity Recognition =1,如果这一帧图像属于类k;否则为0

Latent Embeddings for Collective Activity Recognition

公式五:引入注意力机制

Latent Embeddings for Collective Activity Recognition

公式六:在一个集体情景里,给定个体的关联之后,我们可以测量起源于individual Latent Embeddings for Collective Activity Recognition 的个人-集体之间交互的重要程度。

  • 其中Latent Embeddings for Collective Activity Recognition 是softmax函数的温度参数。

Latent Embeddings for Collective Activity Recognition

公式七:考虑到给定集体情景里所有的个体,我们可以构造嵌入式的场景方程如上。

实验

For feature representation, we used the feature maps obtained in the “pool5” layer of two-stream ResNet-50 net
(pretrained on the UCF101 action set [21]) as our twostream feature.

使用了ResNet-50

Latent Embeddings for Collective Activity Recognition

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Wesley13 Wesley13
3年前
java将前端的json数组字符串转换为列表
记录下在前端通过ajax提交了一个json数组的字符串,在后端如何转换为列表。前端数据转化与请求varcontracts{id:'1',name:'yanggb合同1'},{id:'2',name:'yanggb合同2'},{id:'3',name:'yang
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
GreenPlum tidb 性能比较
主要的需求  针对大体量表的OLAP统计查询,需要找到一个稳定,高性能的大数据数据库,具体使用  数据可以实时的写入和查询,并发的tps不是很高建立数据仓库,模式上主要采用星星模型、雪花模型,或者宽表前端展示分为3类 saiku、granafa、c代码开发数据体量:事实表在35亿、维度表大的在500
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
35岁是技术人的天花板吗?
35岁是技术人的天花板吗?我非常不认同“35岁现象”,人类没有那么脆弱,人类的智力不会说是35岁之后就停止发展,更不是说35岁之后就没有机会了。马云35岁还在教书,任正非35岁还在工厂上班。为什么技术人员到35岁就应该退役了呢?所以35岁根本就不是一个问题,我今年已经37岁了,我发现我才刚刚找到自己的节奏,刚刚上路。
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这