Facebook的慢速视频分类器AI

小编 2026-06-30 阅读:1998 评论:0
编辑 | TGS 发布 | ATYUN订阅号 灵长类动物的视网膜神经节细胞能从感光器接收视觉信息,然后再传递到大脑,但值得注意的是,并不是所有的眼部细胞都具备这种精密的能力,科学家通过测试发现,80%的细胞只能在低频率下工作并识别出细微的细...
编辑 | TGS 发布 | ATYUN订阅号

灵长类动物的视网膜神经节细胞能从感光器接收视觉信息,然后再传递到大脑,但值得注意的是,并不是所有的眼部细胞都具备这种精密的能力,科学家通过测试发现,80%的细胞只能在低频率下工作并识别出细微的细节,剩下的20%才能对快速的变化做出反应。

这种生物学上的二分法激发了Facebook人工智能研究的科学家们去追求他们所说的“慢速AI”。他们研发出了一个框架,是PyTorch框架的一个实现,名为SlowFast,可以在GitHub上使用,同时也可以使用经过训练的模型。这是一种用于视频识别的机器学习架构,他们声称,在动作分类和镜头检测方面都拥有“强大的性能”。

研究小组在一篇预印本论文中指出,慢速运动在统计上比快速运动更加常见,而且对颜色、纹理和灯光等语义的识别可以在不影响准确性的情况下缓慢刷新。另一方面,它们比主体标识发展得更快,能够在高时间分辨率下,分析已执行的动作。

“慢速”的作用有两种实现方式,其中一种以较低的帧速率和较慢的刷新速度运行,优化捕捉少量图像或稀疏帧给出的信息。另一种途径则以快速刷新速度和高时间分辨率,捕捉快速变化的运动。

研究人员断言,通过以不同的时间速率处理原始视频,较慢的路径更善于识别框架中不变或者变化缓慢的静态区域,而较快的路径则可以学会准确地推断动态区域中的操作。这两条通路的信息被融合后,用快速通路的数据,通过网络的横向连接进入慢速通路,可以使慢速路径能够感知来自快速路径的结果,并将其送到一个分类层中。

为了评估SlowFast的性能,该团队在两个流行的数据集上测试了该模型,这两个模型分别是:DeepMind的Kinetics-400和谷歌的AVA。

前者包括成千上万个YouTube上的10秒短视频,其中至少400个视频中包含了不同类别的人类行为。AVA则拥有430个带注释的15分钟YouTube视频和80个带注释的视觉动作。

SlowFast在这两个数据集上都获得了历史最佳成绩,并实现了28.3的mAP平均精度中值,研究人员在论文最后写道:“我们希望这一‘慢速’概念能促进视频识别的进一步研究……我们已经证明,通过减少通道容量,快速通道可以变得非常轻,同时还可以学习有用的视频识别时间信息。时间轴是一个特殊的维度,这篇论文主要就是对比沿着这条轴线的速度,研究了一个建筑型设计。”

版权声明

本文仅代表作者观点,不代表百度立场。
本文系作者授权百度百家发表,未经许可,不得转载。

热门文章
  • 机房智能化温湿度解决方式之POE供电以太网温湿度传感器

    机房智能化温湿度解决方式之POE供电以太网温湿度传感器
    机房智能化温湿度解决方式之POE供电以太网温湿度传感器 北京盈创力和电子科技有限公司 智能型TCP网口温湿度记录仪 北京IP网络温湿度记录仪厂家,北京盈创力和 北京智能型TCP网口温湿度记录仪IP网络温湿度记录仪是一种新型的基于TCP/IP协议双绞线以太网标准温湿度采集模块,利用它可以实现现场温度值、相对湿度值的采集,同时利用其自身的RJ45通信接口可以方便地和机房监控主机或交换机集线器进行联网。 工作于-40℃~85℃工业级带...
  • Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering

    Sequential Monte Carlo Methods (SMC) 序列蒙特卡洛/粒子滤波/Bootstrap Filtering
    Problem Statement 我们考虑一个具有马尔可夫性质、非线性、非高斯的状态空间模型(State Space Model):对于一个时间序列上的观测结果{yt,t∈N}\\{ y_t , t \\in N \\}{yt​,t∈N},我们认为每个观测结果yty_tyt​的生成依赖于一个无法直接观察的隐变量xt∈{xt,t∈N}x_t \\in \\{x_t , t \\in N \\}xt​∈{xt​,t∈N},即:p(...
  • HTTP状态保持的原理

    HTTP状态保持的原理
    a)在用户登录之后,浏览器返回响应的时候会在响应中添加上cookieb)浏览器接收到cookie之后会自动保存c)当用户再次请求同一服务器中的其他网页的时候,浏览器会自动带上之前保存的cookied)服务接收到请求之后可以请 request 对象中取到cookie 判断当前用户是否登录  Http是无状态的,就是连接时数据互通,关闭后...
  • Hive 系统函数及示例

    Hive 系统函数及示例
    查看所有系统函数 show functions; 函数分类 内置函数【系统函数】 数学函数: floor、round、ceil、cos、log2等 字符串函数: length、reverse、trim、lower、get_json_object、repeat等 收集函数: size 转换函数: cast 日期函数: year、month、datediff、date、date_add等 条件函数: coalesce、case…w...
  • CSRF的原理和防范措施

    CSRF的原理和防范措施
    a)攻击原理:i.用户C访问正常网站A时进行登录,浏览器保存A的cookieii.用户C再访问攻击网站B,网站B上有某个隐藏的链接或者图片标签会自动请求网站A的URL地址,例如表单提交,传指定的参数iii.而攻击网站B在访问网站A的时候,浏览器会自动带上网站A的cookieiv.所以网站A在接收到请求之后可判断当前用户是登录状态,所以...
标签列表