文献阅读(76)CVPR2022-Masked Autoencoders Are Scalable Vision Learners
创始人
2024-06-03 16:59:32
0

本文是对《Masked Autoencoders Are Scalable Vision Learners》一文的浅显翻译与理解,如有侵权即刻删除。

更多相关文章,请移步:
文献阅读总结:计算机视觉

文章目录

  • Title
  • 总结

Title

《Masked Autoencoders Are Scalable Vision Learners》

——CVPR2022

Author: 何恺明

总结

具体讲解可参考李沐解读视频:https://www.bilibili.com/video/BV1sq4y1q77t/?spm_id_from=333.999.0.0

文章提出了MAE模型,本质上是将transformer应用到了视觉领域,在此对几个模型演变进行解释:transformer提出于NLP领域,是有监督学习,而BERT对齐扩展到了自监督学习领域。与此同时,VIT将transformer迁移到cv方向,仍然是有监督学习,那么这篇MAE就可视为视觉领域中的BERT。

在这里插入图片描述

在这里插入图片描述

在此,将结合另外一篇论文进行解读,NeurIPS2022-Masked Autoencoders As Spatiotemporal Learners,该论文把MAE从视觉领域扩展到了视频领域。

文章指出,相比于文本数据的精炼,图像和视频数据往往有着较多的冗余信息,即便对少部分位置进行掩码,也能够通过周围信息直接推断。

因此,不同于BERT的掩码率在15%,MAE在图像上的掩码率达到75%,而在视频上达到90%。

在这里插入图片描述

图像版本的MAE有几个主要流程:(1)非对称masked autoencoders;(2)把可见的patch输入encoder,然后把masked tokens合并进去;(3)解码后补全图片。而视频版本的MAE没有对时空的注意力进行解耦的操作,直接规则地切分了三维的像素块作为patch。

该模型的结构也非常简洁明了,是transformer在cv和视频领域强大应用能力的又一佐证。而且通过对文本、图像、视频三种不同模态数据上不同掩码率的比较,也让人对多模态数据的区别有了直观的认知。

相关内容

热门资讯

linux入门---制作进度条 了解缓冲区 我们首先来看看下面的操作: 我们首先创建了一个文件并在这个文件里面添加了...
C++ 机房预约系统(六):学... 8、 学生模块 8.1 学生子菜单、登录和注销 实现步骤: 在Student.cpp的...
JAVA多线程知识整理 Java多线程基础 线程的创建和启动 继承Thread类来创建并启动 自定义Thread类的子类&#...
【洛谷 P1090】[NOIP... [NOIP2004 提高组] 合并果子 / [USACO06NOV] Fence Repair G ...
国民技术LPUART介绍 低功耗通用异步接收器(LPUART) 简介 低功耗通用异步收发器...
城乡供水一体化平台-助力乡村振... 城乡供水一体化管理系统建设方案 城乡供水一体化管理系统是运用云计算、大数据等信息化手段࿰...
程序的循环结构和random库...   第三个参数就是步长     引入文件时记得指明字符格式,否则读入不了 ...
中国版ChatGPT在哪些方面... 目录 一、中国巨大的市场需求 二、中国企业加速创新 三、中国的人工智能发展 四、企业愿景的推进 五、...
报名开启 | 共赴一场 Flu... 2023 年 1 月 25 日,Flutter Forward 大会在肯尼亚首都内罗毕...
汇编00-MASM 和 Vis... Qt源码解析 索引 汇编逆向--- MASM 和 Visual Studio入门 前提知识ÿ...
【简陋Web应用3】实现人脸比... 文章目录🍉 前情提要🌷 效果演示🥝 实现过程1. u...
前缀和与对数器与二分法 1. 前缀和 假设有一个数组,我们想大量频繁的去访问L到R这个区间的和,...
windows安装JDK步骤 一、 下载JDK安装包 下载地址:https://www.oracle.com/jav...
分治法实现合并排序(归并排序)... 🎊【数据结构与算法】专题正在持续更新中,各种数据结构的创建原理与运用✨...
在linux上安装配置node... 目录前言1,关于nodejs2,配置环境变量3,总结 前言...
Linux学习之端口、网络协议... 端口:设备与外界通讯交流的出口 网络协议:   网络协议是指计算机通信网...
Linux内核进程管理并发同步... 并发同步并发 是指在某一时间段内能够处理多个任务的能力,而 并行 是指同一时间能够处理...
opencv学习-HOG LO... 目录1. HOG(Histogram of Oriented Gradients,方向梯度直方图)1...
EEG微状态的功能意义 导读大脑的瞬时全局功能状态反映在其电场结构上。聚类分析方法一致地提取了四种头表面脑电场结构ÿ...
【Unity 手写PBR】Bu... 写在前面 前期积累: GAMES101作业7提高-实现微表面模型你需要了解的知识 【技...