avatar
Articles
200
Tags
38
Categories
0

Home
Archives
Tags
Categories
List
  • Music
  • Movie
Link
About
ALTNT's Hexo Blog
Home
Archives
Tags
Categories
List
  • Music
  • Movie
Link
About

Masked Autoencoders Are Scalable Vision Learners

Created2025-06-20|Updated2025-08-18
|Post Views:
Author: ALTNT
Link: http://blog.705553939.xyz/2025/06/20/%E5%9B%BE%E5%83%8F%E5%A4%84%E7%90%86/2021-Masked_Autoencoders_Are_Scalable_Vision_Learners/
Copyright Notice: All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.
Image Processing
Previous
周报2025年6月22日
Next
Climate-adaptive emergency crop monitoring in inaccessible regions with satellite imagery
Related Articles
2025-02-07
Deep Sets
2025-03-03
BERT Pre-training of Deep Bidirectional Transformers for Language Understanding
2024-11-03
Self-Supervised Transformer for Sparse and Irregularly Sampled Multivariate Clinical Time-Series
2025-02-05
Set Functions for Time Series
2024-11-04
A Self-Supervised Learning-based Approach to Clustering Multivariate Time-Series Data with Missing Values (SLAC-Time):An Application to TBI Phenotyping
2024-11-19
STraT代码阅读
avatar
ALTNT
Articles
200
Tags
38
Categories
0
Follow Me
Announcement
This is my Blog
Contents
  1. 1. Masked Autoencoders Are Scalable Vision Learners
    1. 1.1. 摘要
    2. 1.2. * 引言
    3. 1.3. * 相关工作
    4. 1.4. 方法
    5. 1.5. * ImageNet实验
      1. 1.5.1. 附录A.1. ImageNet实验
        1. 1.5.1.1. ViT架构
        2. 1.5.1.2. 预训练
        3. 1.5.1.3. 端到端微调。
        4. 1.5.1.4. 线性探测。
      2. 1.5.2. 三、关键特点与设置(以 MAE 实验为例)
        1. 1.5.2.1. 部分微调。
      3. 1.5.3. 附录A.2. Supervised Training ViT-L/H from Scratch(从头开始)
      4. 1.5.4. 4.1 主要特性
        1. 1.5.4.1. 掩码比例
        2. 1.5.4.2. 解码器设计
        3. 1.5.4.3. 掩码token
        4. 1.5.4.4. 重建目标
        5. 1.5.4.5. 数据增强
        6. 1.5.4.6. 掩码采样策略
        7. 1.5.4.7. 训练计划
      5. 1.5.5. 4.2 与先前结果的对比
        1. 1.5.5.1. 与自监督方法的对比
        2. 1.5.5.2. 与监督预训练的对比
      6. 1.5.6. 4.3 部分微调
    6. 1.6. 5. 迁移学习实验
      1. 1.6.1. 目标检测与分割
      2. 1.6.2. 语义分割
      3. 1.6.3. 分类任务
      4. 1.6.4. 像素vs. Token
    7. 1.7. 6. 讨论与结论
      1. 1.7.1. 更广泛的影响
Recent Post
周报2025年12月7日2025-12-08
周报2025年11月30日2025-11-30
LP-FT2025-11-23
周报2025年11月22日2025-11-22
In-season crop progress in unsurveyed regions using networks trained on synthetic data2025-11-16
©2020 - 2025 By ALTNT
Framework Hexo|Theme Butterfly