Hugging Face 博客详解视觉语言模型的预训练策略与 Transformers 实践

Hugging Face 官方博客系统介绍视觉语言模型，讲解对比学习、PrefixLM、交叉注意力融合、MLM/ITM 和免训练等五类预训练策略，并梳理常用预训练与下游数据集。文章列出 Transformers 支持的 CLIP、FLAVA、ViLT、CLIPSeg 等模型，给出用 ViLT 做 VQA 和用 CLIPSeg 做零样本图像分割的代码示例，还展望了医学、机器人等新兴研究方向。