GPT-4 为 Duolingo 填补语言学习关键空白
GPT-4 深化了 Duolingo 上的对话体验，帮助填补语言学习中的关键空白。
#多模态
OpenAI NewsAI 评分4545 OpenAI News精选AI 评分8787 OpenAI 发布 GPT-4 多模态模型
OpenAI 发布 GPT-4，称其为该公司扩展深度学习进程中的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多种专业和学术基准上展现人类水平表现，同时在许多真实场景中仍不及人类。
推荐理由：原文点明了GPT-4的多模态输入能力和基准表现定位，读者可据此理解这一代模型相对前代的关键变化。
Hugging Face BlogAI 评分5555 Hugging Face 与 Kakao Brain 开源 ViT、ALIGN 模型与 COYO 数据集
Hugging Face 与 Kakao Brain 联合开源 COYO 图文数据集（700M 对）以及在其上训练的 ViT 和 ALIGN 模型，这是 ALIGN 首次免费开源，也是首个附带训练数据的 ViT 与 ALIGN 发布。
Hugging Face BlogAI 评分5757 Hugging Face 教程：用 Transformers 实现 BLIP-2 零样本图像到文本生成
Hugging Face 博客介绍 Salesforce Research 的 BLIP-2 如何在冻结的图像编码器与 LLM 之间加入轻量 Querying Transformer（Q-Former），以更少可训练参数实现多任务 SOTA。
Hugging Face BlogAI 评分5151 Hugging Face 博客详解视觉语言模型的预训练策略与 Transformers 实践
Hugging Face 官方博客系统介绍视觉语言模型，讲解对比学习、PrefixLM、交叉注意力融合、MLM/ITM 和免训练等五类预训练策略，并梳理常用预训练与下游数据集。文章列出 Transformers 支持的 CLIP、FLAVA、ViLT、CLIPSeg 等模型，给出用 ViLT 做 VQA 和用 CLIPSeg 做零样本图像分割的代码示例，还展望了医学、机器人等新兴研究方向。
Hugging Face BlogAI 评分4444 Hugging Face 计算机视觉生态现状：8 大核心任务、3000+ 模型与 100+ 数据集
Hugging Face 过去一年将计算机视觉支持扩展至 8 大核心任务，Hub 上已收录超过 3000 个模型和 100 个数据集，涵盖图像分类、分割、目标检测、深度估计等任务。
Hugging Face BlogAI 评分4040 AI 游戏开发教程 #3：3D Asset Generation 现状与未来
Hugging Face 的 AI 游戏开发教程第 3 篇指出，text-to-3D 目前还无法实际用于游戏开发，作者在 5 天农场游戏中改用不同颜色的立方体代表作物。
Hugging Face BlogAI 评分4444 用 Mask2Former 和 OneFormer 实现通用图像分割
Hugging Face transformers 开源库现已集成 Mask2Former 和 OneFormer 两个通用图像分割模型，可用统一架构完成实例、语义和全景分割三类任务。
Hugging Face BlogAI 评分4444 用 Hugging Face Datasets 和 Transformers 构建图像相似度系统
Hugging Face 发布教程，讲解如何用 🤗 Transformers 和 🤗 datasets 库构建图像相似度系统，通过计算图像 embeddings 并用余弦相似度衡量查询图与候选图的相似程度。
Hugging Face BlogAI 评分5555 用 Hugging Face Transformers 实现 CLIPSeg 零样本图像分割教程
Hugging Face 官方博客介绍如何用 🤗 transformers 调用 CLIPSeg 零样本分割模型，通过文本提示词和图像提示词（visual prompting）生成粗分割掩码。
Hugging Face BlogAI 评分4747 蛋白质深度学习入门：从语言模型到 ESMFold
Hugging Face 发布面向生物学家和机器学习者的蛋白质深度学习教程，讲解 BERT、GPT 等大语言模型启发的蛋白质语言模型原理与迁移学习机制，并提供微调蛋白质语言模型（PyTorch / TensorFlow）和 ESMFold 蛋白质折叠（PyTorch）两套示例 notebooks。
Hugging Face BlogAI 评分4141 Hugging Face Diffusion Models 课程与直播活动公布
Hugging Face 与 Jonathan Whitaker 合作的免费 Diffusion Models 课程将于 11 月 28 日发布，并在 11 月 30 日举办线上直播社区活动。
Hugging Face BlogAI 评分5555 Hugging Face 指南：用开源模型构建 Document AI 解决方案
Hugging Face 博客系统梳理了 Document AI 的六类用例（OCR、文档图像分类、版面分析、文档解析、表格抽取、DocVQA）及对应开源模型与评测指标。
Hugging Face BlogAI 评分4444 Japanese Stable Diffusion：面向日语的文生图模型
rinna Co., Ltd. 基于 Stable Diffusion 微调推出日语专用文生图模型 Japanese Stable Diffusion，可直接接受日语提示词，理解日语特有词汇、拟声词与专有名词，生成反映日语文化语境的图像。
Hugging Face BlogAI 评分3838 Hugging Face AutoTrain 新增图像分类任务
Hugging Face AutoTrain 新增图像分类（Image Classification）任务，成为其首个计算机视觉能力，用户无需写代码即可上传数据、选择任务并自动训练模型。
Hugging Face BlogAI 评分3838 在 Hugging Face Spaces 上可视化蛋白质结构
Hugging Face 介绍如何在 Spaces 中用 3Dmol.js 和 Gradio 的 HTML block 集成蛋白质结构可视化，支持输入 4 位 PDB code 或上传 PDB 文件，从 RCSB Protein Databank 拉取结构并渲染。
Hugging Face BlogAI 评分3838 在 Vertex AI 上部署 🤗 ViT
Hugging Face 演示了如何用 google-cloud-aiplatform Python SDK 将 🤗 Transformers 的 ViT B/16 TensorFlow 模型部署到 Vertex AI，相比 Kubernetes 部署代码量显著更少且同样具备可扩展性。
Hugging Face BlogAI 评分3434 Hugging Face Optimum Graphcore 上的 Vision Transformer 深度解析
Hugging Face 与 Graphcore 联合发布教程，展示如何在 Graphcore IPU 上用 Hugging Face Optimum 库微调 Vision Transformer（ViT）模型。
Hugging Face BlogAI 评分4444 Hugging Face 🤗 Datasets 推出音频与图像数据集新文档
Hugging Face 为 🤗 Datasets 新增音频与图像数据集文档，Quickstart 更新了多模态端到端示例，并推出 to_tf_dataset 函数，可将数据集直接转为 tf.data.Dataset。
Hugging Face BlogAI 评分4141 使用 TF Serving 部署 Hugging Face 中的 TensorFlow 视觉模型
Hugging Face 介绍了如何用 TensorFlow Serving (TF Serving) 本地部署 Transformers 中的 Vision Transformer (ViT) 图像分类模型，将其暴露为 REST 或 gRPC 端点。
OpenAI NewsAI 评分5050 OpenAI 减少 DALL·E 2 偏见并提升安全性
OpenAI 为 DALL·E 2 上线一项新技术，使其生成的人物图像更准确地反映世界人口的多样性。该技术旨在减少模型偏见并提升生成内容的安全性。
Hugging Face BlogAI 评分3535 Graphcore 与 Hugging Face 推出 IPU 就绪的 Transformers 新阵容
Graphcore 与 Hugging Face 将 Hugging Face Optimum 中可在 IPU 上运行的 Transformer 模型扩展至 10 个，覆盖 NLP、语音和计算机视觉，包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2。
Hugging Face BlogAI 评分2929 Hugging Face 多模态学习团队发布项目伦理宪章
Hugging Face 多模态学习团队发布了一份项目伦理宪章，将伦理原则前置到机器学习研究生命周期的核心。宪章由伦理落地、数据治理和隐私专家共同参与制定，明确了透明、开放可复现、公平、自我批判、致谢五项价值观，并列出禁止暴力歧视、侵犯隐私版权、生成虚假信息及在医疗法律等高风险领域滥用等六类内容政策。文档标注为 2022 年 5 月的阶段性成果，更新将通过 GitHub 追踪。
Hugging Face BlogAI 评分1515 Hugging Face 专访多位机器学习总监：ML 如何影响各行业
Hugging Face 推出系列专访，邀请多位机器学习总监分享 ML 对医疗、金融、电商、SaaS、研究、媒体等行业的影响与趋势。
OpenAI NewsAI 评分5353 OpenAI 发布论文：基于 CLIP latents 的层级式文本条件图像生成研究
OpenAI 发布论文《Hierarchical text-conditional image generation with CLIP latents》，研究基于 CLIP latents 的层级式文本条件图像生成方法。抓取失败，仅标题可用，正文细节缺失。
Hugging Face BlogAI 评分4444 用自定义数据集微调 SegFormer 语义分割模型
这篇 Hugging Face 教程演示如何用自定义数据集微调 SegFormer 语义分割模型，目标是让披萨配送机器人识别人行道与障碍物。
Hugging Face BlogAI 评分3838 用 🤗 datasets 构建图像搜索应用
Hugging Face 教程演示如何用 🤗 datasets 结合 sentence_transformers 和 faiss 构建图像搜索应用，使用 British Library 数字化书籍中提取的 10000 张 "embellishments" 图像数据集。
Hugging Face BlogAI 评分5050 用 🤗 Transformers 微调 ViT 进行图像分类
这篇教程演示如何用 🤗 datasets 加载 beans 数据集，并用 🤗 transformers 微调预训练的 google/vit-base-patch16-224-in21k 模型进行图像分类。流程包括用 ViTImageProcessor 对图像做归一化和 resize 到 224 等预处理，再将像素值送入模型训练。
Hugging Face BlogAI 评分5858 Hugging Face Transformers 集成 Perceiver IO 支持全模态
Hugging Face 官方宣布将 DeepMind 的 Perceiver IO 加入 Transformers 库，这是首个可处理文本、图像、音频、视频、点云等各类模态及其组合的 Transformer 架构模型。
Hugging Face BlogAI 评分3636 用遥感卫星图像与描述微调 CLIP
一个跨 12 个时区的团队在 Hugging Face Flax/JAX Community Week 期间，用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP 模型，使其能用文本查询检索卫星图像。
Hugging Face BlogAI 评分4545 Gradio 2.0：用 1 行代码加载和混搭 Hugging Face 模型
Gradio 2.0 让用户用 1 行代码即可加载并使用 Hugging Face Model Hub 上的几乎任何模型，生成带 GUI 的演示界面。默认调用 Hugging Face 托管的 Inference API，也可本地运行 transformers 计算。Gradio 还支持将多个模型并行对比或串联组合，用 3 行代码即可构建芬兰语新闻翻译加摘要的应用。
OpenAI NewsAI 评分4444 CLIP 中的多模态神经元
OpenAI 发现 CLIP 中存在多模态神经元，对同一概念无论以字面、符号还是概念形式呈现都会产生响应。这一发现可能解释了 CLIP 对概念的意外视觉呈现进行准确分类的原因，也是理解 CLIP 及类似模型所学习的关联与偏见的重要一步。
OpenAI News精选AI 评分7676 OpenAI 发布 CLIP：用自然语言监督连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别的视觉类别名称即可应用于任意视觉分类基准，其零样本能力与 GPT-2 和 GPT-3 类似。
OpenAI News精选AI 评分7878 OpenAI 发布 DALL·E 文本生成图像模型
OpenAI 宣布训练出名为 DALL·E 的神经网络，可根据文本描述为自然语言可表达的广泛概念生成图像。
推荐理由：原文点明了从文本生成图像这一能力方向，读者可据此理解多模态生成的早期定位。
OpenAI NewsAI 评分4141 Image GPT：用 Transformer 生成图像
OpenAI 发现，与训练语言相同的 Transformer 模型在像素序列上训练后，可以生成连贯的图像补全与样本。通过建立样本质量与图像分类准确率的相关性，研究显示其最佳生成模型所含特征在无监督设定下可与顶级卷积网络竞争。
OpenAI News精选AI 评分6262 OpenAI 开源音乐生成模型 Jukebox
OpenAI 发布 Jukebox，一个能以原始音频形式生成多种音乐流派和歌手风格音乐的神经网络，其中包含初步的歌唱能力。OpenAI 同时开源了模型权重和代码，并提供了一个用于浏览生成样本的工具。
推荐理由：原文说明了模型能生成的音频形态与开放程度，读者可据此判断其可复用性。
OpenAI NewsAI 评分4141 OpenAI Microscope 发布
OpenAI 推出 OpenAI Microscope，收录了 8 个常用于可解释性研究的视觉"模型生物"中每个重要层和神经元的可视化。该工具让分析神经网络内部形成的特征变得更容易，OpenAI 希望它能帮助研究社区理解这些复杂系统。
OpenAI NewsAI 评分5555 OpenAI 发布 MuseNet 音乐生成模型
OpenAI 发布 MuseNet，一个可生成 4 分钟、包含 10 种乐器并融合从 country 到 Mozart 到 the Beatles 等不同风格的深度神经网络。
OpenAI NewsAI 评分5858 OpenAI 发布 Sparse Transformer：序列预测长度提升至30倍
OpenAI 发布 Sparse Transformer，这是一种深度神经网络，在文本、图像和声音的序列下一 token 预测上刷新纪录。它通过对注意力机制做算法改进，能从比此前可能长 30 倍的序列中提取模式。
OpenAI NewsAI 评分4545 OpenAI：可从多尺度多视角欺骗神经网络分类器的对抗样本
OpenAI 制造出能在不同尺度和视角下可靠欺骗神经网络分类器的对抗样本图像，直接挑战了上周"自动驾驶汽车因从多尺度、多角度、多视角采集图像而难以被恶意欺骗"的说法。