Hugging Face Diffusion Models 课程与直播活动公布
Hugging Face 与 Jonathan Whitaker 合作的免费 Diffusion Models 课程将于 11 月 28 日发布，并在 11 月 30 日举办线上直播社区活动。
#多模态
Hugging Face BlogAI 评分4141
Hugging Face BlogAI 评分5555 Hugging Face 指南：用开源模型构建 Document AI 解决方案
Hugging Face 博客系统梳理了 Document AI 的六类用例（OCR、文档图像分类、版面分析、文档解析、表格抽取、DocVQA）及对应开源模型与评测指标。
Hugging Face BlogAI 评分4444 Japanese Stable Diffusion：面向日语的文生图模型
rinna Co., Ltd. 基于 Stable Diffusion 微调推出日语专用文生图模型 Japanese Stable Diffusion，可直接接受日语提示词，理解日语特有词汇、拟声词与专有名词，生成反映日语文化语境的图像。
Hugging Face BlogAI 评分3838 Hugging Face AutoTrain 新增图像分类任务
Hugging Face AutoTrain 新增图像分类（Image Classification）任务，成为其首个计算机视觉能力，用户无需写代码即可上传数据、选择任务并自动训练模型。
Hugging Face BlogAI 评分3838 在 Hugging Face Spaces 上可视化蛋白质结构
Hugging Face 介绍如何在 Spaces 中用 3Dmol.js 和 Gradio 的 HTML block 集成蛋白质结构可视化，支持输入 4 位 PDB code 或上传 PDB 文件，从 RCSB Protein Databank 拉取结构并渲染。
Hugging Face BlogAI 评分3838 在 Vertex AI 上部署 🤗 ViT
Hugging Face 演示了如何用 google-cloud-aiplatform Python SDK 将 🤗 Transformers 的 ViT B/16 TensorFlow 模型部署到 Vertex AI，相比 Kubernetes 部署代码量显著更少且同样具备可扩展性。
Hugging Face BlogAI 评分3434 Hugging Face Optimum Graphcore 上的 Vision Transformer 深度解析
Hugging Face 与 Graphcore 联合发布教程，展示如何在 Graphcore IPU 上用 Hugging Face Optimum 库微调 Vision Transformer（ViT）模型。
Hugging Face BlogAI 评分4444 Hugging Face 🤗 Datasets 推出音频与图像数据集新文档
Hugging Face 为 🤗 Datasets 新增音频与图像数据集文档，Quickstart 更新了多模态端到端示例，并推出 to_tf_dataset 函数，可将数据集直接转为 tf.data.Dataset。
Hugging Face BlogAI 评分4141 使用 TF Serving 部署 Hugging Face 中的 TensorFlow 视觉模型
Hugging Face 介绍了如何用 TensorFlow Serving (TF Serving) 本地部署 Transformers 中的 Vision Transformer (ViT) 图像分类模型，将其暴露为 REST 或 gRPC 端点。
OpenAI NewsAI 评分5050 OpenAI 减少 DALL·E 2 偏见并提升安全性
OpenAI 为 DALL·E 2 上线一项新技术，使其生成的人物图像更准确地反映世界人口的多样性。该技术旨在减少模型偏见并提升生成内容的安全性。
Hugging Face BlogAI 评分3535 Graphcore 与 Hugging Face 推出 IPU 就绪的 Transformers 新阵容
Graphcore 与 Hugging Face 将 Hugging Face Optimum 中可在 IPU 上运行的 Transformer 模型扩展至 10 个，覆盖 NLP、语音和计算机视觉，包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2。
Hugging Face BlogAI 评分2929 Hugging Face 多模态学习团队发布项目伦理宪章
Hugging Face 多模态学习团队发布了一份项目伦理宪章，将伦理原则前置到机器学习研究生命周期的核心。宪章由伦理落地、数据治理和隐私专家共同参与制定，明确了透明、开放可复现、公平、自我批判、致谢五项价值观，并列出禁止暴力歧视、侵犯隐私版权、生成虚假信息及在医疗法律等高风险领域滥用等六类内容政策。文档标注为 2022 年 5 月的阶段性成果，更新将通过 GitHub 追踪。
Hugging Face BlogAI 评分1515 Hugging Face 专访多位机器学习总监：ML 如何影响各行业
Hugging Face 推出系列专访，邀请多位机器学习总监分享 ML 对医疗、金融、电商、SaaS、研究、媒体等行业的影响与趋势。
OpenAI NewsAI 评分5353 OpenAI 发布论文：基于 CLIP latents 的层级式文本条件图像生成研究
OpenAI 发布论文《Hierarchical text-conditional image generation with CLIP latents》，研究基于 CLIP latents 的层级式文本条件图像生成方法。抓取失败，仅标题可用，正文细节缺失。
Hugging Face BlogAI 评分4444 用自定义数据集微调 SegFormer 语义分割模型
这篇 Hugging Face 教程演示如何用自定义数据集微调 SegFormer 语义分割模型，目标是让披萨配送机器人识别人行道与障碍物。
Hugging Face BlogAI 评分3838 用 🤗 datasets 构建图像搜索应用
Hugging Face 教程演示如何用 🤗 datasets 结合 sentence_transformers 和 faiss 构建图像搜索应用，使用 British Library 数字化书籍中提取的 10000 张 "embellishments" 图像数据集。
Hugging Face BlogAI 评分5050 用 🤗 Transformers 微调 ViT 进行图像分类
这篇教程演示如何用 🤗 datasets 加载 beans 数据集，并用 🤗 transformers 微调预训练的 google/vit-base-patch16-224-in21k 模型进行图像分类。流程包括用 ViTImageProcessor 对图像做归一化和 resize 到 224 等预处理，再将像素值送入模型训练。
Hugging Face BlogAI 评分5858 Hugging Face Transformers 集成 Perceiver IO 支持全模态
Hugging Face 官方宣布将 DeepMind 的 Perceiver IO 加入 Transformers 库，这是首个可处理文本、图像、音频、视频、点云等各类模态及其组合的 Transformer 架构模型。
Hugging Face BlogAI 评分3636 用遥感卫星图像与描述微调 CLIP
一个跨 12 个时区的团队在 Hugging Face Flax/JAX Community Week 期间，用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP 模型，使其能用文本查询检索卫星图像。
Hugging Face BlogAI 评分4545 Gradio 2.0：用 1 行代码加载和混搭 Hugging Face 模型
Gradio 2.0 让用户用 1 行代码即可加载并使用 Hugging Face Model Hub 上的几乎任何模型，生成带 GUI 的演示界面。默认调用 Hugging Face 托管的 Inference API，也可本地运行 transformers 计算。Gradio 还支持将多个模型并行对比或串联组合，用 3 行代码即可构建芬兰语新闻翻译加摘要的应用。
OpenAI NewsAI 评分4444 CLIP 中的多模态神经元
OpenAI 发现 CLIP 中存在多模态神经元，对同一概念无论以字面、符号还是概念形式呈现都会产生响应。这一发现可能解释了 CLIP 对概念的意外视觉呈现进行准确分类的原因，也是理解 CLIP 及类似模型所学习的关联与偏见的重要一步。
OpenAI News精选AI 评分7676 OpenAI 发布 CLIP：用自然语言监督连接文本与图像
OpenAI 发布名为 CLIP 的神经网络，通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别的视觉类别名称即可应用于任意视觉分类基准，其零样本能力与 GPT-2 和 GPT-3 类似。
OpenAI News精选AI 评分7878 OpenAI 发布 DALL·E 文本生成图像模型
OpenAI 宣布训练出名为 DALL·E 的神经网络，可根据文本描述为自然语言可表达的广泛概念生成图像。
推荐理由：原文点明了从文本生成图像这一能力方向，读者可据此理解多模态生成的早期定位。
OpenAI NewsAI 评分4141 Image GPT：用 Transformer 生成图像
OpenAI 发现，与训练语言相同的 Transformer 模型在像素序列上训练后，可以生成连贯的图像补全与样本。通过建立样本质量与图像分类准确率的相关性，研究显示其最佳生成模型所含特征在无监督设定下可与顶级卷积网络竞争。
OpenAI News精选AI 评分6262 OpenAI 开源音乐生成模型 Jukebox
OpenAI 发布 Jukebox，一个能以原始音频形式生成多种音乐流派和歌手风格音乐的神经网络，其中包含初步的歌唱能力。OpenAI 同时开源了模型权重和代码，并提供了一个用于浏览生成样本的工具。
推荐理由：原文说明了模型能生成的音频形态与开放程度，读者可据此判断其可复用性。
OpenAI NewsAI 评分4141 OpenAI Microscope 发布
OpenAI 推出 OpenAI Microscope，收录了 8 个常用于可解释性研究的视觉"模型生物"中每个重要层和神经元的可视化。该工具让分析神经网络内部形成的特征变得更容易，OpenAI 希望它能帮助研究社区理解这些复杂系统。
OpenAI NewsAI 评分5555 OpenAI 发布 MuseNet 音乐生成模型
OpenAI 发布 MuseNet，一个可生成 4 分钟、包含 10 种乐器并融合从 country 到 Mozart 到 the Beatles 等不同风格的深度神经网络。
OpenAI NewsAI 评分5858 OpenAI 发布 Sparse Transformer：序列预测长度提升至30倍
OpenAI 发布 Sparse Transformer，这是一种深度神经网络，在文本、图像和声音的序列下一 token 预测上刷新纪录。它通过对注意力机制做算法改进，能从比此前可能长 30 倍的序列中提取模式。
OpenAI NewsAI 评分4545 OpenAI：可从多尺度多视角欺骗神经网络分类器的对抗样本
OpenAI 制造出能在不同尺度和视角下可靠欺骗神经网络分类器的对抗样本图像，直接挑战了上周"自动驾驶汽车因从多尺度、多角度、多视角采集图像而难以被恶意欺骗"的说法。