OpenAI 发布 GPT-4V(ision) 系统卡
OpenAI 发布 GPT-4V(ision) 系统卡,介绍 GPT-4V 的相关信息。
新模型的发布、开源与迭代:大模型厂商的旗舰更新、开源权重放出、性能与价格变化的第一时间记录。
OpenAI 发布 GPT-4V(ision) 系统卡,介绍 GPT-4V 的相关信息。
Hugging Face 官方博客宣布 TII 的 Falcon 180B 加入 HuggingFace 生态,这是当时最大的公开可用语言模型,拥有 180B 参数、在 RefinedWeb 数据集上训练 3.5 trillion tokens,是开源模型中最长的单轮预训练。
推荐理由:文章给出了硬件需求和量化实测,读者可据此评估自己能否跑起这个 180B 模型。
Hugging Face 发布开放获取的视觉语言模型 IDEFICS,作为 DeepMind 未公开的 Flamingo 的开放复现,可接受任意图像与文本序列输入并生成文本输出。
推荐理由:原文交代了复现所用的公开数据与模型组件,读者可据此理解开放复现闭源模型的具体路径。
Meta 发布 Llama 2 系列开放大语言模型,Hugging Face 完成生态集成,Hub 上提供 12 个开放模型(3 个基础模型与 3 个微调模型及对应 transformers 版本),采用宽松社区许可并支持商用。
推荐理由:文章给出从推理部署到单卡微调的完整路径,可直接迁移用于自己的 Llama 2 实践。
Hugging Face 与 ServiceNow 联合的 BigCode 项目发布代码大模型 StarCoder 和 StarCoderBase,基于 80+ 编程语言等许可数据训练,约 15B 参数、1 trillion tokens。
推荐理由:原文给出评测数据和提示词技巧,读者可了解开源代码模型的水平及提升分数的具体做法。
OpenAI 发布 GPT-4,称其为该公司扩展深度学习进程中的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多种专业和学术基准上展现人类水平表现,同时在许多真实场景中仍不及人类。
推荐理由:原文点明了GPT-4的多模态输入能力和基准表现定位,读者可据此理解这一代模型相对前代的关键变化。
OpenAI 发布 GPT-4,官方介绍称它能在创意与技术写作任务上与用户共同生成、编辑和迭代,例如作曲、编写剧本或学习用户的写作风格。
OpenAI 宣布训练出名为 ChatGPT 的模型,它以对话方式交互,可通过对话格式回答后续问题、承认自身错误、质疑不正确的前提并拒绝不当请求。
OpenAI 宣布训练并开源神经网络 Whisper,称其在英文语音识别上接近人类水平的鲁棒性和准确性。
Hugging Face 发布 BLOOM,这是首个完全透明训练的多语言大语言模型,拥有 176B 参数,可生成 46 种自然语言和 13 种编程语言的文本。该项目由 70+ 国家、250+ 机构的 1000 多名研究人员协作完成,在法国巴黎南部的 Jean Zay 超算上训练 117 天(3 月 11 日至 7 月 6 日),算力资助价值约 €3M。
推荐理由:原文交代了训练协作规模与开放许可细节,读者可据此理解大模型研究门槛如何被降低。
OpenAI 发布 InstructGPT 系列语言模型,称其遵循用户意图的能力优于 GPT-3,同时更真实、毒性更低,采用对齐研究中的人类参与训练技术,现已在 API 中设为默认语言模型。
推荐理由:说明了用人类反馈对齐技术让模型更好遵循指令并降低毒性,可迁移至同类模型训练。
OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别的视觉类别名称即可应用于任意视觉分类基准,其零样本能力与 GPT-2 和 GPT-3 类似。
OpenAI 宣布训练出名为 DALL·E 的神经网络,可根据文本描述为自然语言可表达的广泛概念生成图像。
推荐理由:原文点明了从文本生成图像这一能力方向,读者可据此理解多模态生成的早期定位。
OpenAI 发布 GPT-2 最大的 1.5B 参数版本,同时开放代码和模型权重以便利对 GPT-2 输出的检测,这是 GPT-2 分阶段发布的最终模型。作者表示自 8 月以来已有更大的语言模型发布,但仍按原计划推进,希望这一完整分阶段发布流程能为未来强大模型的开发者提供参考,并继续与 AI 社区讨论负责任的发布方式。
推荐理由:原文交代了分阶段发布计划的收尾背景,读者可借此理解负责任发布这一做法的完整流程。
OpenAI 训练了一对神经网络,让类人机器人手解开魔方。训练完全在模拟环境中进行,使用了与 OpenAI Five 相同的强化学习代码,并结合一种名为 Automatic Domain Randomization (ADR) 的新技术。系统能应对训练中未见过的情况,例如被毛绒长颈鹿戳碰,表明强化学习可解决物理世界中要求极高灵巧度的问题。
推荐理由:原文点明训练完全在模拟中完成并迁移到物理世界,读者可据此理解强化学习在真实机器人上的可行性路径。
OpenAI 在发布 124M 小模型、分阶段发布 355M 中模型及相关误用与社会效益研究后,正式发布 774M 参数的 GPT-2 语言模型。同时发布一份开源法律协议,方便组织之间发起模型共享合作,并公布技术报告介绍其与 AI 研究社区协调发布规范的经验。
推荐理由:原文交代了分阶段发布路径与配套法律协议,读者可了解其模型共享合作的落地方式。
OpenAI Five 在本周末的 Finals 中连胜两局,击败 Dota 2 世界冠军战队 OG,成为首个在电竞项目中战胜世界冠军的 AI。原文指出,OpenAI Five 与 DeepMind 的 AlphaStar 此前都曾在私下击败过顶尖职业选手但输掉了现场直播的比赛,因此这也是 AI 首次在直播中战胜电竞职业选手。
推荐理由:原文点明这是 AI 首次在直播中战胜电竞职业选手,提供了与 AlphaStar 此前战绩的对照背景。
OpenAI 宣布训练出一个大规模无监督语言模型,能生成连贯段落,在多个语言模型基准上取得 state-of-the-art 表现,并在未经任务特定训练的情况下完成初步的阅读理解、机器翻译、问答和摘要任务。
OpenAI 宣布其开发的机器人在标准赛事规则下的 Dota 2 1v1 对战中击败了世界顶尖职业选手。该机器人完全通过自对弈从零学会游戏,不使用模仿学习或树搜索,OpenAI 称这是迈向在复杂真实人类场景中完成明确目标的 AI 系统的一步。