Digital Green 用 OpenAI 帮助农民增收
Digital Green 使用 OpenAI 构建农业数据库,帮助农民提高收入。
Digital Green 使用 OpenAI 构建农业数据库,帮助农民提高收入。
OpenAI 推出新的 ChatGPT Team 计划,面向各种规模的团队,提供一个安全的协作工作区,帮助团队在工作中更好地使用 ChatGPT。
OpenAI 官方宣布推出 GPT Store。
WHOOP 用 GPT-4 为用户提供个性化健身和健康教练服务。
Summer Health 借助 OpenAI 重新设计儿科医生就诊流程,提升儿科就诊记录的准确性。
Mistral AI 宣布开放其首个平台服务 la Plateforme 的 beta 访问,提供 mistral-tiny、mistral-small、mistral-medium 三个文本生成端点和 Mistral-embed embedding 端点。
Intel Labs 与 Hugging Face 推出 SetFitABSA,一个用于少样本训练领域专用方面级情感分析(ABSA)模型的框架,在少样本场景下表现可与 Llama2、T5 等生成式模型竞争甚至超越。
Hugging Face 宣布 Transformers 模型和任务现已可在 AMD Instinct GPU 上免改代码运行,并在 Text Generation Inference(TGI)中加入对 AMD Instinct MI210 和 MI250 的初始支持。
Hugging Face 发布 Optimum-NVIDIA 推理库,只需把 transformers 的 pipeline 导入改成 optimum.nvidia 即可获得最高 28x 吞吐提升和 1,200 tokens/second 的推理速度。
Hugging Face 在 Inference API 中实现 LoRA 动态加载,保持 Stable Diffusion 基础模型常驻热态、按请求切换适配器,把预热时间从 25s 降到 3s,用户响应时间从 35s 降到 13s,用不到 5 张 A10G 即可服务数百个不同 LoRA。
Hugging Face 官方博客宣布推出 Latent Consistency LoRAs(LCM LoRA),通过只训练少量 LoRA 适配器而非完整蒸馏模型,让 Stable Diffusion 和 SDXL 以 4 步完成推理,替代原本的 25 到 50 步。
推荐理由:给出了各硬件的实测耗时对比,读者可据此判断自己设备上能否跑近实时生成。
Explosion 上周推出 Prodigy-HF 插件,通过 hf.train.ner 和 hf.train.textcat 等 recipe 让用户直接在 Prodigy 标注数据上微调 Hugging Face 模型(如 distilbert-base-uncased),并可用 hf.correct.ner 复用模型辅助标注。
OpenAI 在 DevDay 上宣布多项新模型与开发者产品,包括具备 128K context 且价格更低的 GPT-4 Turbo、新版 Assistants API、GPT-4 Turbo with Vision 以及 DALL·E 3 API 等。
推荐理由:原文列出了一次开发者大会上的多项模型与API更新,可据此了解OpenAI当时的产品线变化方向。
OpenAI 推出 GPTs,用户可以创建自定义版本的 ChatGPT,将指令、额外知识以及任意组合的技能结合在一起。
推荐理由:原文点明了自定义 ChatGPT 的构成要素,读者可据此理解它与普通对话的差别。
Hugging Face 为 Enterprise Hub 计划推出 Storage Regions 功能,允许组织选择模型和数据集的存储位置,目前支持 US 和 EU,Asia-Pacific 即将推出。
OpenAI 宣布 DALL·E 3 现已在 ChatGPT Plus 和 Enterprise 中可用,并表示为面向更广泛发布准备 DALL·E 3 构建了一套安全缓解体系,同时分享了来源研究(provenance research)的更新。
Hugging Face 发布 JavaScript 库 @gradio/lite,借助 Pyodide 让 Gradio 应用直接在浏览器中运行,无需服务器端基础设施。
Retool 使用 GPT-4 为企业提供快速、安全的 AI 应用构建方式。
Ironclad 使用 GPT-4 简化合同审查流程。
Typeform 借助 GPT-3.5 和 GPT-4 将在线表单升级为动态、对话式的数据收集体验。
ONNX Runtime 已支持 Hugging Face 上超过 130,000 个 ONNX 模型,覆盖 90 多种模型架构,包括 BERT、GPT2、DistilBERT、Stable-Diffusion、Whisper 等 11 个最热门架构。以 whisper-tiny 为例,使用 ONNX Runtime 加速后,单次推理平均延迟相比 PyTorch 最高可降低 74.30%。
Hugging Face 为 tokenizers 新增 chat_template 属性,用 Jinja 模板保存模型训练时所用的对话格式,避免推理或微调时因格式不匹配导致难以察觉的性能下降。
OpenAI 官方宣布 ChatGPT 现在可以看、听和说,即支持图像输入、音频理解与语音输出能力。
Hugging Face 推出面向 PRO 用户的 Inference for PROs,提供精选模型的专属 API 端点和更高的免费 Inference API 速率限制。
OpenAI 宣布面向公众开放 OpenAI Red Teaming Network 的招募,邀请关注模型安全的各领域专家加入,共同提升 OpenAI 模型的安全性。
Hugging Face 将开源企业级代码助手 SafeCoder 与 GitHub Copilot、Amazon CodeWhisperer 等闭源服务对比,强调其在透明度、可定制性、IT 灵活性和隐私安全上的优势。
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作,在 diffusers 中支持 SDXL 的 T2I-Adapter,并开源 lineart、sketch、canny、depth、openpose 等条件的 checkpoints。
OpenAI 发布了一份教师在课堂上使用 ChatGPT 的指南,内容包括建议的提示词、ChatGPT 的工作原理与局限性说明、AI 检测工具的有效性以及偏见问题。
OpenAI 发布 ChatGPT Enterprise,称其提供企业级安全与隐私保护,以及迄今最强大的 ChatGPT 版本。
Hugging Face 宣布在自身生态中集成 Meta 的 Code Llama 模型家族,包含 7B、13B、34B 三种参数规模,以及 Python 专精版和指令微调版,采用与 Llama 2 相同的宽松社区许可并可商用。
推荐理由:原文给出模型规格、上下文窗口扩展方法和多语言榜单成绩,便于评估其在代码任务上的定位。
OpenAI 与 Scale 达成合作,企业客户可通过 Scale 的 AI 专业能力定制 OpenAI 最先进的模型。Scale 将为企业微调模型提供支持服务。
Hugging Face 宣布将 AutoGPTQ 库集成进 Transformers,用户可用 GPTQ 算法把模型量化到 8、4、3 甚至 2-bit 精度运行,4-bit 量化精度损失可忽略,小 batch 下推理速度接近 fp16 基线,同时支持 Nvidia 与 RoCm AMD GPU。
推荐理由:原文给出了量化位宽、显存与延迟的实测对比,读者可据此判断能否在自己的 GPU 上跑起大模型。
Hugging Face 推出 SafeCoder,一套面向企业的端到端自托管代码助手方案,核心是基于 StarCoder 系列 Code LLM(15B 参数、8,192 tokens 上下文)在客户自有代码库上微调,训练与推理全程代码不出 VPC。
OpenAI 用 GPT-4 进行内容政策制定和内容审核决策,使标注更一致、政策优化的反馈循环更快,并减少人工审核员的参与。
Hugging Face Hub 上线 AWS Marketplace,用户可直接用 AWS 账户订阅并支付 Hugging Face 服务费用,Inference Endpoints、Spaces Hardware Upgrades、AutoTrain 等托管服务的用量费用将自动计入 AWS 账单,而非由 Hugging Face 向组织信用卡扣款。
Hugging Face 发布 swift-transformers Swift 包、swift-chat 演示应用,以及更新版 exporters 和 transformers-to-coreml 转换工具,帮助 Swift 开发者在 Apple 设备上通过 Core ML 运行 Llama 2 等大语言模型,并提供 Llama 2 7B、Falcon 7B 等已转换模型。
Segmind 开源了基于知识蒸馏压缩的 SD-Small 和 SD-Tiny 模型的训练代码与预训练权重,两者参数量分别比基础模型少 35% 和 55%,图像保真度与基础模型相当,推理速度最高提升 100%。
Hugging Face 与 Apple 合作将 Stable Diffusion XL 移植到 Core ML,发布了 apple/coreml-stable-diffusion-xl-base 完整流水线和 apple/coreml-stable-diffusion-mixed-bit-palettization 版本。
推荐理由:原文给出混合位调色板压缩的逐层比特分配方法与实测体积数据,读者可迁移到自己的 Core ML 模型压缩上。
Hugging Face 推出 Agents.js 库,可通过 npm 安装(`@huggingface/agents`),在浏览器或 Node 端为 LLM 提供工具调用能力,内置多模态工具并支持自定义工具与模型。
OpenAI 官方宣布为 ChatGPT 推出自定义指令(custom instructions)功能,用户可设置自己的偏好,ChatGPT 在之后的所有对话中都会记住这些偏好,从而让用户对回复方式有更多控制。