跳到正文
2023年5月31日周三
  1. Hugging Face Blog18

    Hugging Face Hub 推出 BERTopic 集成

    Hugging Face Hub 推出 BERTopic 集成,可直接在 Hub 上对模型和数据集进行主题建模。集成后可自动聚类并生成主题标签,例如 dialogue(14247)、speech asr(1833)、tuning(1369)等,覆盖问答、摘要、情感分析等常见 NLP 任务。

2023年5月24日周三
  1. Hugging Face Blog88

    Hugging Face 推出基于 bitsandbytes 的 4-bit 量化与 QLoRA 集成

    Hugging Face 与 bitsandbytes 再次合作,在 transformers 中支持以 4-bit 精度运行大部分 HF 模型(含文本、视觉、多模态),并可基于 4bit 模型训练适配器,对应 Dettmers 等人当天发布的 QLoRA 论文。

    推荐理由:原文给出 4bit 加载的具体参数配置与显存实测对照,读者可据此在消费级显卡上复现微调方案。

2023年5月23日周二
2023年5月18日周四
  1. OpenAI News75

    OpenAI 发布 ChatGPT iOS 应用

    OpenAI 发布 ChatGPT iOS 应用,官方介绍该应用可同步对话、支持语音输入,并把最新的模型改进带到移动端。

    推荐理由:官方点明了同步、语音输入和最新模型三项能力,读者可据此判断移动端与网页端的差异。

2023年5月16日周二
2023年5月15日周一
  1. Hugging Face Blog60

    RWKV 架构集成进 Hugging Face transformers 库

    Hugging Face 官方博客宣布 RWKV 架构已通过 Pull Request 集成进 transformers 库,可通过源码安装或 main 分支使用,支持 pipeline 文本生成与 alpaca 风格的 RWKV-4 Raven 聊天模型调用,并提供 convert_rwkv_checkpoint_to_hf.py 脚本转换原始权重。

    推荐理由:原文对比了 RWKV 与 Transformer、RNN 的取舍并给出可直接运行的代码,便于读者判断其适用场景。

2023年5月11日周四
  1. Hugging Face Blog64

    Hugging Face Transformers 推出 assisted generation 低延迟解码方法

    Hugging Face 在 🤗 Transformers 的 .generate() 中推出新解码方法 assisted generation,用小模型生成候选 token、再由目标模型一次前向验证,在普通硬件上最高可将延迟降低 10x。

    推荐理由:原文拆解了延迟瓶颈并给出可复现的加速数字,读者可据此判断该方法是否适配自己的部署场景。

2023年4月26日周三
2023年4月25日周二
2023年4月17日周一
2023年4月6日周四
2023年3月23日周四
  1. OpenAI News77

    OpenAI 为 ChatGPT 推出插件功能

    OpenAI 官方宣布已在 ChatGPT 中实现插件的初始支持。这些插件是专为大语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、运行计算或调用第三方服务。

    推荐理由:官方说明了插件的设计出发点,读者可据此理解 ChatGPT 如何接入实时信息与外部服务。

2023年3月14日周二
2023年3月9日周四
  1. Hugging Face Blog68

    Hugging Face 官方发布 TRL 与 PEFT 集成,24GB 消费级 GPU 可用 RLHF 微调 20B 模型

    Hugging Face 官方正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调在消费级硬件上更易实现。文中给出三步流程:用 8-bit 精度加载活跃模型、通过 peft 添加可训练的低秩适配器、利用 disable_adapters 复用同一模型同时得到参考与活跃 logits,从而省去两份模型副本。

    推荐理由:原文拆解了 8-bit 加载、LoRA 适配器与复用同一模型的三步流程,读者可直接迁移到自己的显存受限训练场景。

2023年3月6日周一
2023年3月3日周五
  1. Hugging Face Blog71

    Hugging Face Diffusers 集成 ControlNet 并发布 StableDiffusionControlNetPipeline

    Hugging Face 在 Diffusers 中集成 ControlNet,发布 StableDiffusionControlNetPipeline,支持用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成,论文提出的 8 种条件模型全部支持。

    推荐理由:原文给出完整可复现的代码与性能数字,读者可直接照搬这套省显存的 ControlNet 推理配置。

2023年2月24日周五
2023年2月10日周五
2023年2月8日周三
2023年2月7日周二
2023年2月1日周三
2023年1月31日周二
2023年1月19日周四
2023年1月17日周二
2023年1月4日周三
2023年1月3日周二
2023年1月1日周日
2022年12月20日周二
2022年12月9日周五
2022年11月17日周四
2022年11月8日周二
2022年11月3日周四