跳到正文
2023年6月15日周四
2023年6月13日周二
2023年6月12日周一
2023年6月7日周三
  1. Hugging Face Blog54

    Hugging Face Hub 支持用 DuckDB 对 50,000+ 数据集执行 SQL 查询

    Hugging Face Hub 新增功能,用户可用 DuckDB 对 Hub 上存储的 50,000+ 数据集直接执行 SQL 查询。数据集查看器会自动将所有公开数据集转换为 Parquet 文件,可通过 /parquet 端点获取文件 URL;配合 DuckDB 的 httpfs 扩展即可远程查询这些 Parquet 文件,且支持一次查询多个分片文件。

2023年6月6日周二
2023年6月5日周一
  1. Hugging Face Blog65

    Falcon 系列模型接入 Hugging Face 生态并提供完整推理与微调指南

    Hugging Face 官方博客介绍 Falcon 系列模型(Falcon-40B 与 Falcon-7B,由阿布扎比 Technology Innovation Institute 以 Apache 2.0 许可发布)接入其生态的完整用法。

    推荐理由:文章系统梳理了 Falcon 在 Hugging Face 生态中的推理、量化与微调路径,可直接迁移为落地参考。

2023年6月2日周五
2023年6月1日周四
2023年5月31日周三
  1. Hugging Face Blog18

    Hugging Face Hub 推出 BERTopic 集成

    Hugging Face Hub 推出 BERTopic 集成,可直接在 Hub 上对模型和数据集进行主题建模。集成后可自动聚类并生成主题标签,例如 dialogue(14247)、speech asr(1833)、tuning(1369)等,覆盖问答、摘要、情感分析等常见 NLP 任务。

2023年5月25日周四
  1. Hugging Face Blog44

    用 NNCF 和 🤗 Optimum 优化 Stable Diffusion 在 Intel CPU 上的推理

    Hugging Face 用 OpenVINO NNCF 的量化感知训练(QAT)结合 Token Merging 优化 Stable Diffusion,相比 PyTorch 实现 5.1x 推理加速和 4x 模型体积缩减。优化仅需 4096 次迭代,用一块 24 GB 显存的 GPU 不到一天即可完成。优化后的模型适合在客户端或边缘 CPU 等算力受限设备上运行。

2023年5月24日周三
  1. Hugging Face Blog88

    Hugging Face 推出基于 bitsandbytes 的 4-bit 量化与 QLoRA 集成

    Hugging Face 与 bitsandbytes 再次合作,在 transformers 中支持以 4-bit 精度运行大部分 HF 模型(含文本、视觉、多模态),并可基于 4bit 模型训练适配器,对应 Dettmers 等人当天发布的 QLoRA 论文。

    推荐理由:原文给出 4bit 加载的具体参数配置与显存实测对照,读者可据此在消费级显卡上复现微调方案。

2023年5月23日周二
2023年5月16日周二
  1. Hugging Face Blog60

    BigCode 背后的大规模近似去重实践

    Hugging Face 官方博客详细讲解 BigCode 训练数据的文档级近似去重方法,覆盖 MinHash 加 LSH 的完整流程:shingling 分词、指纹计算、LSH 分桶、候选对聚类与去重决策。

    推荐理由:系统梳理了 MinHash 加 LSH 的去重流程与四种扩展方案,并给出参数取舍的实验依据,可直接迁移到自有数据集。

2023年5月15日周一
  1. Hugging Face Blog60

    RWKV 架构集成进 Hugging Face transformers 库

    Hugging Face 官方博客宣布 RWKV 架构已通过 Pull Request 集成进 transformers 库,可通过源码安装或 main 分支使用,支持 pipeline 文本生成与 alpaca 风格的 RWKV-4 Raven 聊天模型调用,并提供 convert_rwkv_checkpoint_to_hf.py 脚本转换原始权重。

    推荐理由:原文对比了 RWKV 与 Transformer、RNN 的取舍并给出可直接运行的代码,便于读者判断其适用场景。

2023年5月11日周四
  1. Hugging Face Blog64

    Hugging Face Transformers 推出 assisted generation 低延迟解码方法

    Hugging Face 在 🤗 Transformers 的 .generate() 中推出新解码方法 assisted generation,用小模型生成候选 token、再由目标模型一次前向验证,在普通硬件上最高可将延迟降低 10x。

    推荐理由:原文拆解了延迟瓶颈并给出可复现的加速数字,读者可据此判断该方法是否适配自己的部署场景。

2023年5月9日周二
2023年5月8日周一
2023年5月4日周四
2023年5月1日周一
2023年4月27日周四
2023年4月26日周三
2023年4月24日周一
2023年4月21日周五
2023年4月17日周一
2023年4月14日周五
2023年4月12日周三
  1. Hugging Face Blog38

    用 Substra 构建隐私保护 AI:Hugging Face 联合推出联邦学习演示空间

    Hugging Face 与开源联邦学习框架 Substra 合作推出一个演示空间,展示联邦学习如何在数据不出本地的前提下训练模型。联邦学习只在服务器间传输模型权重,数据保留在本地,可在医疗等敏感领域打破数据孤岛,同时满足 HIPAA 等隐私法规。演示中可调整数据分布,观察联邦学习模型在验证集上通常优于单源数据训练的模型。

2023年4月6日周四
2023年4月5日周三
  1. Hugging Face Blog71

    Hugging Face 发布 StackLLaMA:用 RLHF 训练 LLaMA 回答 Stack Exchange 问题的实战指南

    Hugging Face 发布 StackLLaMA 模型与配套教程,展示用 SFT、奖励模型和 RLHF 三步在 LLaMA 7B 上训练 Stack Exchange 问答能力的完整流程,模型已上线 Hub,训练管线收录于 TRL 库。

    推荐理由:教程完整给出 RLHF 三阶段的可复现代码与显存估算,读者可据此在单卡上跑通流程。

2023年3月30日周四
2023年3月28日周二
2023年3月27日周一
2023年3月24日周五