TNG 微调 olmOCR 成忠实 OCR 引擎,补齐页眉页脚信息
TNG 基于 olmOCR-7B-0225-preview 微调出忠实 OCR 引擎,解决了原模型忽略页眉页脚关键信息(如发票)的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8,000 份文档数据集,在 8xH100 节点上以 4 步梯度累积训练 2.5 epochs,微调后模型能完整提取页眉页脚内容并仍可解析表格,已开源至 HuggingFace。
TNG 基于 olmOCR-7B-0225-preview 微调出忠实 OCR 引擎,解决了原模型忽略页眉页脚关键信息(如发票)的问题。团队用 Qwen2.5-VL-72B-Instruct 生成 8,000 份文档数据集,在 8xH100 节点上以 4 步梯度累积训练 2.5 epochs,微调后模型能完整提取页眉页脚内容并仍可解析表格,已开源至 HuggingFace。
Hugging Face 博客详解 LLM 并发请求处理中 Prefill(计算首个输出 token,可并行)与 Decode(逐 token 生成,无法并行)两阶段的性能差异及其对延迟、吞吐量和 GPU 利用率的影响。
Gradio 官方博客列出 17 个理由,说明它不只是 UI 库,而是通过 UI 与 API 交互机器学习模型的框架。
ChatGPT 的 canvas 功能可将产品需求文档直接转化为可运行的 HTML/React 原型。文章演示了从 PRD 到原型的完整流程,展示如何用 canvas 快速完成从需求到可交互代码的落地。
ChatGPT 可以规划调研、搜索并阅读资料来源,最终整理出一份详细的调研报告,用于支持市场分析。
Mistral AI 介绍了用 LLM as a Judge 评估 RAG 系统的方法:由一个 judge LLM 按数值、二元或定性量表给 generator LLM 的答案打分,并在评测数据集上取平均得到总分。
ChatGPT 可以通过分析背景、生成备选方案并把决策转化为后续步骤,来支持战略规划。
Gradio 官方博客宣布其每月被超过 100 万开发者用于构建和分享 AI web 应用,包括 Automatic1111、Oobabooga 的 Text Generation WebUI、Dall-E Mini 和 LLaMA-Factory 等知名开源项目。
Hugging Face 官方博客发布 TNG Technology Consulting 关于 LLM 服务性能系列文章的第一篇,讲解多应用共享 GPU 时的请求排队与调度策略。
Hugging Face 评估 HashiCorp Vault 后选择 Infisical,将密钥管理从 AWS-only 迁移到多云环境(Azure、GCP),并整合 Okta SSO 实现细粒度 RBAC 权限控制。
Hugging Face 官方博客给出用 Sentence Transformers 微调 reranker(Cross Encoder)模型的完整教程,覆盖数据集、硬负例挖掘、损失函数、训练参数、评估器与 CrossEncoderTrainer 各组件,并附完整训练脚本。
推荐理由:教程给出可复用的训练配方和评测对照,读者可据此判断在自有数据上微调 reranker 能带来多大提升。
Gradio 官方发布 gr.Dataframe 组件的大版本更新,过去 6 周关闭了超过 70 个相关 issue。新功能包括多单元格选择、行号与 pinned_columns 固定列、复制与全屏按钮、回顶按钮、改进的键盘导航与 styler 参数、整行整列选择事件、static_columns 静态列,以及通过 show_search 设置的搜索和过滤功能。
教程介绍如何在本地用 LM Studio 运行 OlympicCoder 7B 并接入 VS Code:安装 LM Studio,从 hub 拉取 4bit GGUF 版本(推荐 Q4_K_M 量化)。
Hugging Face 发布教程,指导用 React Native 构建可在 Android 和 iOS 上从 Hugging Face Hub 下载 GGUF 模型并完全离线本地推理的聊天应用,完整代码在 EdgeLLM 仓库。
Mistral AI 推出 TranscriptToPRDTicket agentic workflow,由 PRDAgent 和 TicketCreationAgent 两个组件构成,均基于 Mistral Large 2 驱动,可将会议记录自动转化为 PRD 和结构化开发任务。
Arize Phoenix 提供集中式平台,可实时追踪、评估和调试 Agent 的决策过程。教程以 smolagents 构建的 CodeAgent 为例,通过 OpenTelemetry + OpenInference 自动捕获 smolagents 调用的 trace。
Hugging Face 博客给出一套测算大规模分类与嵌入推理成本和延迟的方法,覆盖硬件选择、部署、负载测试与推理服务四个环节,并开源了代码 https://github.com/datavistics/encoder-analysis。
Hugging Face 发布面向视频生成模型微调的数据集构建工具链,包含下载、预处理过滤与打标三阶段流水线,用 yt-dlp 下载、LAION-5B-WatermarkDetection 检测水印、improved-aesthetic-predictor 打美学分、OpenCV 计算运动分,并用 Florence-2 或 Qwen2.5 生成字幕。
Hugging Face 博客用 GRPO 和 Countdown Game 在 4x NVIDIA H100 上复现 DeepSeek R1 的 aha moment,训练 Qwen2.5-3B-Instruct 学会自我验证与搜索。
推荐理由:教程给出可复现的 GRPO 训练配置与超参调整过程,读者可据此在自有硬件上复现类似实验。
Hugging Face 与 AWS 合作发布持续更新的文档,介绍如何在 AWS 上部署和微调 DeepSeek R1 系列模型。
Hugging Face Diffusers 团队发文盘点当前开源视频生成模型现状,并给出在 Diffusers 中运行和优化这些模型的方案。
推荐理由:给出了显存实测数据和可组合的优化手段,读者可据此判断在自己硬件上跑开源视频模型的可行性。
NVIDIA 推出 Python 工具包 KVPress,通过 KnormPress、SnapKVPress、ExpectedAttentionPress 等多种压缩算法(presses)剪枝 KV Cache 中不重要的 KV 对,实现长上下文 LLM 的内存高效推理。
Hugging Face 博客发布教程,讲解如何用 torch.cuda.memory._record_memory_history 记录显存快照并在 pytorch.org/memory_viz 可视化,逐步拆解模型创建、前向传播、反向传播与优化器步骤各阶段的显存变化。
Hugging Face Hub 提供数据集托管与分享服务,支持 TB 级数据集、单文件上限 50 GB(Xet 团队正升级至 500 GB),并内置 Dataset Viewer 全文搜索、排序与浏览器内 SQL Console。
Digital Green 在 Hugging Face Expert Support 项目支持下,为面向小农户的 RAG 聊天机器人 Farmer.chat 搭建了 LLM-as-a-judge 评估体系,覆盖提示词清晰度、问题类型、已回答比例和 RAG 准确性等指标,其中 RAG 准确性用二元打分提示词(灵感来自 RAGAS 库)在约 360 道题上与人工评估高度相关。
Hugging Face 官方博客给出将 Speech-to-Speech(S2S)级联语音管线(VAD、STT、LM、TTS,支持英法西中日韩多语言)部署到 Inference Endpoints 的完整步骤。
Stable Diffusion 3.5 已上线 Hugging Face Hub 并可用 Diffusers 调用,提供 8B 参数版和 timestep-distilled 少步推理版两个 checkpoint。
推荐理由:文章给出了量化推理和 LoRA 训练的具体配置,读者可直接迁移到自己的消费级显卡上跑 SD3.5 Large。
Keras 从第一天起就支持 Llama 3.2,可通过 keras_hub 直接加载 `hf://meta-llama/Llama-3.2-1B-Instruct` 等 Hugging Face safetensors checkpoint,需要转换时会自动完成。
Hugging Face 官方博客展示了如何用 Dask 把基于 FineWeb 数据集的 FineWeb-Edu 分类任务从本地 100 行扩展到云端多 GPU 上的 2.11 亿行。
Hugging Face Xet 团队针对 Hub 上 Parquet 文件的去重效率展开实验,发现追加操作去重率可达 99.1%(仅需 20MB 额外存储),而修改单行因 Parquet 列头记录绝对文件偏移导致去重率降至 89%(需 230MB),删除行则会因行组重排使后半文件完全重写。
Hugging Face 发布教程,讲解如何将顶点着色的网格(如 InstantMesh 等生成式 3D 模型的输出)转换为带 UV 贴图的纹理网格。快速方案可直接安装其开源库 InstantTexture,通过 `Converter` 类将顶点着色的 .obj 网格转为 UV 贴图的 .glb 网格。
Hugging Face Daily Papers 页面上线以来已收录超过 3,700 篇论文,订阅用户超过 12k。作者可一键认领论文并关联自己的模型或数据集,用户可在评论区 @librarian-bot 获取相关论文推荐,或通过 @username 与作者直接对话。页面还支持多语言评论与内置翻译、upvote 推荐、每日订阅推送,以及与 arXiv 的双向跳转集成(需安装浏览器扩展)。
Hugging Face 发布并详解 FineVideo 数据集的构建过程,该数据集包含 43k 段视频、共 3.4k 小时,配有丰富描述、场景切分和 QA 对。
Hugging Face 介绍了用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型的完整流程,涵盖导出 OpenVINO IR、权重量化与 GenAI API 部署。
Hugging Face 官方博客介绍如何用 BitNet 架构把 Llama3 8B 微调到 1.58bit(每参数仅 -1/0/1 三值),模型已发布在 HF1BitLLM 组织下,其中两个用 10B tokens 微调、一个用 100B tokens 微调,MMLU 成绩超过 Llama 1 7B。
OpenAI 发布了基于数百个成功企业部署案例总结的 AI 落地经验,主题为"Put AI to Work"。原文正文仅提供标题信息,未包含具体案例细节、模型版本、参数规模或 benchmark 数据。
Hugging Face 官方博客以一个自动更新的语义搜索应用为例,介绍 Hub 上五个常被忽视的工具:ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Hugging Face 教你在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B:用 Text Generation Inference (TGI) 和 Hugging Face Deep Learning Containers。
Hugging Face 团队复现 Google 的 Infini-attention 论文,尝试把 Llama 3 8B 的 8k 上下文扩展到 100 万 token,最终发现该方法表现随压缩次数增加而变差,认为 Ring Attention、YaRN 和 rope scaling 仍是更好的长上下文扩展方案。
Hugging Face 发布 ggml 入门教程,介绍这款用 C/C++ 编写、专注 Transformer 推理的开源机器学习库。ggml 核心库不到 5 个文件,编译后体积小于 1MB,支持 x86_64、ARM、Apple Silicon、CUDA 等硬件及量化张量,被 llama.cpp、ollama、LM Studio 等项目用于端侧 LLM。