9 月 23 日：机密计算上的生产推理，实验室把 ROS 2 搬进 GPU 缓冲

能点开原文核对的，集中在英伟达开发者博客、PyTorch 博客和 Hugging Face。英伟达把大模型推理放进内存加密的机密虚拟机、机密 GPU 和加密 NVLink；同一实验室线里，Isaac ROS 5.0 把节点间的 GPU 载荷改成可走零拷贝的 CUDA 缓冲。

今天先看哪两条

1. AI：NVIDIA Confidential Computing 把生产推理放进受信任硬件；同日还有集群拓扑调度工具 Topograph。Hugging Face 则让 transformers 直接跑 GGUF。
2. 具身 / 实验室：Isaac ROS 5.0 全节点改用 CUDA buffer 后端；示例是 Depth Anything 3 的 TensorRT ROS 2 节点。

AI：机密推理、拓扑调度，以及能核对的本地量化

NVIDIA 技术博客（2026-09-22，Lorna Aine）写明：大模型推理越来越多处理敏感信息和专有模型上下文，数据需要在受信任环境里处理。NVIDIA Confidential Computing 的路径是内存加密的机密虚拟机（CVM）、机密 GPU，以及加密的 NVIDIA NVLink，从而在受信任硬件上跑生产推理。文中同时指出，TensorRT LLM 这类推理框架进入机密计算环境后，安全执行会改写内存搬运、时序、调度等原有假设。以上均为该文陈述，不是第三方复现。

同日，Dmitry Shmulevich 与 Rob Esker 介绍 NVIDIA Topograph：从云 API 或本地交换结构发现集群拓扑，归一成调度器可用的公共模型；再以 Kubernetes 节点标签、Slurm 配置或 Slinky ConfigMap 发布，让负载落在更近的局部域。拓扑视图会随集群变化持续再生。文中点名的云厂商是 Google Cloud、Lambda、Nebius、Nscale 和 Oracle Cloud Infrastructure；本地支持 InfiniBand、Spectrum-X 和 Multi-Node NVLink。与 KAI Scheduler 集成后可做拓扑感知的 gang scheduling；部署方式是 Kubernetes 上的 Helm，或 Slurm 侧的原生包。

Hugging Face（2026-09-22）宣布 transformers 开始高效运行 GGUF：可从 Hub 选取适合笔记本内存的量化权重，走熟悉的 transformers API 加载。文中目录还列了与 llama.cpp 的对比、ggml 内核、Metal 内核，以及 CPU/GPU 协同，并写有「当前限制与下一步」。加载参数与性能数字没有写完，本文不补。

PyTorch 博客同日有两篇。vLLM 一文的 TL;DR 是：为冲击前沿性能，vLLM 正在改内部实现，以致与 fullgraph torch.compile 不兼容，可能影响树外加速器和较旧 GPU。Shopify 一文是官方案例，TL;DR 自称把生产失败压进权重、对比前沿模型并降低服务成本；客户陈述与官方自评不当成独立复现，此处只记「有此案例研究」，不转述胜负结论。

具身 / 实验室：ROS 2 节点把载荷留在 GPU 上

NVIDIA 技术博客（2026-09-22）写：rosidl::Buffer 与英伟达贡献的 CUDA buffer 后端，让 ROS 2 节点在运行条件允许时，用零拷贝交换仍驻留 GPU 的载荷，同时保留标准 ROS 2 消息和节点边界。Isaac ROS 5.0 中全部节点已改用该 CUDA 后端。文中还写到一个 AI 编程代理会使用 migrate-node-to-rosidl-buffer skill：审计 CUDA 加速节点、追踪数据路径、做尽量保持接口的重构，并确认 CUDA 传输路径已打开。示范节点是 Depth Anything 3 的 TensorRT ROS 2 节点——订阅侧接受 CUDA 缓冲，TensorRT 推理直接写入 CUDA buffer 支撑的消息存储。以上是该文对自己工作流的描述，不是外部复现。

信源