Notes and thoughts on research, engineering, and everything in between.
调研 Muon 优化器为什么能 work、相比 AdamW 的优劣、开源大模型如何使用 Muon，以及在 Megatron 中落地 Muon 的工程要点。
从 I-DLM 和 Nemotron tri-mode 出发，分析 dLLM / AR unified model 如何在同一个模型内实现 self-spec，以及 serving 侧的 KV、scheduler 和 phase switching 瓶颈。
结合 DeepSeek DSpark、DeepSpec 代码和论文，解释半自回归 draft 与 confidence-scheduled verification 如何服务化。
结合 SGLang Spec V2 源码路径，拆解 DFlash decode、target verify、KV injection、overlap、FutureMap 和 KV over-allocation 如何协同。
从 DFlash 的 block draft、target verify、KV injection 和 SGLang Spec V2 出发，解释投机解码的算法收益如何在真实 serving 中兑现。
梳理 2026 年 tokenizer 相关研究趋势：模型与 tokenizer co-design、tokenizer-free、动态 tokenization、多语种 token tax、旧 tokenizer 适配、工具/图/action tokenization 和多模态接口。
从 image token、audio token、video token、media placeholder、processor、position encoding 和原生多模态设计出发，讨论多模态大模型 tokenizer 的设计取舍。
从工具调用、thinking token、chat template 和 parser 的角度，分析 agentic 模型为什么需要自己的 tokenizer 协议，以及 Qwen、DeepSeek、GLM、Kimi、MiMo、Gemma 的设计差异。
梳理 2025-2026 年开源、开放权重和开放报告 LLM 在 MoE、长上下文、RL、Agentic 系统和多模态方向的演进。
从压缩率、训练效率、工程兼容性、协议表达和长期演进能力出发，总结面向中文、代码、长上下文和 Agent 模型的 tokenizer 设计方法。
LLM Infra 快速参考卡片
LLM Infra 入门手册：How to Scale Your Model
本章目标：了解如何使用 Profiler 定位训练/推理中的性能瓶颈，包括 XLA/JAX profiler 和 NVIDIA 工具。 对应原书：Chapter 9 (How to Profile TPU Programs) 改写范围...
本章目标：将推理理论应用到 LLaMA 3-70B 的实际 serving 中，分析延迟/吞吐量权衡，给出 SGLang 的实际部署配置。 对应原书：Chapter 8 (Serving LLaMA 3-70B on TPUs) 改写...
本章目标：掌握现代 LLM 推理引擎的核心优化技术，理解它们各自解决什么问题，以及如何设计一个高效的推理系统。 对应原书：Chapter 7 (All About Transformer Inference) 下半部分 改写范围：承接...
本章目标：理解 LLM 推理的两个阶段（Prefill 和 Generation）为何性能特性完全不同，掌握推理中的核心瓶颈和关键指标。 对应原书：Chapter 7 (All About Transformer Inference)...
本章目标：将前几章的理论应用到具体模型（LLaMA 3）上，做端到端的训练配置推演和成本估算。 对应原书：Chapter 6 (Training LLaMA 3 on TPUs) 改写范围：原书案例基于 TPU；这里保留 LLaMA ...
本章目标：掌握 LLM 训练的四大并行策略，理解每种策略的通信开销推导、适用场景和最优组合方式。 对应原书：Chapter 5 (How to Parallelize a Transformer for Training) 改写范围：...
本章目标：精确计算 Transformer 每一层的参数量、FLOPs 和内存占用，建立”Transformer = 一系列已知大小的矩阵乘法”的量化直觉。 对应原书：Chapter 4 (All the Transformer Ma...
本章目标：承接第 5 章的通信原语，理解当矩阵被分片到多个设备上时，如何高效完成矩阵乘法，以及不同分片方式为什么会触发 AllGather、ReduceScatter 或 AllReduce。 对应原书：Chapter 3 (Shar...
本章目标：先把分布式计算里的通信”积木”讲清楚：AllReduce、AllGather、ReduceScatter、AllToAll 分别做什么，以及它们的时间开销如何估算。下一章再把这些积木组合成分片矩阵乘法。 对应原书：Chapt...
本章目标：理解多芯片如何连接成集群，不同互联方式（ICI/NVLink/InfiniBand/DCN）的带宽差异，以及拓扑结构如何影响并行策略。 对应原书：Chapter 2 (TPU Networking) + Chapter 12...
本章目标：理解加速器内部的内存层级（HBM → Cache → 计算单元），以及数据搬运如何成为性能瓶颈。 对应原书：Chapter 2 (TPU internals) + Chapter 12 (GPU memory) 改写范围：原...
本章目标：掌握 Roofline 模型——用一个简单框架判断任何算法在硬件上是”算力瓶颈”还是”带宽瓶颈”，并通过大量习题建立定量分析直觉。 对应原书：Chapter 1 (All About Rooflines) 改写范围：基本沿原...
本章目标：理解现代 ML 加速器（GPU/TPU）的核心组成部件，建立”芯片 = 计算单元 + 内存”的心智模型。 对应原书：Chapter 2 (TPUs) + Chapter 12 (GPUs) 改写范围：原书主线是 TPU 硬件...
No matching notes.