武淳晟

同一个模型，local（offline · generate）与 serve（online · model()）跑出显著分差——textvqa 0.711 vs 0.746、mmstar 0.488 vs 0.629。不是模型漂了，是评测链路悄悄换了一条。定位它，再让它不再发生——一套两步的闭环。

STEP 1 · 样本级 DIFF —— 事后定位

不盯总分：总分被万级样本稀释，不可归因。逐样本对齐两次运行，分差全部来自「对错翻转」的样本——只有几十条，可枚举、可逐条归因。对每条翻转样本沿链路找第一个分叉点：

1. ①输入不同数据加载 / 编码问题——案例：local JPEG vs serve PNG（base64 64K vs 584K），图根本不是同一份字节。
2. ②输入同、响应不同推理配置问题——案例：InternVL3 套 Qwen chat template + system prompt，模型收到的指令就错了。
3. ③响应同、分数不同判分问题——答案抽取正则、选项字母映射。

侦察之后用控制变量确认元凶：batch_size / seed / top_k / prompt 逐一固定重跑，全部排除，锁死两个根因。

STEP 2 · 五层固定 —— 事前预防

根因归纳成清单：评测链路由五层构成，每层都可能静默漂移。跑评测之前逐层写死，保证跑的是同一条链路。

1. L1数据输入编码格式、分辨率、加载方式——字节级一致才算同一条链路。
2. L2预处理patch 切分（max_num）、视觉 token（max_pixels）、resize——OCR 极敏感；视频看抽帧、max_frames。
3. L3promptchat template 与模型族匹配、system prompt、少样本格式逐字对齐。
4. L4推理参数batch_size、seed、top_k、温度、采样开关——控制变量排除后写死。
5. L5后处理打分答案抽取、指标选型（幻觉 F1 / OCR ANLS / 选择 ACC）；LLM-as-judge 温度 0 也漂（GPU 浮点非结合性 + 动态批处理），需多次取均值。

五层清单由 diff 一次次定位沉淀而来，diff 反过来是清单的验证器——两者互为闭环。静默偏差比报错更危险：不 crash，但已是两条不同评测链路。

多模态 benchmark 的题常带「不看图也能答对」的漏洞：题干泄露答案、常识即可作答、选项可以排除法蒙。这类题混进来，语言强视觉弱的模型分数虚高、排名失真；拿它做训练，模型学到的更是作弊策略。MMStar 论文的著名发现：主流 bench 上纯文本 LLM 完全不给图也能拿高分——anti-shortcut 就是对这个问题的系统性防御。

三项标准检查

1. CHK·1text-only leakage只给题干文字、不给图 / 帧，看能否答对——能答对说明题不依赖视觉，剔除。
2. CHK·2sparse-frame shortcut只给稀疏几帧——仍能答对，说明不需要时序与密集视觉信息。
3. CHK·3end-of-video leakage只看片尾——体育视频的比分牌题是典型：证据全在结尾，题目退化成 OCR。

落地 · 三处实现

1. ①双面投票（视频 QA 管线 A）text-only 侧即 anti-shortcut 的工程化：模型先不看视频盲答，能答对的题直接剔除，只留「看了才对」的黄金题。
2. ②开源 bench 缺陷洞察broadcast artifact（题退化成 OCR）、伪长时题（视频长 ≠ 证据跨度）、order 题在高重复场景失稳——替别人的 bench 找 shortcut。
3. ③JumpScore 天然免疫0.1s 容差的时间戳定位不真看视频不可能蒙对；配套诊断字段（evidence_segments / reasoning_type / visual_reliance）给每题标注证据位置与视觉依赖度。

与五层固定的分工：五层固定保证「评得准」（一致性），anti-shortcut 保证「评的是真本事」（效度）——同一条评测链路的两个正交维度。

系统调研 7 个主流开源视频 benchmark（Video-MME / MVBench / MLVU / EgoSchema / PerceptionTest / STAR / CinePile）后，把所有题目按「考察什么能力」抽象成八个问题簇。聚类维度是认知负荷与视觉证据形态——不是表面题型，所以过滤、反作弊、难度分层都能按簇统一处理。

八个簇

1. C1感知单/多帧属性：物体、场景、文字——易退化成 OCR。
2. C2动作事件发生了什么、谁做的。
3. C3时序先后与起止定位——高重复场景（体育）失稳，order 题缺陷洞察所在。
4. C4计数频次次数与数量——对帧率极敏感，JumpScore 亲族（128→960 帧翻倍的故事）。
5. C5空间交互物体关系、人与物交互、位置。
6. C6长时 · 多证据跨长时段整合分散证据——长视频 bench 的核心；伪长时题鉴别点（视频长 ≠ 证据跨度）。
7. C7推理因果、意图、预测、反事实。
8. C8叙事概括主旨、情节、风格——生成式作答，评分依赖 LLM-as-judge（方差问题）。

难度另设 L1–L4 分层：L1（单证据·单帧）→ L4（多证据·长跨度·推理链），同簇内再拉梯度。

三个用途

1. ①覆盖度设计自建集出题前按簇配比——避免产一堆感知题假装覆盖全面（开源 bench 通病）。
2. ②bench 诊断拿到 bench 先按簇统计分布，立刻看穿它实际在测什么：80% 集中在感知+OCR，高分就说明不了时序能力。
3. ③题型路由repeated 场景路由到计数题（顺序题会失稳），unique / semi_unique 才进时序簇。

评测三支柱到此合拢：五层固定（一致）· anti-shortcut（有效）· 8 大问题簇（全面）——每块都有落地物：lmms-eval 排查、双面投票、双管线配比与题型路由。

为明确自研多模态模型的现状与优化方向，不迷信单一榜单：按 General VQA / Reasoning / OCR & Chart 等能力维度构建评测体系——每个维度配对应的 bench 与指标，统一代入 lmms-eval 框架跑评测、分析 badcase、给优化方向。

能力维度 → Bench 配置

1. G·VQAGeneral VQA · 通用视觉理解MMStar · MMBench_en · MMBench_cn · MME-RealWorld_en · SeedBench_image · CV-Bench · RealWorldQA
2. RSNReasoning · 推理MathVista_mini · WeMath · MathVision · MMMU_val · MMMU_Pro_vision
3. OCROCR & Chart · 文字与图表ChartQA · CharXiV_DQ · DocVQA · OCRBench · AI2D_withmask · AI2D_withoutmask · InfoVQA

指标适用边界

1. ①选择题类acc / acc+（双题全对）/ CircularEval（选项轮换消偏置）——按 bench 设计配套选用。
2. ②开放类OCR ANLS；LLM-as-judge 温度 0 也漂（GPU 浮点非结合性 + 动态批处理），必须多次取均值；对数似然选择适合闭集比较，慎用于生成式。

落地：按此体系定位自研模型短板并构造 OCR 定向数据后，LLaVA-OneVision-1.5-8B 的 OCR 板块均分达 85，超过 Qwen2.5-VL-7B（84.4）。

多模态大模型批量出题的天然缺陷：混入大量「不看视频也能答对」的题——选项有暗示、常识可解、题干泄露答案。这种题混进评测集，测的是语言先验不是视频理解；人审扛不住量，双面投票用「两个方向的表决」自动筛。

两面各证一件事

1. 负向Text-only · 不看视频答只给题干与选项盲答——能答对说明题不依赖视频，剔除。这一面证明「必须看视频」，即 anti-shortcut 之 CHK·1 的规模化落地。
2. 正向Video · 看视频答给题与抽帧作答——看了还答不对说明题目本身有问题（证据不足 / 答案错 / 歧义），剔除。这一面证明「看了视频可解」。

交集 = 黄金题：不看视频答不对、看了视频答得对——真正测视频理解、且答案可验证的题。

投票与升级机制

1. ①多模型表决不是单模型一次定生死，多个模型投票裁决，降低单模型偏差。
2. ②Escalation 升级35B-A3B + 9B 先投——一致即早停（46.4% 的题在此结束），分歧才升级更强模型仲裁；共省 15.5% 调用，post 阶段吞吐的关键。

在 Pipeline A 的 5 步过滤流水线（规则 → text_only → video 等）中承担最重的两步：每视频 27 道 GEN 题筛剩 5.5 道（保留率 17%），人工抽检通过率 92%——狠筛换纯度。出题模型负责「有题」，双面投票负责「这题值得留下」。

把通用长视频自动变成可评测的四选一 QA 集，一条管线吃不下：看帧出题贵而准、看 caption 出题便宜但要回验——所以按出题信息源搭两条互补管线，各吃所长。

两条管线

1. A看帧出题 · 大规模分布式滑窗抽帧（30s 窗 / 1fps）→ 多模态大模型看帧出题 → 双面投票过滤。视频相关性强、时序细节好，但 post 验证重（多次调用 / 题）。管长视频（10min–1h+）。
2. B看 caption 出题 · 多机并行大模型读 caption 全文出题 → 零成本规则筛选 → 风险分层视觉回验（E 选项「以上都不对」抓幻觉，低风险 3 轮 / 高风险 5 轮全对）。出题便宜、表达质量高、能出跨窗口 QA，但需视觉回验补强。管中视频（3–15min）。

互补在哪

1. ①视角互补A 从局部窗口看帧出题，时序细节扎实；B 从全文 caption 出题，天然跨窗口——补上 A 出不了跨窗口 QA 的短板。
2. ②成本互补A 验证重、B 出题便宜；B 用「便宜出题 + 分层回验」的组合，把贵的视觉验证只花在高风险题上。
3. ③时长互补A 覆盖 10min–1h+ 长视频，B 覆盖 3–15min 中视频，合起来铺满时长谱。

产出：A 过滤后 123k 有题视频（人工通过率 92%），B 视觉验证通过 66k 视频（95.1%）——不是二选一，而是按信息源分工、按短板互补。

下游安防检测缺长尾人物（拐杖 / 轮椅 / 担架）样本，真实采集成本高、覆盖窄。选图像编辑而非从零生成：在真实业务背景上「添人物、保背景」——合成分布贴近下游场景。

选型与关键设计

1. 选型横评四家定 Qwen-Image-EditComfyUI 搭服务横评 Qwen-Image-Edit / Flux.2-klein / langcat / GLM-Image，肉眼对比生成质量，Qwen-Image-Edit 最优——原生支持「图 + 指令」编辑，一条指令即可约束编辑范围。
2. 关键Next Scene 约束编辑范围「Next Scene: 新增一个人…其他元素不要变」——指令里一句话锁住背景；配 next-scene LoRA（触发词必须 next scene 开头才生效）。

八步全自动管线

1. ①场景分析VLM 分析原图，输出拟增人物的 position / clothing / action / bbox。
2. ②批量生图vllm-omni 加载 Qwen-Image-Edit + LoRA，模型只加载一次循环复用，断点续跑。
3. ③过滤标注裁剪 bbox 送 Qwen3-VL-32B 评分（0–100），满分阈值筛 → pre_tag 预标注 → verify 二次校验 → 训练格式。

一轮真实生产：5951 原图 → 23910 张生成图 → 过滤后 3422 条训练数据（留存率 14.3%），全链路免人工。对标闭源模型 banana 达其约 90% 综合性能（f1 0.6983 vs 0.7738）、成本更低——性价比 + 大规模补量场景的最优解。

批量生成的图不能直接当训练数据——必须有自动质量闸门。做法：裁剪生成区域送 Qwen3-VL-32B 对「真实性」打 0–100 分，满分（100）阈值严格筛选——宁缺毋滥，用留存率换纯度。

评分规则的设计要点

1. ①解耦两类失败「没生成」不扣分、「生成了但姿态 / 结构有问题」才扣——把"缺失"和"生成得差"分开，分数才指向真问题。
2. ②满分阈值而非及格线80 分图仍带瑕疵，训练数据要的是零瑕疵；满分阈值看起来浪费，实则是把下游标注 / 训练的隐性成本前置到生成侧。
3. ③低分也有价值低分分布指向 prompt / LoRA 的问题——靠它把 prompt 从 v1 迭代到 v6（定稿「仅添加一类人」，避免多人互相遮挡）。

一轮真实生产：23910 张生成图 → 满分筛出 4745 张（19.85%）。评分过滤是全链路的纯度闸门，留存率是它质量的度量。以更低成本达到闭源模型 banana 约 90% 的综合性能（f1 0.6983 vs 0.7738）。

看 caption 出的题便宜，但 caption 本身可能幻觉——题干就是错的。所以 B 管线在出题后追加「视觉回验」：大模型看帧盲答、多轮投票，答案与出题口径一致才算过。验证贵，于是按风险分层，把预算花在刀刃上。

分层怎么分

1. 低风险3 轮全对即过事实型、证据明确的题——便宜验证快速放行。
2. 高风险5 轮全对才过时序 / 推理 / 易幻觉的题——加码轮次严审。
3. E 选项「以上都不对」抓幻觉给盲答模型一个逃生门——82% 的拒绝来自选 E，题干与视频不符时模型敢于弃答而非硬猜。

配套的算力分配

1. ①分辨率自适应动作序列题 384² 少帧看细节，其余题 224² 多帧铺全局——同一 token 预算下按题型配视觉信息。
2. ②帧选择策略关键点密集采样 + 背景均匀覆盖，保证证据段不漏、上下文在。

结果：视觉验证通过 66k 视频、人工抽检 95.1%。分层不是降低标准，而是同样的算力买到更多「已验证的题」。

模型错例（FP / FN）是最值钱的信号——但直接把错例全量回补训练，既浪费生成预算又会被大量重复样本淹没。做法：把错例去重成「代表性种子」，每个种子代表一类失败模式，再定向生成补数据。

闭环四步

1. ①导出错例评测导出 FP / FN——错在哪一目了然。
2. ②聚类去重SigLIP2 提特征 + UMAP 降维 + KMedoids 聚类——相似的错例归成一簇，每簇选一个代表（目标 15 FP + 5 FN，错例不够则全选）。
3. ③定向生成以种子为参考交生成侧做 step2 定向补数——数据直指失败模式，不再盲目堆量。
4. ④回收验证补数后再训练再评测，看该簇错误是否消掉——闭环是否有效由下一轮数字说话。

这套闭环在生成数据驱动的检测提升中验证：小目标 recall 卡 40% 的结构性短板，靠堆量解决不了，只能靠种子定向。错误不是终点，是下一轮数据的图纸。

mAP 0.84 出来后第一个要回答的问题：训练集和测试集都是跳绳视频，长得都像——模型是不是「背题」了？三层检查逐一排除，证明分数是真实泛化。

三层检查

1. ①视频级 md5189 测试 / 860 训练完全不同的文件——零重叠，最硬的一道闸。
2. ②时间戳序列逐条比对起跳时刻序列——零完全匹配（0/189），排除了换文件不换标注的变体泄漏。
3. ③高相似度对Jaccard > 0.5 的训练-测试对仅 1 对——更可能源于跳绳运动本身的规律性，而非数据泄漏。

结论：mAP 0.84 是真实泛化能力，无数据泄漏。与评测侧的一致性检查同源——训练的第一关是「数据可信」，不然后面全部白做。

4B 模型 + 40K token 上下文，标准 CE 的 logits 链条峰值约 39GB——一个「损失函数的中间变量」比模型本体还大。OOM 被迫 TP=8（词表切片换显存，代价 DP=1、吞吐崩）。自研 Chunked FLCE 解决。

原理：logits 从不需要整体存在

1. ①CE 只需两个标量每个 token 的损失 = 正确类 logit − 该行 logsumexp——整行 V 个数只是算 logsumexp 的中间量，算完即可扔。
2. ②分块 + 流式 logsumexptoken 维切 chunk 逐块算，运行最大值 / 累加按公式跨块合并（与 FlashAttention 的 online softmax 同源思想）——峰值从 O(N×V) 降到 O(chunk×V)。
3. ③自定义 backwardautograd.Function 手写反向：softmax−onehot 的解析梯度，按 chunk 重算 logits（一次额外投影）换显存。

效果：CE 侧峰值 39GB → 2.5GB（15.6×），4B 从 TP=8 改 TP=1+DP=8，吞吐约 10×。代价是 forward 多算一遍投影（约 1/3 FLOPs）——长上下文下永远划算。配套教训：CE loss 收敛到 0.002 ≠ 任务性能，真正的提升来自给模型更多帧（128→960，mAP 0.40→0.74）。

芒果TV 镜头语言分析 30+ 实验沉淀的核心结论：dev 绝对值是陷阱，dev−test gap 才是泛化信号。dev 是训练分布内的分数，gap 是分布外泛化的代理——首评曾按 dev 误判证伪，靠 submit 翻案。

翻案案例

1. ①按 dev 选必输ViT LoRA 方案 dev 0.6475 < vggt 方案 0.6844——若按 dev 绝对值选型，冠军方案已被淘汰。
2. ②gap 揭示真相ViT LoRA 的 gap +0.041 为历史最小——dev 低一点但更接近 test，分布外掉得少。
3. ③test 反超夺冠test 0.606628 反超夺冠（历史最小 gap），距榜首仅 0.0119。

配套的系统性证伪

1. ·三条攻长尾路全死数据侧重采样（扭曲联合分布）、L3 拆分、focal loss——L3 低分是任务难度天花板（8 帧不足 + 标注噪声），非类别不平衡。
2. ·堆料也全死加帧 8→16 test 严重回退、堆弱信号 hint 稀释强信号注意力、推理侧 CoT / self-consistency 全面降分。

选型看 gap 不看 dev 绝对值；gap 收敛的方案才敢 submit。与 P-06 项目卡互为索引。

多模态 SFT 的常规做法是只调语言侧——但视觉编码器与下游任务的分布差不解决，dev−test gap 就压不下来。做法：在 ViT 的 qkv / fc1 / fc2 加 rank16 小适配，base 仍冻结——让视觉特征适配任务，又不破坏预训练。

机制与甜点

1. ①唯一有效的减 gap 机制30+ 实验里唯一稳定压缩 dev−test gap 的手段——正是它带来芒果TV 的翻案夺冠。
2. ②rank16 是 ViT 甜点rank32 gap 更小但 dev 降 0.011，净亏——视觉侧小适配即可，加大反而伤。
3. ③双 LoRA 配比语言侧 rank64 / 视觉侧 rank16，可训练 90.7M——大头给语言，小适配给视觉。

视觉适配是「小剂量」的艺术：调的是任务分布差，不是重学视觉。

训练栈是团队在 NVIDIA Megatron-LM 基础上的多模态扩展版（LLaVA-OneVision-2）——框架本身是他人的工作，记录 fork 相对原版的关键差异，作为「我了解这套训练栈」的索引。

Fork 相对原版的关键扩展

1. ①多模态编码器整合codec 对齐的 OneVision-Encoder（HEVC 风格 ViT）：codec 流、图像、均匀帧三种输入共用一个编码器与 (t, h, w) 位置方案——没有 per-modality 分支与路由，这是原版 Megatron（纯 GPT 系训练器）所没有的。
2. ②数据管线webdataset 分片 + Energon Metadataset 组织（约 308GB / 22 万 packed bins），配 offline packing 模块（packing gate 要求 micro-batch=1）——替代原版的原始 Megatron 数据格式。
3. ③四阶段训练课程video bootstrap → 指令微调 → 长视频扩展（10–15min caption）→ 精修（点跟踪 + 空间样本）——原版只有预训练脚本，课程编排是 fork 加的。
4. ④工具链补全merge_ov2 合并工具（独立 ViT + LLM 合一 HF 权重）、HF ↔ Megatron-Core 任意 TP/PP 互转、vLLM 推理实现、全量复现 artifacts（checkpoint / tensorboard / docker）。

我的工作在这套栈之上：JumpScore SFT 的并行配置调优（TP=1+DP=8，见 FLCE 显存优化）与训练→格式转换→评估一键流水线；FLCE 是我在此栈上的自研改进。框架是团队的，训练与优化是我的。

context window 是稀缺资源，利用率决定 agent 的有效智力。两条主线：让上下文晚点膨胀（先规划再实现）、让上下文不重复搬运（attach 而非粘贴）。

三个做法

1. ①先规划再实现把「收敛问题」放在「展开代码」之前——先让 agent 出方案、确认收敛，再展开实现；避免在错误方向上烧 token 返工。
2. ②attach dir 不搬上下文opencode serve 启动服务后用 attach dir 直连工作目录——文件留在原地按需读，不把内容复制进对话历史反复传递。
3. ③最小足够上下文只给关键文件、边界条件、验收标准——不把整棵工程树灌进去；信息密度比信息量重要。

省 token 不是抠门，是保注意力：上下文越准，长程任务的注意力漂移越少。

可执行、可回收、可验证不是口号——三个主力项目都是 agent 驱动的工作流跑出来的。

落地清单

1. ①JumpScore SFTopencode + copilot 编排实验循环：把重复调参收敛为可执行、可回收的自动化流程，训练→格式转换→评估→分析一键流水线。
2. ②生成数据驱动的检测提升badcase 回补的循环迭代依赖 agent 辅助分析与批量数据生产——错例导出、聚类种子、定向生成每步都有 agent 参与。
3. ③视频 Bench 双管线两条互补管线 + GPU 利用率监控看板，通过 agent 编排为可复用的端到端工作流。

分工原则：agent 跑循环（搜集、编排、修改、验证），人定目标与质量。

对外可验证：这套标准也写成了公开发布的开源 skill《两地折中找小区》——零依赖脚本、结构化 JSON、异常经退出码传递、本地缓存省配额，AI 评分 4.7、双实验室安全审核通过（入口见 02 开源）。

prompt 是消耗品，脚手架是资产——一次性 prompt 对话产出一次性结果；可重复执行的结构第二次、第二十次直接复用，是工程上的复利。

形态阶梯（由轻到重）

1. ①一键流水线JumpScore 的「训练 → mcore→HF 格式转换 → 评估 → 多维分析」串成脚本，每次实验一条命令跑完——把重复调参收敛为可执行、可回收的自动化流程。
2. ②Skill把「怎么合并权重 / 怎么打包数据」这类固定操作固化为 agent skill，下次一句话触发——流程从对话里搬进文件。
3. ③参数化脚本分片、断点续跑这类工程逻辑写进脚本而不是散落在对话里——对话忘了不要紧，脚本记得。

设计判据

1. 四要素输入 · 输出 · 验收 · 回滚先定义目标，拆成可验证的小步，四要素齐了才叫脚手架——缺了验收和回滚，就还是一次性 prompt。
2. 一问下个月还会跑吗？会，就沉淀成脚手架；不会，别过度工程化——复用预期决定投入。

脚手架是编码进文件的工作流，比对话记忆可靠。

对话会消失，文件不会。agent 的记忆要分层：会话内上下文是稀缺品（见「省 token」），跨会话的记忆必须落到文件——否则每个新会话都从零学起。

三条原则

1. ①重要结论落盘实验结论、关键决定、踩过的坑——让 agent 当场写进项目文件（笔记 / 日志 / 计划），而不是留在对话里等它消失。
2. ②项目记忆文件把「这个仓库的验收标准、已知坑、评测口径」写进项目级说明（AGENTS.md 这类机制）——新会话自动继承，不用每次重新教。
3. ③定期蒸馏长对话里的关键决定总结后写走、从上下文中释放——记忆管理做好的标志：长程任务不忘记目标、不注意力漂移。

与相邻两块的分工：省 token 管进上下文的够不够少，会话记忆管该留下的有没有留下，可重复脚手架管留下来的能不能再执行。

agent 说「完成了」不等于完成了——验收标准要在拆任务时定好，人只审证据、不审说法。

小步验收：怎么拆

1. 四要素输入 · 输出 · 验收 · 回滚四要素齐了这一步才成立——缺验收标准的任务不能交给 agent。
2. 判据可执行，不靠观感一个数字（mAP 变化）、一条跑通的命令、一个 diff 检查——给 agent 的任务也先定「评测集」再动手。
3. 标尺能独立验收一步的产出验收不了，说明还太大，继续拆。

人工质量闸门：人管什么

1. 只审三样方向 · 证据 · 回滚这步还指向目标吗；验收标准过了吗；出问题能退吗——其余（搜集、编排、修改）交给 agent 循环。
2. 位置步与步之间上一步验收不过，下一步不开始——与数据管线的满分阈值同一思想：狠闸换纯度。
3. 实例项目里的闸门JumpScore 每轮调参验收 = mAP@[0.1/0.2/0.3] 数字 + 防泄漏检查，不过就回滚配置；badcase 闭环每轮验收 = 该簇错误是否消除——闭环有效由下一轮数字说话。

agent 版「静默偏差」：agent 自称已通过 ≠ 通过，要它交证据不要它交结论。agent 的「我认为」不算数，可复现的证据才算数。