武淳晟

60 秒视频含 60–120 次起跳，要求每次定位误差 < 0.3s。从标注规范、数据集构建到分布式训练与开源评测接入的完整闭环。

• 帧数是性能瓶颈：跳绳约 2 次/秒，128 帧下每次起跳仅 ~2 帧；扩到 960 帧覆盖全视频后，2B mAP 0.38 → 0.74，最严格 AP@0.1s 提升 3.6 倍。
• 以小博大：4B 达 mAP 0.84，超 Qwen3-VL-8B 等 8B 模型 2.5 倍——领域微调 + 足够时间分辨率。
• FLCE 显存优化：自研 Chunked Fused Linear Cross-Entropy，logits 峰值 39GB → 2.5GB，4B 从 TP=8 改 TP=1+DP=8，吞吐约 10 倍。
• 防泄漏验证：训练/测试视频 md5 零重叠、时间戳序列零完全匹配，mAP 0.84 是真实泛化。
• 训练：860 条 SFT、8×A100-80G（Megatron-LM + DeepSpeed）；测试集开源为 JumpScore。

把通用长视频自动变成可评测的四选一 QA 集：贯通抽帧、出题、过滤、去重到组装，两条互补管线应对不同场景。

• Pipeline A · 看帧出题：滑窗抽帧 → 多模态大模型出题 → 5 步双面投票过滤（text-only 剔除不看视频也能答的题 + video 验证），大规模多机分布式，gen/post 异步解耦。
• Pipeline B · 看 caption 出题：大模型读全文出题 → 零成本规则筛选 → 风险分层视觉回验（E 选项抓幻觉、低风险 3 轮 / 高风险 5 轮全对）。
• 吞吐优化 10/min → 101/min：修帧缓存路径 +90%、任务队列分片 +152%、worker 并发填满 +38%。
• 提炼开源视频 bench「8 大问题簇」题型框架与反作弊检查（text-only 泄露 / 稀疏帧捷径 / 片尾泄露）。

下游检测模型缺长尾人物（拐杖 / 轮椅 / 担架）样本：用图像编辑大模型在真实业务背景上「添加人物、保背景」批量合成，VLM 评分 + 双重校验自动过滤标注。

• 八步全自动管线：VLM 场景分析出 position/clothing/action/bbox → 「Next Scene」prompt 约束编辑范围 → vllm-omni 批量生图 → Qwen3-VL-32B 0-100 评分 → 满分阈值筛选 → 双重 VLM 预标注校验。
• 评分设计：「没生成」和「生成得差」解耦——缺失不扣分，姿态/结构问题才扣，满分阈值严格筛选。
• 对标开源生图方案达其约 90% 综合性能（f1 0.698 vs 0.774），但全链路自动化、成本更低，适合大规模补量。
• 工程排坑：多轮生图缓存变糊、LoRA 触发词失效、按类别差异化扩框（担架组上扩 30% 防漏检）。

一场控制变量实验回答三个问题：生图标注能否替代人工？同一工具交给不同角色差多少？badcase 数据闭环能否带来提升？

• 反直觉结论：产品经理用生图工具效果最好（mAP50 0.831），算法人员反而最差（0.710）——domain knowledge 比技术能力更关键。
• 结论直接支撑公司 AI 原生视觉产品的产品化决策：数据生产可下放到懂业务的业务侧 + 自动化流水线。
• badcase 去重种子闭环：FP/FN 错例 → SigLIP2 特征 + UMAP 降维 + KMedoids 聚类 → 代表性种子定向再生成 → 回收再训练验证。
• 数据规模扫描：最优管线 70% 数据量即达上限；细粒度诊断发现小目标 recall 卡 40%——堆量解决不了结构性短板。

FFN 占模型约 2/3 参数与算力，是压缩最大靶点。这项工作不为证明它行，而是划清「结构压缩在哪里可行、注定失败」的边界。

• 层敏感性：中间层替换 ΔPPL 仅 +3~10%，首层 +93%、末层 +49%——「中间层冗余、首末层关键」。
• PPL 与准确率背离：末层 PPL +49% 但 cmmlu 零损失（83.2 vs 83.1）；选层必须下游任务交叉验证。
• 没有甜蜜点：安全区（1–3 层）FLOPs 只省 1–4%，提速区（11+ 层）省 14%+ 但精度指数崩溃——根因是推理 memory-bandwidth-bound。
• SVD 零训练强基线 + NF4 量化对照；核心结论：结构压缩是量化的补充而非替代，只压 3–5 个最冗余中间层是唯一合理用法。

18 字段三层结构（主状态 / 时序动态 / 起止变化）的镜头语言生成式 SFT，30+ 实验沉淀出一套 dev−test gap 泛化诊断方法论。

• Vision LoRA 夺冠机制：ViT 上加 rank16 小适配是唯一有效减 gap 机制——dev 0.6475 并非最高，但 gap +0.041 历史最小 → test 0.6066 反超夺冠。
• dev 绝对值是陷阱，gap 才是泛化信号：首评曾按 dev 误判证伪，靠 submit 翻案。
• hybrid 架构 fast path 提速 5.3×；训练后写 train_mode.json marker，推理自动恢复 flag，杜绝格式错配。
• 系统性证伪：数据侧重采样、L3 拆分、focal loss 三条攻长尾路全死——L3 低分是任务难度天花板，非类别不平衡。