我们提出 TasteBench，一个面向视觉、品牌、图书和技术项目的配对好坏基准，采用冻结的评判标准，仅由专家提供金标准（面板 n=3，主门槛一致率 0.60，弱交互标签仅用于训练/分析）。为防止模型通过游戏测试而非真实工艺判断，我们设计了控制协议，将工艺判断与测试游戏分离。\ \ 在第一轮试点（primary_human_expert；三位生物学专家；n=250 对）中，协议揭示并量化了三类有效性威胁：\
- 位置偏差：首选项位于 A 槽的概率为 0.956，导致始终选择 A 的策略得分 0.956（公平基准 0.5）。\
- 词汇泄漏：文件名中的 token 线索可获得 0.912 的得分。\
- 难度上限：在工艺领域，人类一致率几乎达到天花板（图书/品牌/技术均为 1.0），即使在 A/B 随机化（eval_assignment_seed7；gold_side_A≈0.47）下，所有五个 VLM 卡在工艺上也达到 1.0，只有视觉维度仍有区分度（≈0.84‑0.91），后期硬子集（n=107）仍保持工艺 1.0。\ \ 协议的关键要素包括：仅使用专家金标准、弱标签防火墙、构建阶段的侧随机化、文件名清洗以及硬过滤。对两类构建性偏差（位置、泄漏），我们提供了可测量且可纠正的手段；并发布了参考评估框架和侧随机化工具。该工具将位置偏差从 0.916 降至约 0.495/0.505。\ \ 最终，我们得到一个校准后的视角：位置偏差和泄漏可修复，而工艺领域的上限是对配对难度的限制，需要在第二轮中进一步突破。我们未评估交互、时代/圈层条件或校准，并且不声称拥有通用的品味 SOTA。\ \ 点评