Hypernetwork 能直接把上下文映射为 LoRA 适配器，使大语言模型在权重中携带该上下文。此前仅在最多 140 亿参数的基座模型上验证过。Internalizer 是一种最先进且可移植的 Context‑to‑Parameter Mapping 超网络，能够为冻结的 284 B 参数 DeepSeek v4 Flash 生成文档专属 LoRA 适配器，规模比以往工作高出两个数量级。大部分参数位于模型无关的主干，仅在每个基座模型前后各保留薄层，因此可以先在小模型上低成本训练，再迁移到大模型。对未见的最长 4096 token 文档，生成的适配器在教师强制评估下实现 84.9% 的 top‑1 与 97.8% 的 top‑5 准确率，而基座模型仅为 63.4% 与 83.5%，且上下文窗口中仅包含三词指令。训练完超网络后，单次前向传播即可把任意文档转化为该模型的适配器，可单独部署以提升推理速度，也可与文档一起放入窗口进一步提升准确率。
点评