我们探讨在大语言模型（LLM）微调过程中，是否必须使用人类可读的文本。提出了 Desired-Update-Aligned Synthetic Data (DASA) 方法：利用冻结的参考模型的激活梯度作为反馈，直接优化连续的合成输入嵌入，而不是重建源文本或追求语言流畅性。DASA 的目标是产生能够提供有效适应更新的嵌入，这些嵌入可直接用于下游微调，仅在需要定性检查时投射为离散 token。
实验覆盖 Llama 与 Qwen 系列六个模型（1B‑32B 参数），以及六个基准任务，包括知识检索、数学推理、代码生成和常识推理。采用相同的 LoRA 适配设置，DASA 在多数配置下的表现与自然语言源数据持平，甚至超越；相较于 GRADMM，DASA 在大多数对比中表现更佳。进一步实验表明，DASA 在通用域和任务专用源数据上均能保持优势。综合评估显示，DASA 在相似的峰值 GPU 内存占用下，可实现 $3.6$‑$4.9\times$ 的速度提升。
点评：DASA 通过跳过文本化步骤，直接在嵌入空间进行合成，证明了人类可读文本并非微调的必需条件，为高效、低资源的 LLM 适配提供了新思路。