工程师们通常使用视觉-语言模型生成新的设计，比如飞机或汽车零部件。为了模拟这些零部件在现实情况中的表现，他们会使用成熟的计算机辅助设计（CAD）软件生成3D模型，并进行虚拟碰撞或耐久性测试。麻省理工学院及其他机构的研究人员开发了一种系统，能自动将2D设计转换为CAD程序，相较于其他方法，这一系统更加准确且功能强大，同时计算量仅为其一小部分。
通过提高AI驱动的CAD生成效率，这一技术有望简化快速原型制作流程并降低成本，还能帮助工程师识别可能被忽视的有利设计选择。
该系统根据模型的能力生成新数据，尝试将2D图像转换为CAD程序。框架修正模型的失败并将其纳入包含成功解决方案的数据集中。它利用这些数据教会模型如何修复特定错误并应对棘手问题。主作者Giorgio Giannone表示：“我们希望工程师能够将我们的框架指向表现不佳的CAD模型，设定计算预算，让系统接管——将模型自身的错误转化为更好的训练数据。”
研究人员正在致力于构建用于CAD生成的视觉-语言模型（VLMs）。这些VLMs接收2D图像和描述性文本，并输出可在CAD软件中执行的Python代码，生成物理对象的3D模型。研究确定了限制现有VLM能力的主要瓶颈是缺乏多样化、高质量的CAD数据集。为此，他们寻求创建新数据以教会模型如何执行CAD生成，采用一种称为数据增强的过程。
MIT研究人员开发了一种名为GIFT（几何推断反馈调优）的数据增强系统，旨在生成特定任务的性能提升数据。GIFT通过测试模型了解其优缺点，然后利用这些知识生成可能改善模型在CAD生成问题上表现的数据。
GIFT要求模型多次并行生成解决CAD生成问题的代码，并检查这些猜测的正确性，以理解模型解决问题的能力。对于几乎正确的猜测，GIFT会对其进行调整，使其成为成功的解决方案，并将这些“近乎正确”的答案与成功的解决方案保存在新的数据集中，以教会模型克服通常会绊倒它的问题。
该自动系统无需人工干预来修正模型的错误。GIFT利用一种称为推理时间缩放的过程，从预训练的VLM生成数据增强。这一过程允许静态模型在不重新训练整个模型的高计算成本下生成更好的输出。使用推理时间缩放，用户可以根据时间和预算限制确定GIFT的计算量。
GIFT在多个竞争技术中表现优异，生成的CAD程序更加准确，计算量仅为约20%。使用GIFT生成的VLM的CAD模型与真实模型的形状更加一致。Giorgio Giannone提到：“我们从几何开始，因为在工程问题中，如果3D形状的几何不正确，其他方面也不会正确，但还有许多其他方面需要考虑。”
未来，研究人员希望扩展GIFT，使框架能够教会模型生成提高3D模型性能和可制造性的CAD程序，并将系统应用于更大模型和更多样化的CAD生成任务。该研究部分得到了MIT-IBM计算研究实验室的资助。
博主点评： MIT的这一研究突破了传统CAD生成的局限，通过自我学习和数据增强技术，显著提高了模型的准确性和效率。这一进展不仅将加速产品设计流程，还可能改变工程设计的未来，值得关注与期待。