在表格学习中，自动特征工程（AutoFE）可以自然地被表述为一个程序合成问题，其目标是从一个指数级大的搜索空间中发现预测特征变换。
近年来，大型语言模型（LLMs）的进展扩展了AutoFE的表达能力，使得特征程序生成超越了预定义的操作符库。然而，现有的基于LLM的方法在本质上仍然受到无状态生成和同质搜索的限制：特征提议是从静态提示中产生的，并且没有积累搜索经验，而单一种群的探索很快收敛于主导变换模式，且很少发现跨变换家族的互补特征组合。
我们提出了TOPOFE，一个拓扑感知的多岛进化框架，用于LLM引导的特征工程。TOPOFE结合了家族专业化探索、自适应提示记忆和拓扑引导的知识转移，以高效地发现多样化和组合性的特征程序。
在对29个公共表格数据集的实验中，TOPOFE在分类和回归任务上均表现出对现有最先进的AutoFE方法的一致改进。除了预测性能，TOPOFE还能发现更多多样化和可迁移的特征程序，这些程序可以在多个下游预测器和LLM基础上进行泛化。
博主点评： TOPOFE通过引入拓扑感知的多岛进化策略，显著提升了特征工程的效果。这种创新不仅增强了特征组合的多样性，还为不同的下游模型提供了更好的适应性，显示出LLM在特征生成中的潜力。值得关注的是其在不同数据集上的普适性表现，预示着未来特征工程的研究方向。