在机器学习流程中，一个关键步骤是为每个实体提供具有代表性的特征或属性，以反映其特性。特征工程在寻找属性之间的关系方面起着重要作用，这些属性可能无法被机器学习算法有效处理。
同时，大语言模型（LLMs）在编码、数学推理和处理世界知识方面显示出了良好的能力。本文利用LLM解决基于已有特征从表格数据中生成新特征的问题。我们创建了一个管道，该管道接受一组属性和一个提示，以生成新的特征。
接着，我们的选择算法选择表现最佳的属性集合。我们将该方法应用于来自不同领域和数据类型的八个数据集。结果表明，在大多数情况下，语言模型能够基于数学和逻辑运算符生成对特定任务有用的新特征，并能改善分类结果。
博主点评： 本文展示了将大语言模型应用于特征生成的创新思路，通过进化算法优化特征选择，具有潜在的实用价值与研究前景。尤其在多样化数据集的表现，表明了LLM的灵活性与有效性，值得进一步探索其在其他领域的应用。