在电商的演变中，用户搜索产品的方式已从简单的文本关键词查询转变为复杂的多模态交互，这种交互无缝结合了产品图像、自然语言描述和混合意图指令。
然而，现有的方法面临一个关键困境：单模态专家模型（独立用于文本检索、视觉搜索和语音识别）彼此孤立，无法处理跨模态查询，而通用的视觉-语言模型缺乏领域特定知识，无法进行细粒度的产品理解、用户行为建模和商业意图推理。
在此背景下，我们提出了Pailitao-MMSearch，这是一种原生电商多模态搜索基础模型，旨在弥合这一差距。我们的方法引入了三个关键创新：
- HybSID (Hybrid Semantic ID)；
- 两阶段持续预训练策略；
- 混合推理后训练管道。
Pailitao-MMSearch基于Qwen构建，并部署在淘宝的Pailitao多模态搜索平台上。通过在线A/B测试，我们的模型在多个指标上实现了显著提升，包括与传统多模态搜索管道相比，GMV（总商品交易额）提升了+13.61%，交易量提升了+8.21%，验证了我们原生电商多模态搜索大语言模型的有效性。
博主点评： Pailitao-MMSearch的提出不仅展示了电商搜索领域的技术创新，也强调了跨模态模型在实际应用中的重要性。通过结合多种数据形式，电商平台能够更好地理解用户需求，从而提升转化率和用户满意度。
未来，如何进一步优化模型以适应更多元化的搜索场景，将是研究的重点。