AI初创公司Decart于周三发布了其最新的互动世界模型Oasis 3,该模型能够实时生成超真实的驾驶环境。该模型目前通过API提供,初步目标是自主驾驶汽车公司,以便大规模模拟稀有驾驶场景,并计划扩展到机器人技术及其他物理AI应用。Decart联合创始人兼首席执行官Dean Leitersdorf表示:“这是第一个可以让人们实际编程的可用世界模型。”
Decart已经拥有超过100,000名开发者的社区,许多人正在基于其实时视频模型Lucy构建产品,主要集中在电子商务和直播领域。Oasis 3的基础正是该模型,代表了公司向物理AI的推进。接入费用为每秒0.02美元,企业定价根据用例而定。
Oasis 3的优势在于其模型的超真实感和无限生成能力,这得益于Decart在效率上的创新,使用该公司的另一款主打产品:DOS(Decart优化堆栈)软件,使模型在Nvidia、亚马逊和谷歌硬件上高效运行,远低于竞争对手的运行成本。
Oasis 3生成物理准确的多摄像头环境,便于训练和测试系统,并允许开发者无限生成场景,非常适合自主驾驶开发者进行边缘案例测试。尽管与其他模型相比,如谷歌的Genie 3或World Labs的Marble,Oasis 3从单个文本提示生成的环境最为超真实,但在长时间生成后,模型也显著退化。
测试中发现,系统能够稳定地设置与提示匹配的初始场景,但随着我在世界中移动,主题完整性迅速下降。模型在物理模拟方面仍存在问题,例如车辆会穿过其他车辆,导致物理效果不一致。Leitersdorf称这是一个“主要研究问题”,并表示团队正在努力改进模型的记忆长度,以提高一致性。
“每帧生成大约8000个tokens,以每秒数十帧的速度生成——这意味着每秒数十万个tokens。”Leitersdorf指出,他们正在研究如何存储更多tokens,并压缩内存。Leitersdorf认为,模型的下一版本可能会通过视频生成世界,而非图像,从而部分解决一致性问题。
尽管技术存在当前限制,Leitersdorf更关注开发者如何利用其技术。与早期的LLM时代类似,Decart希望构建一个开发者社区来推动新用例的出现。
博主点评: Decart的Oasis 3在超真实驾驶模拟方面展现出强大的潜力,但其物理模拟的局限性仍需解决。随着开发者社区的兴起,未来的应用前景令人期待,或许能够推动这一技术的快速进步。