谷歌AI研讨团队最近提出了SpatialVLM，这是一种旨在增强视觉言语模型（VLMs）空间推理才能的立异体系。
虽然先进的模型如GPT-4V在人工智能驱动使命中取得了明显进展，但它们在空间推理方面仍存在明显限制。空间推理触及了解物体在三维空间中的位置以及它们之间的空间联系，在实践运用中，如机器人或增强现实等需求准确空间了解的范畴中显得尤为重要。
image.png
研讨人员发现，VLMs的空间推理的根本限制并非来自它们的架构，而是源于练习数据会集缺少全面的三维空间常识。为了处理这一问题，他们开发了SpatialVLM，这是一个经过运用独特的大规模空间推理数据集进行练习的体系。数据集生成进程触及一个多层次的结构，利用各种模型进行敞开词汇检测、度量深度估量、语义切割和以物体为中心的标题生成。分布式操作系统,这些模型协同工作，从二维图像中提取详细的三维空间注释，从而用要害的空间信息丰厚了练习数据集。
SpatialVLM代表了VLM范畴的一大前进。其在丰厚的空间数据中的练习明显提高了其对定性和定量空间查询的呼应才能。经过试验证明，SpatialVLM在空间推理使命中继续优于其他视觉言语模型。SpatialVLM的一个明显特点是其可以准确履行定量估算，这通常是因为练习数据的噪声而变得具有挑战性的使命。这使得它成为杂乱机器人重新排列使命中敞开词汇奖赏注释者的有价值东西。
SpatialVLM的立异运用之一是与强壮的大型言语模型集成，使其可以履行空间思想链推理。这种处理和处理多步空间推理使命的才能进一步拓宽了它在机器人和其他需求杂乱空间剖析的范畴中的适用性。研讨人员在空间推理和机器人范畴探索了新的下游运用，展示了SpatialVLM作为各种机器人使命的密集奖赏注释者和成功检测器的潜力。
研讨的要害关键可以总结如下:
– SpatialVLM提升了视觉言语模型的空间推理才能。
– 它是经过运用丰厚的三维空间注释的大规模数据集进行练习的。
– 该模型在空间推理使命中表现杰出，超过了其他VLMs。
– SpatialVLM可以履行杂乱的空间思想链推理，在机器人范畴具有重要价值。
– SpatialVLM的开发标志着人工智能技术的严重前进。