CMU推出LEGOGPT!一句话就能生成可搭建的乐高模型
CMU 计算机科学系助理教授朱俊彦团队近期发布创新成果 LEGOGPT,这是一款基于文本输入生成物理稳定可搭建乐高模型的大模型。
该系统通过改造自回归语言模型实现 “下一个积木预测”,将乐高设计转化为序列生成任务,训练中融入包含 4.7 万种乐高结构的 StableText2Lego 数据集,并在推理阶段引入物理感知回滚机制确保结构稳定性。
实验显示,其生成的沙发、书架等 21 类物体模型不仅高度贴合文本描述,还能通过机械臂完成实际组装,在结构完整性与可操作性上显著优于 LLaMAMesh 等基线方法。
目前模型支持 20x20x20 尺寸构建,团队正致力于扩展复杂零件生成能力。该研究为虚拟设计向实体制造转化提供重要参考,相关成果已发表于 arXiv,配套代码与演示平台同步开源。
项目主页:https://avalovelace1.github.io/LegoGPT/
论文地址:https://arxiv.org/pdf/2505.05469