OpenAI官方案例:如何从一句简单描述出发,通过GPT-6 Astra 逐步完成一座现代住宅的设计、3D建模、材质光影优化,以及UE5实时交互

OpenAI 的 Astra 案例展示了一条可检查的 3D 创作路径:先把文字意图变成 Blender 场景,再用平面图、预览渲染与实时漫游推动下一轮决定。

在 3D 设计与建筑可视化中,如何从自然语言意向跨越到真正可编辑、可漫游的三维场景,是一项复杂的工程挑战。OpenAI 在开发者博客分享了他们如何利用 OpenAI 的 GPT-6 Astra 模型(在 Codex 中使用),从一段简单的文字提示词出发,在 Blender 和虚幻引擎 5(Unreal Engine 5,简称 UE5)中逐步完成一座现代住宅(命名为“Solace”)的设计、建模、材质光影优化,以及最终的动态漫游与实时交互。

整个过程中,人类作者负责持续定方向、审阅平面图、查看渲染预览并提出下一轮要求;Astra 则负责编写脚本生成几何体、配置材质、架设灯光,并通过渲染预览和界面检查自主纠错。随后,模型资产被进一步迁移至虚幻引擎 5(UE5),转化为支持第一人称漫游、开门与开关灯等操作的可交互空间。


核心工作流拆解

1. 初始概念与氛围设定(从一句话到 3D 雏形)

整个实验始于一个简洁的设计意向。初始提示并没有提供平面图(floor plan)或家具目录(furniture catalog),只给出了一句提示词:

初始提示词(Prompt 1)
EN: Design a beautiful house with minimalist but highly detailed furniture and a nice garden. Make the scene cinematic, with considered lighting, materials, and time of day.
中译:设计一座美丽的住宅,配备极简但细节丰富的家具和漂亮的花园。营造电影感的场景,考究灯光、材质与一天中的特定时间。

接到需求后,Astra 通过 Blender 的 Python 接口(bpy)快速建立了一个名为 Solace 的起步场景:一个带有低矮屋顶、开放式起居亭台、温暖木材与浅色石材相伴的独栋庭院。

The first Solace house rendered in Blender, with a low white roof, open furnished pavilion, timber screens, garden, and rectangular pool
基于第一句提示词由 Astra 自动生成的初始庭院住宅(Courtyard House),具备低矮屋顶、木质格栅、泳池与初步起居空间。

在这个过程中,核心机制是智能体的自主迭代回路:Astra 不仅执行建模代码,还会在把结果交给作者之前检查预览渲染图(preview renders),主动调整构图与光照,并修复植物穿模(planting intersections)以及沙发搭毯(sofa throw)的摆放细节。

紧接着,提示词要求将环境转移至林地深处:

环境调整提示词(Prompt 2)
EN: Make it golden hour. We should see the sun, and the house should be in the middle of a viridian forest.
中译:改为黄昏的黄金时刻。能看到太阳,房子座落在翠绿森林的中心。

Astra 完整保留了刚刚建好的建筑主体,在其外围布置树木与林下植被。为了呈现林间夕阳,它放置太阳并使用大气散射(Atmospheric Scattering),让低角度的金色阳光穿过树林,形成可见的光束。

The original Solace pavilion surrounded by dense woodland, with low sunlight filtering through the trees toward the pool and illuminated living room
完成森林环境与黄昏体积光渲染后的住宅,光线透过林木照亮水池与起居室。

在资产使用上,后续森林环境引入了 Poly Haven 的树木、蕨类与岩石资产(tree, fern, and rock assets),配合程序化生成的建筑主体完成整体环境构图与氛围调校。


2. 先规划平面图,再建全屋结构

在初步确立美学基调后,作者提出将场景扩展为更具宜居性的住宅,并要求先绘制平面图以供审阅与演化:

扩建与平面图提示词(Prompt 3)
EN: I like the minimalist, modern style, so keep that while we grow the house to be much more livable. Draw me a floor plan first. We'll validate and evolve it from there.
中译:我喜欢这种极简现代风格,在将其扩展为更适合家庭居住的住宅时请保持这一风格。先给我画一张平面图,我们在此基础上验证和演化。

Astra 没有急于进入 3D 建模,而是先提出了一套封闭建筑总面积约 305 平方米(约 3,280 平方英尺)的 U 型概念平面方案(Floor Plan),露台、中庭和泳池不计入这个面积口径:

Solace Garden House concept floor plan: a central living, dining, and kitchen pavilion, three bedrooms and an office in two wings, a planted courtyard, and a pool terrace
Astra 在重建模型前绘制的概念平面图:中央为主起居/餐厨,两侧翼楼分布三间卧室与书房,环绕中央绿化庭院与泳池露台。

该方案对空间功能与动线进行了规划:

  1. 中央起居餐厨与双翼布局:中央布置主起居、用餐与厨房空间,两侧翼楼分别布置三间卧室与一间办公室,并配置卫浴与衣帽空间。
  2. 避免干扰的动线:绕中庭的路线避免了把卧室当作通道,也避免了穿过厨房工作走道。
  3. 辅助功能用房:规划包含了食品储藏间(pantry)、洗衣房(laundry)与收纳空间(storage)。
  4. 室内外空间延展:起居空间与中庭绿化庭院及泳池露台自然连接。

客观局限提示:该平面图属于概念方案。真实落地仍需专业审查场地(site)、结构(structure)与建筑要求(building requirements)。


3. 室内建模与极近距离细节打磨

平面图确认后,进入 3D 室内建造阶段。作者要求对现有工程做备份,并在 Blender 中正式落实:

正式建模提示词(Prompt 4)
EN: Keep the current scene as a backup, then build the updated house in Blender. Iterate until the house, furniture, and garden are detailed and the geometry is correct. Once we validate it in Blender, we'll export it to Unreal Engine 5.
中译:保留当前场景作为备份,然后在 Blender 中构建更新后的住宅。反复迭代,直到住宅、家具与花园细节丰富且几何形状正确。在 Blender 中验证通过后,我们将把它导出到虚幻引擎 5。

The expanded U-shaped Garden House rendered in Blender, with two furnished wings facing a planted courtyard and pool in the forest
扩建后的“花园住宅”(Garden House)全景,呈 U 型围合庭院,两侧翼楼设有大面积落地玻璃。