如何零代码体验SceneDreamerGradio在线Demo生成3D场景实操教程【免费下载链接】SceneDreamer[TPAMI 2023] SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections项目地址: https://gitcode.com/gh_mirrors/sc/SceneDreamerSceneDreamer 是一个基于 TPAMI 2023 论文的开源 AI 3D 场景生成项目只需一个随机种子就能自动生成无限延伸、视角自由、具有真实感的 3D 自然景观世界。很多人以为要使用它必须写代码其实不然本教程将带你零代码体验 SceneDreamer通过 Gradio 在线 Demo 与本地图形界面从零开始一步步生成属于你自己的 3D 场景视频。SceneDreamer是什么AI自动生成3D场景的开源项目 ️SceneDreamer论文标题为Unbounded 3D Scene Generation from 2D Image Collections出自南洋理工大学 S-Lab是一个登上 TPAMI 2023 的顶级 3D 场景生成项目。它的核心能力是从海量野生2D 图像中学习场景规律进而自动生成无边界的 3D 场景。与以往只能生成单个物体或有限区域的模型不同SceneDreamer 生成的世界可以无限延伸——起伏的山峦、蜿蜒的河流、成片的森林、广袤的沙地并且保持 3D 一致性无论镜头怎么转动场景都不会穿帮还有明确的深度信息和自由的相机轨迹。上图就是 SceneDreamer 渲染出的 3D 场景视频效果茂密的森林、蓝色的水域、错落的地形一应俱全并且相机可以沿任意轨迹飞行穿行其中。SceneDreamer 3D场景生成的核心能力一览 ✨无边界场景不像传统方法受限于固定范围生成的世界可无限扩展适合游戏开放世界、虚拟制片等场景。3D 一致性多视角渲染下物体位置、形态保持稳定不会出现画面撕裂。风格多样化可通过风格编码style code控制不同画风从写实自然到风格化渲染都能呈现。自由相机轨迹内置 10 种相机运动模式支持环绕、推进、拉升、俯视等运镜直接输出成片视频。零代码体验SceneDreamer的两种方式 所谓零代码是指你全程不需要编写任何 Python 或深度学习代码只需要点击按钮和拖动滑杆即可完成 3D 场景生成。项目为此专门提供了图形化界面方式一使用官方在线 Demo 直接体验SceneDreamer 官方在 Hugging Face Spaces 平台托管了在线 Demo。你只需要打开浏览器访问官方 Demo 页面项目 README 中提供了入口无需安装任何环境、无需下载模型即可直接体验完整的 3D 场景生成流程。这是最快的零代码体验方式适合只想玩一玩的新手。方式二本地启动 Gradio Demo一键安装步骤如果你希望获得更快的渲染速度、更高的分辨率可以在本地启动 Gradio 图形界面。本地版界面由 app_gradio.py 实现与在线版功能完全一致。第一步克隆项目代码git clone https://gitcode.com/gh_mirrors/sc/SceneDreamer cd SceneDreamer第二步安装依赖环境推荐使用 Anaconda 管理环境一条命令创建并激活项目环境conda env create -f environment.yaml conda activate scenedreamer接着编译第三方 CUDA 库correlation、channelnorm、resample2d、bias_act、upfirdn2d、voxlib、gridencoder整个过程只需执行项目根目录下的若干条编译命令具体步骤可参考 README.md 的 Installation 章节。第三步下载预训练模型下载官方发布的预训练权重scenedreamer_released.pt约 1GB下载地址见 README并把它放到项目根目录下。第四步一键启动 Gradio 界面python app_gradio.py看到Running on local URL提示后在浏览器中打开显示的本地地址默认 http://127.0.0.1:7860一个完整的 3D 场景生成工作台就出现在你面前了Gradio界面实操一步步生成你的3D世界 打开 Gradio 界面后你会发现操作面板非常简洁核心只有两个按钮和四个滑杆第一步点击 Generate BEV 生成场景底图BEVBirds Eye View鸟瞰图是 SceneDreamer 的场景底层表示包含**高度图Height Map和语义图Semantic Map**两种地图。点击Generate BEV按钮后项目会调用程序化地形生成器见 terrain_generator.py随机生成一个独一无二的地形底图。如上图所示BEV 语义图中不同色块代表不同生物群系——绿色是森林、浅黄是沙地、蓝色是水域。这一步相当于为你的 3D 世界打地基每个种子都会生成完全不同的地形。注意这一步耗时较长请耐心等待。第二步点击 Render 渲染 3D 视频场景底图生成完毕后点击Render按钮SceneDreamer 就会让一架虚拟相机沿预设轨迹飞越你的世界逐帧渲染并自动合成一段3D 场景漫游视频。等待片刻视频就会出现在界面右侧的播放窗口中你的第一个 3D 世界就这样诞生了第三步调整渲染参数获得理想效果 ️如果你对结果不满意通过调整界面上的四个滑杆即可轻松改变效果滑杆参数取值范围作用说明Number of rendered frames10 - 200渲染总帧数越大视频越长、运镜越平滑Random seed0 - 999999随机种子换一个种子就换一个世界Height of rendered image256 - 2160渲染画面高度分辨率Width of rendered image256 - 3840渲染画面宽度分辨率想要更高清的画质把分辨率拉满即可。想要更丝滑的运镜增加帧数。想换个全新的世界修改种子重新生成。整个过程所见即所得完全不需要写一行代码。渲染结果与输出文件说明 渲染完成后所有结果默认保存在项目的./test/目录下结构如下test/ └── camera_04/ ├── rgb_render/ # 逐帧 RGB 渲染图PNG │ ├── 00000.png │ └── ... ├── rgb_render.mp4 # 合成好的渲染视频 ├── height_map.png # 高度图 ├── semantic_map.png # 语义分割图 └── style.npy # 采样的风格编码其中rgb_render.mp4就是可以直接分享的成片而height_map.png和semantic_map.png则是场景的 BEV 表示可作为游戏地图或二次创作的素材。进阶玩法命令行推理与参数调优 如果你觉得图形界面不够过瘾还可以用命令行直接推理一次命令生成一个完整世界详见 inference.pypython inference.py --config configs/scenedreamer_inference.yaml --output_dir ./test/ --seed 8888 --checkpoint ./scenedreamer_released.pt渲染参数都集中在 scenedreamer_inference.yaml 中几个关键参数值得尝试参数推荐范围作用cam_mode0 - 9选择 10 种不同相机轨迹环绕、推进、拉升、俯视等cam_maxstep0 - ∞总帧数越大运镜越平滑resolution_hw[540,960] - [2160,3840]每帧渲染分辨率num_samples12 - 40每条光线采样点数越大细节越好、速度越慢cam_ang50 - 130相机视野角度FOVscene_size1024 - 2048场景空间分辨率如果你是进阶玩家项目还开放了完整训练代码train.py scenedreamer_train.yaml支持在自有数据上训练专属的 3D 场景生成器训练数据准备流程详见 scripts/ 下的脚本。常见问题 FAQ ❓Q没有高端显卡能玩吗A推理阶段需要 NVIDIA GPUCUDA 环境显存越大能支持的分辨率越高。显卡配置一般的话建议在参数设置中适当调低分辨率。QGenerate BEV 和 Render 哪个更耗时AGenerate BEV程序化地形生成往往比渲染更耗时官方也提示这一步requires a long time耐心等待即可。Q能生成城市、室内场景吗A目前官方预训练模型主要擅长自然景观山脉、森林、水域、沙地等这也是该项目主打的生态群系风格。结语现在就去生成你的第一个3D世界吧 从零代码的 Gradio 在线 Demo到本地一键启动的图形界面SceneDreamer 把生成无边界 3D 场景这件复杂的事变成了点击几个按钮就能完成的简单操作。无论你是游戏开发者、CG 艺术家还是单纯对 AI 3D 场景生成感兴趣的新手都可以立刻上手用随机种子摇出一个独一无二的自然世界。如果你在体验过程中有任何问题欢迎回到项目仓库查看 README.md 与官方文档也别忘了在评论区分享你用 SceneDreamer 生成的第一段 3D 场景视频【免费下载链接】SceneDreamer[TPAMI 2023] SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections项目地址: https://gitcode.com/gh_mirrors/sc/SceneDreamer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何零代码体验SceneDreamer：Gradio在线Demo生成3D场景实操教程
如何零代码体验SceneDreamerGradio在线Demo生成3D场景实操教程【免费下载链接】SceneDreamer[TPAMI 2023] SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections项目地址: https://gitcode.com/gh_mirrors/sc/SceneDreamerSceneDreamer 是一个基于 TPAMI 2023 论文的开源 AI 3D 场景生成项目只需一个随机种子就能自动生成无限延伸、视角自由、具有真实感的 3D 自然景观世界。很多人以为要使用它必须写代码其实不然本教程将带你零代码体验 SceneDreamer通过 Gradio 在线 Demo 与本地图形界面从零开始一步步生成属于你自己的 3D 场景视频。SceneDreamer是什么AI自动生成3D场景的开源项目 ️SceneDreamer论文标题为Unbounded 3D Scene Generation from 2D Image Collections出自南洋理工大学 S-Lab是一个登上 TPAMI 2023 的顶级 3D 场景生成项目。它的核心能力是从海量野生2D 图像中学习场景规律进而自动生成无边界的 3D 场景。与以往只能生成单个物体或有限区域的模型不同SceneDreamer 生成的世界可以无限延伸——起伏的山峦、蜿蜒的河流、成片的森林、广袤的沙地并且保持 3D 一致性无论镜头怎么转动场景都不会穿帮还有明确的深度信息和自由的相机轨迹。上图就是 SceneDreamer 渲染出的 3D 场景视频效果茂密的森林、蓝色的水域、错落的地形一应俱全并且相机可以沿任意轨迹飞行穿行其中。SceneDreamer 3D场景生成的核心能力一览 ✨无边界场景不像传统方法受限于固定范围生成的世界可无限扩展适合游戏开放世界、虚拟制片等场景。3D 一致性多视角渲染下物体位置、形态保持稳定不会出现画面撕裂。风格多样化可通过风格编码style code控制不同画风从写实自然到风格化渲染都能呈现。自由相机轨迹内置 10 种相机运动模式支持环绕、推进、拉升、俯视等运镜直接输出成片视频。零代码体验SceneDreamer的两种方式 所谓零代码是指你全程不需要编写任何 Python 或深度学习代码只需要点击按钮和拖动滑杆即可完成 3D 场景生成。项目为此专门提供了图形化界面方式一使用官方在线 Demo 直接体验SceneDreamer 官方在 Hugging Face Spaces 平台托管了在线 Demo。你只需要打开浏览器访问官方 Demo 页面项目 README 中提供了入口无需安装任何环境、无需下载模型即可直接体验完整的 3D 场景生成流程。这是最快的零代码体验方式适合只想玩一玩的新手。方式二本地启动 Gradio Demo一键安装步骤如果你希望获得更快的渲染速度、更高的分辨率可以在本地启动 Gradio 图形界面。本地版界面由 app_gradio.py 实现与在线版功能完全一致。第一步克隆项目代码git clone https://gitcode.com/gh_mirrors/sc/SceneDreamer cd SceneDreamer第二步安装依赖环境推荐使用 Anaconda 管理环境一条命令创建并激活项目环境conda env create -f environment.yaml conda activate scenedreamer接着编译第三方 CUDA 库correlation、channelnorm、resample2d、bias_act、upfirdn2d、voxlib、gridencoder整个过程只需执行项目根目录下的若干条编译命令具体步骤可参考 README.md 的 Installation 章节。第三步下载预训练模型下载官方发布的预训练权重scenedreamer_released.pt约 1GB下载地址见 README并把它放到项目根目录下。第四步一键启动 Gradio 界面python app_gradio.py看到Running on local URL提示后在浏览器中打开显示的本地地址默认 http://127.0.0.1:7860一个完整的 3D 场景生成工作台就出现在你面前了Gradio界面实操一步步生成你的3D世界 打开 Gradio 界面后你会发现操作面板非常简洁核心只有两个按钮和四个滑杆第一步点击 Generate BEV 生成场景底图BEVBirds Eye View鸟瞰图是 SceneDreamer 的场景底层表示包含**高度图Height Map和语义图Semantic Map**两种地图。点击Generate BEV按钮后项目会调用程序化地形生成器见 terrain_generator.py随机生成一个独一无二的地形底图。如上图所示BEV 语义图中不同色块代表不同生物群系——绿色是森林、浅黄是沙地、蓝色是水域。这一步相当于为你的 3D 世界打地基每个种子都会生成完全不同的地形。注意这一步耗时较长请耐心等待。第二步点击 Render 渲染 3D 视频场景底图生成完毕后点击Render按钮SceneDreamer 就会让一架虚拟相机沿预设轨迹飞越你的世界逐帧渲染并自动合成一段3D 场景漫游视频。等待片刻视频就会出现在界面右侧的播放窗口中你的第一个 3D 世界就这样诞生了第三步调整渲染参数获得理想效果 ️如果你对结果不满意通过调整界面上的四个滑杆即可轻松改变效果滑杆参数取值范围作用说明Number of rendered frames10 - 200渲染总帧数越大视频越长、运镜越平滑Random seed0 - 999999随机种子换一个种子就换一个世界Height of rendered image256 - 2160渲染画面高度分辨率Width of rendered image256 - 3840渲染画面宽度分辨率想要更高清的画质把分辨率拉满即可。想要更丝滑的运镜增加帧数。想换个全新的世界修改种子重新生成。整个过程所见即所得完全不需要写一行代码。渲染结果与输出文件说明 渲染完成后所有结果默认保存在项目的./test/目录下结构如下test/ └── camera_04/ ├── rgb_render/ # 逐帧 RGB 渲染图PNG │ ├── 00000.png │ └── ... ├── rgb_render.mp4 # 合成好的渲染视频 ├── height_map.png # 高度图 ├── semantic_map.png # 语义分割图 └── style.npy # 采样的风格编码其中rgb_render.mp4就是可以直接分享的成片而height_map.png和semantic_map.png则是场景的 BEV 表示可作为游戏地图或二次创作的素材。进阶玩法命令行推理与参数调优 如果你觉得图形界面不够过瘾还可以用命令行直接推理一次命令生成一个完整世界详见 inference.pypython inference.py --config configs/scenedreamer_inference.yaml --output_dir ./test/ --seed 8888 --checkpoint ./scenedreamer_released.pt渲染参数都集中在 scenedreamer_inference.yaml 中几个关键参数值得尝试参数推荐范围作用cam_mode0 - 9选择 10 种不同相机轨迹环绕、推进、拉升、俯视等cam_maxstep0 - ∞总帧数越大运镜越平滑resolution_hw[540,960] - [2160,3840]每帧渲染分辨率num_samples12 - 40每条光线采样点数越大细节越好、速度越慢cam_ang50 - 130相机视野角度FOVscene_size1024 - 2048场景空间分辨率如果你是进阶玩家项目还开放了完整训练代码train.py scenedreamer_train.yaml支持在自有数据上训练专属的 3D 场景生成器训练数据准备流程详见 scripts/ 下的脚本。常见问题 FAQ ❓Q没有高端显卡能玩吗A推理阶段需要 NVIDIA GPUCUDA 环境显存越大能支持的分辨率越高。显卡配置一般的话建议在参数设置中适当调低分辨率。QGenerate BEV 和 Render 哪个更耗时AGenerate BEV程序化地形生成往往比渲染更耗时官方也提示这一步requires a long time耐心等待即可。Q能生成城市、室内场景吗A目前官方预训练模型主要擅长自然景观山脉、森林、水域、沙地等这也是该项目主打的生态群系风格。结语现在就去生成你的第一个3D世界吧 从零代码的 Gradio 在线 Demo到本地一键启动的图形界面SceneDreamer 把生成无边界 3D 场景这件复杂的事变成了点击几个按钮就能完成的简单操作。无论你是游戏开发者、CG 艺术家还是单纯对 AI 3D 场景生成感兴趣的新手都可以立刻上手用随机种子摇出一个独一无二的自然世界。如果你在体验过程中有任何问题欢迎回到项目仓库查看 README.md 与官方文档也别忘了在评论区分享你用 SceneDreamer 生成的第一段 3D 场景视频【免费下载链接】SceneDreamer[TPAMI 2023] SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections项目地址: https://gitcode.com/gh_mirrors/sc/SceneDreamer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考