TRELLIS 是一个大型 3D 资产生成模型项目,其核心是统一的结构化潜在(SLAT)表示,支持解码为不同输出格式,并配备专为 SLAT 设计的 Rectified Flow Transformers 作为强大的骨干网络。
主要特点
- 高质量:生成的 3D 资产质量高,具有复杂的形状和纹理细节。
- 多功能性:接受文本或图像提示,可生成各种最终 3D 表示,包括但不限于辐射场、3D 高斯和网格,以适应不同的下游需求。
- 灵活编辑:允许轻松编辑生成的 3D 资产,例如生成同一对象的变体或对 3D 资产进行局部编辑。
预训练模型
提供了多个预训练模型,包括:
注:建议使用图像条件版本的模型以获得更好的性能,所有 VAE 都包含在 TRELLIS-image-large 模型仓库中。
安装
先决条件
- 系统:目前仅在 Linux 上测试过,Windows 安装可参考相关问题(未完全测试)。
- 硬件:需要至少 16GB 内存的 NVIDIA GPU,已在 NVIDIA A100 和 A6000 GPU 上验证。
- 软件:需要 CUDA Toolkit(代码已测试 CUDA 11.8 和 12.2 版本),推荐使用 Conda 管理依赖,Python 版本需 3.8 或更高。
安装步骤
- 克隆仓库:
git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
cd TRELLIS
- 安装依赖:
可使用 setup.sh 脚本,例如创建名为 trellis 的新 conda 环境并安装依赖:
. ./setup.sh --new-env --basic --xformers --flash-attn --diffoctreerast --spconv --mipgaussian --kaolin --nvdiffrast
setup.sh 有多种选项,可通过 . ./setup.sh --help 查看详细用法。
训练
TRELLIS 的训练
框架提供了灵活且模块化的方法来构建和微调大型 3D 生成模型,训练代码以 train.py 为中心,结构清晰,分为多个目录,分别处理数据集、模型组件、训练逻辑和可视化工具等。训练超参数和模型架构在 configs/ 目录下的配置文件中定义。
仅供个人学习参考/导航指引使用,具体请以第三方网站说明为准,本站不提供任何专业建议。如果地址失效或描述有误,请联系站长反馈~感谢您的理解与支持!
链接: https://fly63.com/nav/4247