3D生成技术再创新高:VAST发布Tripo 2.0,提升AI 3D生成新高度

随着《黑神话·悟空》的爆火,3D游戏背后的AI 3D生成技术也逐渐受到更多的关注。虽然3D大模型的热度相较于语言模型和视频生成技术稍逊一筹,但全球的3D大模型玩家们却从未放慢脚步。无论是a16z支持的Yellow,还是李飞飞创立的World Labs,3D大模型的迭代速度一直在稳步前进。近日,国内3D大模型的领军者VAST发布了最新版本的大模型——Tripo 2.0。这个基于千万级高质量原生数据库训练的超强模型支持文字、单图、多图输入,并在几何精细度和图像还原度上表现出色。

Tripo 2.0的生成速度极为惊人。首先,它可以在几秒钟内生成几何预览,接着迅速生成纹理和PBR材质,将模型的细节展现得一览无遗。无论是复杂的卡通人物、怪物,还是精细纹理的物品,Tripo 2.0都能够轻松应对。在短短几秒内生成的3D模型,其细节和质量甚至比肩传统人工建模师需要数小时才能完成的成果。

Tripo 2.0的技术突破

VAST团队通过一系列技术创新大幅提升了3D模型生成的效率和质量。Tripo 2.0采用了DiT和U-Net的混合架构,既能够捕捉3D结构的全局上下文,又能够保留局部特征的精细度,使得生成的效果更加细腻。此外,Tripo 2.0利用了最先进的流模型与蒸馏算法,在不牺牲生成质量的前提下,显著提升了效率。无论是生成形状的准确性、材质的精度,还是整体细节的表现,Tripo 2.0都达到了一个全新的高度。

Tripo 2.0的一大亮点在于其高可控性。用户可以通过多模态输入生成3D模型,并能够通过负向prompt控制模型内容的生成。除此之外,用户还可以调整输出模型的姿态和比例,甚至可以选择模型的姿势,如“A-pose”或“T-pose”,这大大提升了模型生成的灵活性和适用性。

Tripo 2.0文生3D模型实测

先来一波文生3D效果的实测。首先生成的是“动漫少女的半身形象”,在复杂结构的生成上,细节十分丰富:

接下来,我们为其添加皮肤。在不超过20秒的时间内,模型获得了精细的纹理和层次感,人工建模可能需要成百上千倍的时间才能达到这个水平。

换个题目,我们尝试生成卡通形象的全身形象——卡通小矮人。结果相当可爱(配上宋丹丹式的笑声)

还生成了一个带有复杂细节的小怪物。即便放大模型并360度旋转查看,依然没有发现bug和瑕疵。对于人工建模师而言,怪物背后的尖刺细节本是个噩梦,但对Tripo来说毫无压力。

进一步加大难度,Tripo依旧能完美驾驭复杂的3D模型生成任务,其透视结构理解能力十分出色。

最后我们生成了一个购物车,这样的复杂任务对Tripo来说也毫无难度。

Tripo 2.0图生3D模型实测

再来看一波图生3D的效果。

图生3D模型的生成算法特别考验对图片空间信息的理解和还原度。我们横向对比了一些市场上的其他玩家,发现Tripo 2.0在几何形状的还原度和完整度上表现尤为突出。

测试完植物后,我们尝试了无生命物体的图生模型。比如一个复活节彩蛋的图片,Tripo 2.0生成的3D模型浮雕感最强,纹理细节也是最精致的。

通过多次测试,发现Tripo 2.0不仅在生成质量上脱颖而出,其高度可控性也是一大特点。

比如生成的PBR材质具有⾼保真度,保留了原图表⾯属性和视觉效果:

再比如,不管侧面、背面,每个面都能捕捉复杂的原图特征:

Tripo 2.0不仅生成质量让人眼前一亮,更高的可控性也是一大特点。

输入不仅支持多模态,当选择文生3D模型模式时,还支持输入负向prompt(就是不让生成模型中带有什么元素)。

对输出模型姿态的控制性也很绝。

既能自定义所生成3D模型头、腿、手臂等比例。

还能“A-pose”“T-pose”两个姿势随便选,秒秒钟设定大长腿:

生成好的3D模型还可以一键绑定骨骼、风格化。

3D模型人拥有自己的乐高!

更多玩法大家可以慢慢探索,欢迎大家评论区共创~

VAST的技术积累

VAST自2022年成立以来,已在3D生成技术领域取得了多项突破。Tripo 1.0发布后短短半年内,全球用户生成的3D模型就已超过500万个,远超全球前三大3D模型数据库的总和。如今Tripo 2.0问世,进一步巩固了VAST在3D生成AI领域的领先地位。

VAST的技术团队在学术界同样表现亮眼,多次在Siggraph、CVPR、ICLR等顶级会议上发表研究成果,进一步展示了其在全球3D生成AI领域的影响力。

3D生成技术的未来展望

VAST的目标是打造大众级别的3D内容创作工具,建立3D的UGC内容平台,让3D空间成为用户体验、内容表达、和生产力提升的关键要素。VAST的创始团队拥有深厚的商汤背景,创始人兼CEO宋亚宸和CTO梁鼎都在AI领域有着丰富的经验。

自成立以来,VAST动作频频。年初,VAST亮相了首个3D大模型Tripo 1.0,而仅仅几个月后,他们又与Stability AI合作推出了TripoSR,进一步提升了生成速度和质量。现在,Tripo 2.0已经上线并可在线使用,凭借3D Scaling Law带来的效能提升,Tripo更新周期仅9个月。

3D建模经典之「牛油果扶手椅」,Tripo 1.0生成​

今年3月初,VAST又联合Stable Diffusion背后的Stability AI,共同推出了开源的3D基础模型TripoSR。

因其能够达成“0.5秒完成单图生成3D模型”的成就,在3D生成领域的开源届广受欢迎,至今GitHub上揽星4.3k。

现在,Tripo 2.0又问世了,已经在线可玩。

得益于3D Scaling Law带来的效果提升,Tripo的这三次更新时间跨度仅仅有9个月。

而且有速度也有质量,效果在业内外颇受认可。

拿一则新消息来佐证一下:不久前,世界最大在线游戏开发平台Roblox官宣入局AI 3D生成,但截至目前,Tripo都是Roblox玩家最风靡的3D建模的趁手工具。

VAST未来将持续推动3D生成式AI的技术边界,不断探索3D Scaling Law的研究模型,并进一步提升3D生成模型的质量和扩展能力。我们期待3D生成领域迎来自己的“ChatGPT时刻”。

随着3D生成技术的快速发展,AI在这条赛道上展现了巨大潜力。未来,随着更多技术突破,3D生成或将成为AI领域的下一个焦点。

ChatGPT-4o需要请关注并私信我哦!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/881470.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

双击就可以打开vue项目,而不用npm run dev

右键点击桌面或其他位置,选择“新建” -> “快捷方式”,在“对象的位置”处直接输入“npm run dev”,然后下一步 自定义一个快捷方式名称 完成后,桌面会创建一个快捷方式,右键快捷方式选择属性,可以看…

为什么 ECB 模式不安全

我们先来简单了解下 ECB 模式是如何工作的 ECB 模式不涉及链接模式,所以也就用不着初始化向量,那么相同的明文分组就会被加密成相同的密文分组,而且每个分组运算都是独立的,这也就意味着可以并行提高运算效率,但也正是…

prometheus通过nginx-vts-exporter监控nginx

Prometheus监控nginx有两种方式。 一种是通过nginx-exporter监控,需要开启nginx_stub_status,主要是nginx自身的status信息,metrics数据相对较少; 另一种是使用nginx-vts-exporter监控,但是需要在编译nginx的时候添加nginx-module…

Shader 中的光源

1、Shader 开发中常用的光源属性 Unity当中一共支持四种光源类型: 平行光(Directional)点光源(Point)聚光灯(Spot)面光源(Area)— 面光源仅在烘焙时有用 不管光源类型到…

Docker 华为云镜像加速器配置

​​ 操作说明 1. 安装/升级容器引擎客户端 推荐安装1.11.2以上版本的容器引擎客户端 2. 加速器地址 访问华为云容器镜像服务:https://console.huaweicloud.com/swr/ 获取加速器地址 https://xxxxxxxxx.mirror.swr.myhuaweicloud.com3. 配置镜像加速器 针对…

【Qt | QLineEdit】Qt 中使 QLineEdit 响应 鼠标单击、双击事件 的两个方法

😁博客主页😁:🚀https://blog.csdn.net/wkd_007🚀 🤑博客内容🤑:🍭嵌入式开发、Linux、C语言、C、数据结构、音视频🍭 ⏰发布时间⏰: 2024-09-14 …

Flutter-底部选择弹窗(showModalBottomSheet)

前言 现在有个需求,需要用底部弹窗来添加定时的重复。在这里使用原生的showModalBottomSheet来实现 showModalBottomSheet的Props 名称 描述 isScrollControlled全屏还是半屏isDismissible外部是否可以点击,false不可以点击,true可以点击&a…

STM32 移植FATFS时遇到ff_oem2uni函数未定义问题

STM32 移植FATFS时遇到ff_oem2uni/ff_uni2oem/ff_wtoupper函数未定义问题 在移植STM32 FATFS文件系统代码时,完成后编译遇到如下错误: 经过排查分析,是文件没有添加完全导致的: 把ffunicode.c文件添加进工程就可以了&#xff…

01-Mac OS系统如何下载安装Python解释器

目录 Mac安装Python的教程 mac下载并安装python解释器 如何下载和安装最新的python解释器 访问python.org(受国内网速的影响,访问速度会比较慢,不过也可以去我博客的资源下载) 打开历史发布版本页面 进入下载页 鼠标拖到页面…

MongoDB解说

MongoDB 是一个流行的开源 NoSQL 数据库,它使用了一种被称为文档存储的数据库模型。 与传统的关系型数据库管理系统(RDBMS)不同,MongoDB 不使用表格来存储数据,而是使用了一种更为灵活的格式——JSON 样式的文档。 这…

论文阅读笔记:Sapiens: Foundation for Human Vision Models

Sapiens: Foundation for Human Vision Models 1 背景1.1 问题1.2 目标 2 方法3 创新点4 模块4.1 Humans-300M数据集4.2 预训练4.3 2D位姿估计4.4 身体部位分割4.5 深度估计4.6 表面法线估计 5 实验5.1 实现细节5.2 2D位姿估计5.3 身体部位分割5.4 深度估计5.5 表面法线估计5.6…

SVN笔记-SVN安装

SVN笔记-SVN安装 1、在windows下安装 SVN 1、准备svn的安装文件 下载地址:https://sourceforge.net/projects/win32svn/ 2、下载完成后,在相应的盘符中会有一个Setup-Subversion-1.8.17.msi的文件,目前最新的版本是1.8.17, 这里…

UGit:腾讯自研的Git客户端新宠

UGit 是一款专门针对腾讯内部研发环境特点量身定制的 Git 客户端,其目标在于大幅提升开发效率以及确保团队协作的高度流畅性。UGit 能够良好地支持 macOS 10.11 及以上版本、Apple Silicon 以及 Win64 位系统。 可以下载体验一把。 https://ugit.qq.com/zh/index.…

【CSS Tricks】如何做一个粒子效果的logo

效果展示 代码展示 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><title>粒子效果Logo</title>…

【图像匹配】基于Harris算法的图像匹配,matlab实现

博主简介&#xff1a;matlab图像代码项目合作&#xff08;扣扣&#xff1a;3249726188&#xff09; ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 本次案例是基于基于Harris算法的图像匹配&#xff0c;用matlab实现。 一、案例背景和算法介绍 …

echarts 散点图tooltip显示一个点对应多个y值

tooltip&#xff1a;显示 tooltip: {trigger: "axis",extraCssText: max-width:50px; white-space:pre-wrap,formatter: function (params) {let arr []params.forEach(v > {arr.push(v.data[1])});return params[0].data[0]":<br>["arr.toStr…

Android 签名、空包签名 、jarsigner、apksigner

jarsigner是JDK提供的针对jar包签名的通用工具, 位于JDK/bin/jarsigner.exe apksigner是Google官方提供的针对Android apk签名及验证的专用工具, 位于Android SDK/build-tools/SDK版本/apksigner.bat jarsigner&#xff1a; jarsigner签名空包执行的命令&#xff1a; jar…

解决Hive乱码问题

在插入数据后&#xff0c;发现hive乱码 原因&#xff1a;Hive默认将存储表结构的元数据列编码设置为latin1&#xff0c;不支持中文 解决方法&#xff1a;在MySQL中修改对应Hive元数据列的编码 先查看mysql的所有字符集编码 1、先修改my.cnf 代码如下&#xff1a; vim /etc/…

weblogic CVE-2017-3506 靶场攻略

漏洞描述 Weblogic的WLS Security组件对外提供了webserver服务&#xff0c;其中使⽤了XMLDecoder来解析⽤户输⼊的XML数据&#xff0c;在解析过程中出现反序列化漏洞&#xff0c;可导致任意命令执⾏。 影响版本 受影响版本&#xff1a;WebLogic 10.3.6.0, 12.1.3.0, 12.2.1.…

YOLOv8改进 | 自定义数据集训练 | AirNet助力YOLOv8检测

目录 一、本文介绍 二、AirNet原理介绍 2.1 对比基降解编码器&#xff08;CBDE&#xff09; 2.2 降解引导修复网络&#xff08;DGRN&#xff09; 三、yolov8与AirNet结合修改教程 3.1 核心代码文件的创建与添加 3.1.1 AirNet.py文件添加 3.1.2 __init__.py文件添加 3…