正如ChatGPT能夠預(yù)測下一個單詞,MeshGPT可以預(yù)測模型的下一部分。
無論是通過ChatGPT中生成3D模型的腳本,再借助OpenSCAD軟件進行建模,還是使用Shap-E,從文本或圖像直接生成3D模型,這些方法目前仍然無法獲得較好的模型,或者說無法生成適用于3D打印的模型。
我們都知道,3D打印中常用的文件格式是STL,它由一系列三角面片構(gòu)成,通過離散的方式近似描述三維實體模型的表面。在這里,如果能夠通過AI的方式把三角網(wǎng)格轉(zhuǎn)換成模型,將是最理想的選擇。
近日,來自慕尼黑工業(yè)大學、都靈理工大學和AUDI AG的研究人員發(fā)表了一篇論文,介紹了一種名為”MeshGPT:僅使用解碼器Transformer生成三角形網(wǎng)格“的新方法,能夠使用先進的AI技術(shù)創(chuàng)建3D形狀,特別是三角形網(wǎng)格。 論文鏈接:https://nihalsid.github.io/mesh-gpt/static/MeshGPT.pdf
MeshGPT通過從Transformer模型中進行自回歸采樣,創(chuàng)造了三角形網(wǎng)格。這一模型經(jīng)過訓練,能夠從學得的幾何詞匯中生成標記,并將這些標記解碼為三角形網(wǎng)格的面。與現(xiàn)有技術(shù)相比,MeshGPT顯著提高了生成3D網(wǎng)格的質(zhì)量,形狀覆蓋率提高了9%,F(xiàn)ID分數(shù)提高了30個點。
該過程首先將三角形(3D形狀的構(gòu)建塊)轉(zhuǎn)換為人工智能可以理解的形式, 然后人工智能會了解這些三角形通常如何排列以創(chuàng)建不同的形狀。經(jīng)過訓練后,MeshGPT可以通過預(yù)測三角形的排列來生成新的形狀。 它從一個起點開始,并不斷添加三角形以形成完整的形狀。結(jié)果是一個逼真的3D形狀,具有清晰的邊緣和細節(jié),而且也很緊湊。
步驟說明:
1,通過使用編碼器-解碼器模型,從大量形狀集合中學習幾何嵌入的詞匯。該模型將三角形網(wǎng)格轉(zhuǎn)換為人工智能可以理解和使用的格式。
2,編碼器分析當前的三角形網(wǎng)格并將其轉(zhuǎn)換為一系列標記或嵌入 - 本質(zhì)上是對三角形及其排列的數(shù)字表示。這些嵌入捕捉了有關(guān)網(wǎng)格的基本幾何和拓撲信息,例如頂點的位置和三角形的方向。
3,一旦模型掌握了這些幾何詞匯,MeshGPT就會使用Transformer來生成新的網(wǎng)格。這一過程是自回歸的,也就是說,模型會逐步進行預(yù)測,每一步都基于先前的預(yù)測。其中會使用兩個轉(zhuǎn)換器生成網(wǎng)格,一個用于生成點,另一個在指針網(wǎng)絡(luò)的幫助下生成面,最終逐漸構(gòu)建完整的網(wǎng)格。
MeshGPT的一個顯著優(yōu)勢是其能夠生成既真實又緊湊的網(wǎng)格。緊湊性指的是在創(chuàng)建詳細而準確的形狀時不使用不必要的三角形。MeshGPT通過從現(xiàn)有網(wǎng)格的大量數(shù)據(jù)集中學習,了解如何保持其生成的形狀的高保真度,同時避免不必要的復(fù)雜性。
在性能方面,MeshGPT相較于以前的方法顯示出顯著的改進。研究表明,MeshGPT生成的形狀具有更好的覆蓋范圍和保真度,有效地模仿人類創(chuàng)建的網(wǎng)格的效率和細節(jié)。該模型能夠直接生成三角形序列的網(wǎng)格,同時保持高水平的細節(jié)和真實感,這標志著在3D形狀生成領(lǐng)域取得了重大的進步。
如果這項研究能夠成功應(yīng)用,將有望消除妨礙3D打印廣泛應(yīng)用的一大難題:模型數(shù)據(jù)。
|
|
你可能喜歡
最新《Nature》:動態(tài)界面3D打印
石墨烯增強混凝土能否推動可持續(xù)建筑? UVA
杜克大學:新型無溶劑3D打印材料,可用于醫(yī)
超強金屬3D打印合金問世:為太空探索打造極
推薦課程
神奇的3D打印
SLA3D打印工藝全套培訓課程 - 軟件篇
3D打印月球燈視頻教程 包括完整貼圖建模流
【原創(chuàng)發(fā)布】Cura軟件修改二次開發(fā)定制視頻