正如ChatGPT能夠預(yù)測下一個單詞，MeshGPT可以預(yù)測模型的下一部分。

無論是通過ChatGPT中生成3D模型的腳本，再借助OpenSCAD軟件進行建模，還是使用Shap-E，從文本或圖像直接生成3D模型，這些方法目前仍然無法獲得較好的模型，或者說無法生成適用于3D打印的模型。

我們都知道，3D打印中常用的文件格式是STL，它由一系列三角面片構(gòu)成，通過離散的方式近似描述三維實體模型的表面。在這里，如果能夠通過AI的方式把三角網(wǎng)格轉(zhuǎn)換成模型，將是最理想的選擇。

近日，來自慕尼黑工業(yè)大學(xué)、都靈理工大學(xué)和AUDI AG的研究人員發(fā)表了一篇論文，介紹了一種名為”MeshGPT：僅使用解碼器Transformer生成三角形網(wǎng)格“的新方法，能夠使用先進的AI技術(shù)創(chuàng)建3D形狀，特別是三角形網(wǎng)格。 論文鏈接：https://nihalsid.github.io/mesh-gpt/static/MeshGPT.pdf

MeshGPT通過從Transformer模型中進行自回歸采樣，創(chuàng)造了三角形網(wǎng)格。這一模型經(jīng)過訓(xùn)練，能夠從學(xué)得的幾何詞匯中生成標記，并將這些標記解碼為三角形網(wǎng)格的面。與現(xiàn)有技術(shù)相比，MeshGPT顯著提高了生成3D網(wǎng)格的質(zhì)量，形狀覆蓋率提高了9%，F(xiàn)ID分數(shù)提高了30個點。

該過程首先將三角形（3D形狀的構(gòu)建塊）轉(zhuǎn)換為人工智能可以理解的形式， 然后人工智能會了解這些三角形通常如何排列以創(chuàng)建不同的形狀。經(jīng)過訓(xùn)練后，MeshGPT可以通過預(yù)測三角形的排列來生成新的形狀。 它從一個起點開始，并不斷添加三角形以形成完整的形狀。結(jié)果是一個逼真的3D形狀，具有清晰的邊緣和細節(jié)，而且也很緊湊。

步驟說明：

1，通過使用編碼器-解碼器模型，從大量形狀集合中學(xué)習(xí)幾何嵌入的詞匯。該模型將三角形網(wǎng)格轉(zhuǎn)換為人工智能可以理解和使用的格式。

2，編碼器分析當前的三角形網(wǎng)格并將其轉(zhuǎn)換為一系列標記或嵌入 - 本質(zhì)上是對三角形及其排列的數(shù)字表示。這些嵌入捕捉了有關(guān)網(wǎng)格的基本幾何和拓撲信息，例如頂點的位置和三角形的方向。

3，一旦模型掌握了這些幾何詞匯，MeshGPT就會使用Transformer來生成新的網(wǎng)格。這一過程是自回歸的，也就是說，模型會逐步進行預(yù)測，每一步都基于先前的預(yù)測。其中會使用兩個轉(zhuǎn)換器生成網(wǎng)格，一個用于生成點，另一個在指針網(wǎng)絡(luò)的幫助下生成面，最終逐漸構(gòu)建完整的網(wǎng)格。

MeshGPT的一個顯著優(yōu)勢是其能夠生成既真實又緊湊的網(wǎng)格。緊湊性指的是在創(chuàng)建詳細而準確的形狀時不使用不必要的三角形。MeshGPT通過從現(xiàn)有網(wǎng)格的大量數(shù)據(jù)集中學(xué)習(xí)，了解如何保持其生成的形狀的高保真度，同時避免不必要的復(fù)雜性。

在性能方面，MeshGPT相較于以前的方法顯示出顯著的改進。研究表明，MeshGPT生成的形狀具有更好的覆蓋范圍和保真度，有效地模仿人類創(chuàng)建的網(wǎng)格的效率和細節(jié)。該模型能夠直接生成三角形序列的網(wǎng)格，同時保持高水平的細節(jié)和真實感，這標志著在3D形狀生成領(lǐng)域取得了重大的進步。

如果這項研究能夠成功應(yīng)用，將有望消除妨礙3D打印廣泛應(yīng)用的一大難題：模型數(shù)據(jù)。

正如ChatGPT能夠預(yù)測下一個單詞，MeshGPT可以預(yù)測模型的下一部分。

無論是通過ChatGPT中生成3D模型的腳本，再借助OpenSCAD軟件進行建模，還是使用Shap-E，從文本或圖像直接生成3D模型，這些方法目前仍然無法獲得較好的模型，或者說無法生成適用于3D打印的模型。

我們都知道，3D打印中常用的文件格式是STL，它由一系列三角面片構(gòu)成，通過離散的方式近似描述三維實體模型的表面。在這里，如果能夠通過AI的方式把三角網(wǎng)格轉(zhuǎn)換成模型，將是最理想的選擇。

近日，來自慕尼黑工業(yè)大學(xué)、都靈理工大學(xué)和AUDI AG的研究人員發(fā)表了一篇論文，介紹了一種名為”MeshGPT：僅使用解碼器Transformer生成三角形網(wǎng)格“的新方法，能夠使用先進的AI技術(shù)創(chuàng)建3D形狀，特別是三角形網(wǎng)格。 論文鏈接：https://nihalsid.github.io/mesh-gpt/static/MeshGPT.pdf

MeshGPT通過從Transformer模型中進行自回歸采樣，創(chuàng)造了三角形網(wǎng)格。這一模型經(jīng)過訓(xùn)練，能夠從學(xué)得的幾何詞匯中生成標記，并將這些標記解碼為三角形網(wǎng)格的面。與現(xiàn)有技術(shù)相比，MeshGPT顯著提高了生成3D網(wǎng)格的質(zhì)量，形狀覆蓋率提高了9%，F(xiàn)ID分數(shù)提高了30個點。

該過程首先將三角形（3D形狀的構(gòu)建塊）轉(zhuǎn)換為人工智能可以理解的形式， 然后人工智能會了解這些三角形通常如何排列以創(chuàng)建不同的形狀。經(jīng)過訓(xùn)練后，MeshGPT可以通過預(yù)測三角形的排列來生成新的形狀。 它從一個起點開始，并不斷添加三角形以形成完整的形狀。結(jié)果是一個逼真的3D形狀，具有清晰的邊緣和細節(jié)，而且也很緊湊。

步驟說明：

1，通過使用編碼器-解碼器模型，從大量形狀集合中學(xué)習(xí)幾何嵌入的詞匯。該模型將三角形網(wǎng)格轉(zhuǎn)換為人工智能可以理解和使用的格式。

2，編碼器分析當前的三角形網(wǎng)格并將其轉(zhuǎn)換為一系列標記或嵌入 - 本質(zhì)上是對三角形及其排列的數(shù)字表示。這些嵌入捕捉了有關(guān)網(wǎng)格的基本幾何和拓撲信息，例如頂點的位置和三角形的方向。

3，一旦模型掌握了這些幾何詞匯，MeshGPT就會使用Transformer來生成新的網(wǎng)格。這一過程是自回歸的，也就是說，模型會逐步進行預(yù)測，每一步都基于先前的預(yù)測。其中會使用兩個轉(zhuǎn)換器生成網(wǎng)格，一個用于生成點，另一個在指針網(wǎng)絡(luò)的幫助下生成面，最終逐漸構(gòu)建完整的網(wǎng)格。

MeshGPT的一個顯著優(yōu)勢是其能夠生成既真實又緊湊的網(wǎng)格。緊湊性指的是在創(chuàng)建詳細而準確的形狀時不使用不必要的三角形。MeshGPT通過從現(xiàn)有網(wǎng)格的大量數(shù)據(jù)集中學(xué)習(xí)，了解如何保持其生成的形狀的高保真度，同時避免不必要的復(fù)雜性。

在性能方面，MeshGPT相較于以前的方法顯示出顯著的改進。研究表明，MeshGPT生成的形狀具有更好的覆蓋范圍和保真度，有效地模仿人類創(chuàng)建的網(wǎng)格的效率和細節(jié)。該模型能夠直接生成三角形序列的網(wǎng)格，同時保持高水平的細節(jié)和真實感，這標志著在3D形狀生成領(lǐng)域取得了重大的進步。

如果這項研究能夠成功應(yīng)用，將有望消除妨礙3D打印廣泛應(yīng)用的一大難題：模型數(shù)據(jù)。