從物理信息神經(jīng)網(wǎng)絡(luò)（ PINN ）到神經(jīng)算子，開發(fā)人員長期以來一直在尋求通過實時傳感器數(shù)據(jù)流構(gòu)建實時數(shù)字雙胞胎的能力，這種雙胞胎具有真實形式的渲染、強健的可視化以及與現(xiàn)實世界中的物理系統(tǒng)的同步。 Modulus 的最新發(fā)布讓我們更接近這個現(xiàn)實。

Modulus 22.03， 用于開發(fā)基于物理的機器學習模型的前沿框架，為開發(fā)人員提供了關(guān)鍵功能，如新穎的物理知識和數(shù)據(jù)驅(qū)動的人工智能架構(gòu)，以及與 Omniverse （ OV ）平臺的集成。

本次發(fā)布朝著使用 Modulus OV 擴展為工程師和研究人員構(gòu)建精確模擬和交互式可視化功能邁出了重要一步。這種增強得到了新的人工智能體系結(jié)構(gòu)的支持，這種體系結(jié)構(gòu)可以使用神經(jīng)算子從數(shù)據(jù)中學習。在這個最新版本的模中添加了其他增強功能，以便于對湍流等問題進行精確建模，以及改進訓練收斂性的功能。

Omniverse 集成

在 OV 集成中，訓練和推理工作流基于 Python API ，生成的訓練模型輸出作為場景引入 OV ，使用此擴展。

該擴展可以將模訓練模型的輸出導入到常見場景（如流線和 iso 曲面）的可視化管道中。它還提供了一個界面，允許交互探索設(shè)計變量和參數(shù)，以推斷新的系統(tǒng)行為。?通過利用 Omniverse 中的這個擴展，您可以在數(shù)字孿生的上下文中可視化模擬行為。?

新的網(wǎng)絡(luò)架構(gòu)

Modulus 現(xiàn)在支持神經(jīng)運算符，如 FNO 、 AFNO PINO 和 DeepONet 架構(gòu)。這使得數(shù)據(jù)驅(qū)動的物理機器學習模型能夠用于有大量地面真實數(shù)據(jù)可供訓練的用例。

FNO： 受物理啟發(fā)的神經(jīng)網(wǎng)絡(luò)模型，使用光譜空間中的全局卷積作為歸納偏差，用于訓練物理系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型。它結(jié)合了重要的空間和時間相關(guān)性，這些相關(guān)性強烈地控制著許多可以用偏微分方程（ PDE ）描述的物理系統(tǒng)的動力學。

AFNO： 一種自適應(yīng) FNO ，通過在操作員學習和標記混合之間建立聯(lián)系，將自我注意力擴展到視覺轉(zhuǎn)換器中的高分辨率圖像。 AFNO 基于 FNO ，允許幀令牌混合作為連續(xù)的全局卷積，而不依賴于輸入分辨率。由此產(chǎn)生的模型高度并行，具有準線性復雜度，序列大小具有線性記憶。

PINO： PINO 是 FNO 的明確物理信息版本。 PINO 結(jié)合了操作學習和功能優(yōu)化框架。在算子學習階段， PINO 通過參數(shù)化 PDE 族的多個實例學習解算子。在測試時間優(yōu)化階段， PINO 優(yōu)化 PDE 查詢實例的預(yù)訓練運算符 ansatz 。在 PINO tutorial 中了解更多信息。

DeepONet： DeepOne 體系結(jié)構(gòu)由兩個子網(wǎng)絡(luò)組成，一個子網(wǎng)絡(luò)用于編碼輸入函數(shù)，另一個子網(wǎng)絡(luò)用于編碼位置，然后合并以計算輸出。結(jié)果表明，與全連通網(wǎng)絡(luò)相比，深網(wǎng)通過引入感應(yīng)偏差來減少泛化誤差。在 DeepONet Tutorial 中了解更多信息。

Modulus 支持這些不同的體系結(jié)構(gòu)，使我們的用戶生態(tài)系統(tǒng)能夠選擇適合其用例的正確方法。

更多關(guān)鍵增強功能

兩個方程（ 2-eqn 。）湍流模型 ： 支持兩方程湍流（ k-e 和 k-w ）模型，用于模擬充分發(fā)展的湍流。文檔中包含了使用墻函數(shù)的通道情況（ 1D 和 2D ）的參考應(yīng)用程序。它展示了兩種墻功能（標準和流槽剝落）。在 2-eqn tutorial 中了解更多信息。

損失平衡的新算法： 為了提高收斂性，引入了三種新的損耗平衡算法，即梯度范數(shù)、隨機回溯的相對損耗平衡（ReLoBRaLo）和軟適應(yīng)。這些算法根據(jù)不同損失的相對訓練率動態(tài)調(diào)整損失權(quán)重。

此外，還加入了神經(jīng)切線核（ NTK ）分析。 NTK 是一種神經(jīng)網(wǎng)絡(luò)分析工具，用于指示每個組件的收斂速度。它將為不同損失條件下的權(quán)重提供一個可解釋的選擇。通過對損失的均方誤差進行分組，可以實時計算 NTK 。

支持新的優(yōu)化器： Modulus 現(xiàn)在支持 30 多個優(yōu)化器，包括內(nèi)置的 PyTorch 優(yōu)化器和 火炬優(yōu)化器庫。 包括對 AdaHessian 的支持， AdaHessian 是一個二階隨機優(yōu)化器，它近似于 Hessian 對角線的指數(shù)移動平均值，用于梯度向量的自適應(yīng)預(yù)處理。

關(guān)于作者

Bhoomi Gadhia 是 NVIDIA 的高級產(chǎn)品營銷經(jīng)理，專注于 NVIDIA Modular ，一個用于開發(fā)物理信息機器學習神經(jīng)網(wǎng)絡(luò)模型的人工智能框架。她在計算機輔助工程應(yīng)用領(lǐng)域擁有超過 10 年的經(jīng)驗，在 Hexagon MSC Software 和 Ansys 擔任技術(shù)和產(chǎn)品營銷職務(wù)。布米居住在加利福尼亞州，擁有機械工程碩士學位。

審核編輯：郭婷