在全球 AI 產(chǎn)業(yè)生態(tài)體系日趨成熟的背景下，加速計算迎來了前所未有的發(fā)展空間，在眾多不同應(yīng)用以及各行各業(yè)得到了廣泛應(yīng)用，相關(guān)技術(shù)也飛速發(fā)展不斷迭代。

10 月 22 日，在 NVIDIA AI 研發(fā)技術(shù)開放日上，共邀請了 10 位來自 NVIDIA 加速計算專家團(tuán)隊的講師，深入互聯(lián)網(wǎng)核心應(yīng)用場景，聚焦五大技術(shù)熱點(diǎn)，與大家分享了加速計算的優(yōu)化經(jīng)驗。

演講視頻已正式上線

歡迎掃描下方二維碼，觀看精彩內(nèi)容：

演講一

GPU 編程和優(yōu)化

– 最佳實踐分享

演講嘉賓：NVIDIA 加速計算專家 劉冰 & 鄭鵬

演講簡介：

• CUDA 編程基礎(chǔ)知識和 CUDA 優(yōu)化技術(shù)

• 基于 FlashAttention2 與 FlashAttention 的 CUDA 編程最佳實踐

演講二

在NVIDIA NeMo 中實現(xiàn)

大語言模型全周期開發(fā)

– 以 LLaMa2 為例

演講嘉賓：NVIDIA 加速計算專家 姚鑫 & 顏子杰

演講簡介：

• NeMo Framework 介紹

• 使用 Nemo Framework 進(jìn)行預(yù)訓(xùn)練，包括優(yōu)化策略和性能

• 微調(diào)：包括 SFT 和 PEFT

• RLHF：包括 RLHF 的訓(xùn)練與性能優(yōu)化算法

• 介紹如何將模型導(dǎo)出到 TensorRT-LLM

演講三

TensorRT Hackathon 2023

總結(jié)AIGC 及大語言模型推理

的典型案例深入解析

演講嘉賓：NVIDIA 加速計算專家 季光 & 陳庾

演講簡介：

• TensorRT Hackathon 2023 總結(jié)：TensorRT Hackathon 是 NVIDIA 組織的年度編程賽事。我們回顧今年的賽事情況，包括賽題、比賽的組織與結(jié)果，并歡迎更多開發(fā)者參加比賽。

• 通過 TensorRT-LLM 中的量化技術(shù)加速 LLM 推理

演講四

向量數(shù)據(jù)庫的加速策略和實戰(zhàn)

演講嘉賓：NVIDIA 加速計算專家 王雍 & 張靜蓉

演講簡介：

• 介紹 Vector DB 的核心引擎近似最近鄰（ANN）搜索

• RAPIDS-RAFT 庫中基于 GPU 的 ANN 并行算法和工具，包括：IVF-Flat、IVF-PQ、基于圖的方法等

• ANN 算法中使用的關(guān)鍵優(yōu)化技術(shù)，特別是并行 Top-K 算法

演講五

推薦系統(tǒng)的最新優(yōu)化策略

和實踐– 以 HPS 為例

演講嘉賓：NVIDIA 加速計算專家 魏英燦 & 王澤寰

演講簡介：

• 用于推薦系統(tǒng)推理加速的分級參數(shù)服務(wù)器（HPS）框架介紹

• 高性能 GPU 推理緩存的設(shè)計思路與實現(xiàn)細(xì)節(jié)

• HPS 與 GPU 推理緩存的性能評估

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點(diǎn)擊“閱讀原文”或掃描下方海報二維碼，立即注冊 GTC 大會。