欧美性猛交xxxx免费看_牛牛在线视频国产免费_天堂草原电视剧在线观看免费_国产粉嫩高清在线观看_国产欧美日本亚洲精品一5区

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

利用進化后的反向傳播算法實現(xiàn)快速、高效的訓(xùn)練

電子工程師 ? 來源:lq ? 2019-04-24 17:23 ? 次閱讀

利用進化后的反向傳播算法實現(xiàn)快速、高效的訓(xùn)練

最新機器學(xué)習(xí)自動搜尋方法的推動下,一些谷歌研究人員提出了一種自動生成反向傳播方程的方法。

新方法的工作原理:研究人員嘗試修改反向計算(流程)圖,并實現(xiàn)了一種搜索方法:找到更好的公式,生成全新的傳播規(guī)則。他們使用進化后算法來尋找可能的更新方程。進化控制端在每次迭代中向研究人員群發(fā)送一組修改后的更新方程以進行評估。然后,每位研究人員使用接收到的變異方程來訓(xùn)練一個固定的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),并向控制端報告所達到的精準度。

潛在應(yīng)用及影響

研究人員發(fā)現(xiàn)一些變異可以像傳統(tǒng)的反向傳播方法一樣有效。這些變化可以在短的訓(xùn)練周期內(nèi)實現(xiàn)更高的準確性,因此可以用于改進基于準確性的決策算法。

由于反向傳播是深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ),利用這種新發(fā)現(xiàn)的變異可以用來增強對各種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

原文:

https://arxiv.org/pdf/1808.02822.pdf

端對端的目標跟蹤結(jié)構(gòu)

研究人員提出了一種離線型端到端訓(xùn)練的鑒別目標跟蹤方法。在Python中可以使用PyTorch實現(xiàn),新方法是通過迭代優(yōu)化從具有辨別性的學(xué)習(xí)損失中衍生得出的。它構(gòu)成卷積層的權(quán)重以及輸出目標分類得分。而且它還實現(xiàn)了一個預(yù)測模型,其中包括一個初始化網(wǎng)絡(luò),以便僅使用外觀(特征),就能有效地提供模型權(quán)重的初始估計。

然后由優(yōu)化模塊處理權(quán)重,同時考慮目標和背景樣本。優(yōu)化功能是特地設(shè)計的,只包括一些可學(xué)習(xí)的參數(shù),以避免在離線訓(xùn)練期間過度擬合。在使用時,預(yù)測模型就能夠泛化為不可見的目標,這在常規(guī)目標跟蹤中是至關(guān)重要的。

整個跟蹤模型,包括目標分類、邊界框預(yù)估和Backbone模塊,都可以在跟蹤數(shù)據(jù)集上進行離線訓(xùn)練。在評估方面,它在6個跟蹤基準上都達到了最新的技術(shù)水平,在運行速度超過40FPS的情況下,在VOT2018(Visual Object Tracking Challenge全球目標追蹤領(lǐng)域中最高水平賽事)上獲得了EAO得分:0.440(Expect Average Overlap Rate,追蹤算法評價標準之一)。

在單塊Nvidia GTX 1080 GPU上,新模型在使用ResNet-18為主時,跟蹤速度為57 FPS,對于ResNet-50則為43FPS。訓(xùn)練及推導(dǎo)過程請見?

https://github.com/visionml/pytracking

潛在應(yīng)用與影響

現(xiàn)在我們有了一種辨別性的目標跟蹤方法,而且這種方法是離線訓(xùn)練的,只需幾個優(yōu)化步驟就可以進行穩(wěn)健型的預(yù)測。結(jié)合這一方法以及其他最近的目標跟蹤方法,我們即將迎來下一代目標跟蹤(方法)的進步。

閱讀更多:

https://arxiv.org/abs/1904.07220v1

3.DG-Net:增強行人身份再識別(Re-Identification)

為了提高行人的再識別能力,研究人員最近提出了DG- Net,這是一個結(jié)合再識別學(xué)習(xí)和端到端數(shù)據(jù)生成的聯(lián)合學(xué)習(xí)框架。為此,DG-Net包含一個生成模塊,該模塊將特定的人分別編譯為外觀代碼和結(jié)構(gòu)代碼。它還集成了與生成模塊共享外觀編碼器的判別模塊。

因此,DG-Net中的生成模塊可以生成高質(zhì)量的交叉id合成圖像,然后在線將圖像反饋給外觀編碼器,通過切換外觀代碼或結(jié)構(gòu)代碼來改進模型的判別模塊。在包括Market-1501、dukemtc - reid和MSMT17在內(nèi)的標準基準數(shù)據(jù)集上對DG-Net進行了評估,結(jié)果顯示,與傳統(tǒng)模型相比,DG-Net在圖像生成質(zhì)量和再識別精度方面都有顯著的改進。

將新方法與LSGAN[29],PG2-GAN[28],FD-GAN[10],PN-GAN[31]通過基于Market-1501而產(chǎn)生的真實圖像進行對比,放大后可以更清楚地看到圖片的表層和深層。

潛在應(yīng)用與影響

從GANs被發(fā)現(xiàn)到最近的研究進展,判別和生成網(wǎng)絡(luò)在圖像構(gòu)建和生成任務(wù)中不斷證明自己。DG-Net是另一個當代的方法,將會顯著和持續(xù)地提高再識別的準確性。這項研究表明,人工智能領(lǐng)域還可以繼續(xù)更深入地研究GANs,以便找到更好的方法,來運用生成的數(shù)據(jù)完成更多穩(wěn)健的基于圖像任務(wù)。

原文:

https://arxiv.org/abs/1904.07223v1

4 .實現(xiàn)CNNs端到端培訓(xùn)時間減少31%

通過著重關(guān)注加速訓(xùn)練,一組研究人員提出了PruneTrain,一種新的經(jīng)濟有效的方法,可以緩慢但穩(wěn)定地降低CNN的訓(xùn)練成本。與傳統(tǒng)的CNN訓(xùn)練方法不同,PruneTrain在訓(xùn)練過程中通過稀疏化過程實現(xiàn)了模型剪枝方法scratch。模型剪枝主要是在稠密模型中減少權(quán)值或參數(shù)的數(shù)量,從而在保持原有模型精度的同時降低內(nèi)存和推理成本。

PruneTrain非常實用,它使CNN的端到端訓(xùn)練成本降低了約31%??傮w而言,它減少了大約一半的計算成本——對于大數(shù)據(jù)集和小數(shù)據(jù)集,它分別減少了37%到40%之間的計算成本,實現(xiàn)了31%和28%的成本降低。總的來說,這是由于計算延遲減少了37%,內(nèi)存占用減少了35%,加速器間通信減少了54%。

潛在用途及影響

在機器學(xué)習(xí)社區(qū)中,誰不認為這是一個好消息?人工智能研究人員和行業(yè)從業(yè)人員現(xiàn)在都可以期待使用PruneTrain進行成本更低的CNN訓(xùn)練,并且PruneTrain將CNN架構(gòu)重構(gòu)為更節(jié)省成本的形式,同時仍然保留一個密集的結(jié)構(gòu)。為了更快地進行推理,這樣的模型剪枝是值得深入研究的!

詳情請見:

https://arxiv.org/abs/1901.09290v3

5 . 自主微型機器人的合成神經(jīng)視覺系統(tǒng)

一種新的基于嵌入式視覺系統(tǒng)的自主微機器人方法被提出,用于識別動態(tài)機器人場景中的運動模式。該方法將基本的運動模式分為隱現(xiàn)(接近)、衰退、平移等運動。該系統(tǒng)由兩個協(xié)調(diào)子系統(tǒng)組成,其中包括蝗蟲巨葉狀體運動探測器(LGMD1和LGMD2),它有四個突起神經(jīng)元,用于感知若隱若現(xiàn)和衰退。另一類是用于平動運動提取的果蠅定向選擇神經(jīng)元(DSN-R和DSN-L)。

通過對開關(guān)函數(shù)和決策機制的時空計算,圖像被轉(zhuǎn)換為峰值,從而在動態(tài)機器人場景中喚起適當?shù)谋芘?、跟蹤和漫游行為。對多機器人的評估證實了系統(tǒng)在識別運動特征以進行碰撞檢測的有效性,與現(xiàn)有方法相比有顯著改進。

潛在用途及影響

為了在動態(tài)場景中應(yīng)用合適的機器人行為,毫無疑問,更多的研究工作和行業(yè)實踐是必要的。所提出的人工神經(jīng)視覺系統(tǒng)能夠較好地識別運動規(guī)律。研究人員呼吁在系統(tǒng)中繼續(xù)加入其他視覺神經(jīng)元,提取更多的運動特征,以豐富運動模式,使機器人的視覺系統(tǒng)更加高效。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 谷歌
    +關(guān)注

    關(guān)注

    27

    文章

    6203

    瀏覽量

    106100
  • 神經(jīng)網(wǎng)絡(luò)

    關(guān)注

    42

    文章

    4785

    瀏覽量

    101246
  • 機器學(xué)習(xí)
    +關(guān)注

    關(guān)注

    66

    文章

    8449

    瀏覽量

    133135

原文標題:改進反向傳播算法實現(xiàn)高效訓(xùn)練,端到端的目標跟蹤結(jié)構(gòu),微型機器人的新視覺系統(tǒng) | AI一周學(xué)術(shù)

文章出處:【微信號:BigDataDigest,微信公眾號:大數(shù)據(jù)文摘】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    反向傳播如何實現(xiàn)

    實現(xiàn)反向傳播
    發(fā)表于 07-09 16:10

    神經(jīng)網(wǎng)絡(luò)和反向傳播算法

    03_深度學(xué)習(xí)入門_神經(jīng)網(wǎng)絡(luò)和反向傳播算法
    發(fā)表于 09-12 07:08

    MapReduce的誤差反向傳播算法

    針對誤差反向傳播(BP)算法計算迭代的特點,給出了迭代式MapReduce框架實現(xiàn)BP算法的方法。迭代式MapReduce框架在傳統(tǒng)MapR
    發(fā)表于 12-20 16:39 ?0次下載
    MapReduce的誤差<b class='flag-5'>反向</b><b class='flag-5'>傳播</b><b class='flag-5'>算法</b>

    基于反向學(xué)習(xí)的自適應(yīng)差分進化算法

    為解決差分進化( DE)算法過早收斂與搜索能力低的問題,討論對控制參數(shù)的動態(tài)調(diào)整,提出一種基于反向學(xué)習(xí)的自適應(yīng)差分進化算法。該
    發(fā)表于 03-29 17:44 ?1次下載

    反向傳播算法的工作原理

    反向傳播算法(BP算法)是目前用來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的最常用且最有效的算法。作為谷歌機器學(xué)習(xí)速成
    的頭像 發(fā)表于 07-02 16:01 ?1w次閱讀
    <b class='flag-5'>反向</b><b class='flag-5'>傳播</b><b class='flag-5'>算法</b>的工作原理

    一種自動生成反向傳播方程的方法

    。在經(jīng)過幾個epoch的訓(xùn)練,搜索條件是使 generalization 最大化。我們找到了和標準反向傳播效果同樣好的幾個變體方程。此外,在較短的
    的頭像 發(fā)表于 08-14 09:55 ?3885次閱讀
    一種自動生成<b class='flag-5'>反向</b><b class='flag-5'>傳播</b>方程的方法

    卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值反向傳播機制和MATLAB的實現(xiàn)方法

    降低了網(wǎng)絡(luò)需要訓(xùn)練的數(shù)量級。本文以MINST手寫體數(shù)據(jù)庫為訓(xùn)練樣本,討論卷積神經(jīng)網(wǎng)絡(luò)的權(quán)值反向傳播機制和MATLAB的實現(xiàn)方法;對激活函數(shù)t
    發(fā)表于 12-06 15:29 ?14次下載

    淺析深度神經(jīng)網(wǎng)絡(luò)(DNN)反向傳播算法(BP)

    在 深度神經(jīng)網(wǎng)絡(luò)(DNN)模型與前向傳播算法 中,我們對DNN的模型和前向傳播算法做了總結(jié),這里我們更進一步,對DNN的反向
    的頭像 發(fā)表于 03-22 16:28 ?3740次閱讀
    淺析深度神經(jīng)網(wǎng)絡(luò)(DNN)<b class='flag-5'>反向</b><b class='flag-5'>傳播</b><b class='flag-5'>算法</b>(BP)

    神經(jīng)網(wǎng)絡(luò)反向傳播算法原理是什么

    神經(jīng)網(wǎng)絡(luò)反向傳播算法(Backpropagation Algorithm)是一種用于訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)算法。它通過最小化損失函數(shù)
    的頭像 發(fā)表于 07-02 14:16 ?787次閱讀

    神經(jīng)網(wǎng)絡(luò)前向傳播反向傳播區(qū)別

    神經(jīng)網(wǎng)絡(luò)是一種強大的機器學(xué)習(xí)模型,廣泛應(yīng)用于各種領(lǐng)域,如圖像識別、語音識別、自然語言處理等。神經(jīng)網(wǎng)絡(luò)的核心是前向傳播反向傳播算法。本文將詳細介紹神經(jīng)網(wǎng)絡(luò)的前向
    的頭像 發(fā)表于 07-02 14:18 ?957次閱讀

    反向傳播神經(jīng)網(wǎng)絡(luò)建?;驹?/a>

    反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network,簡稱BP神經(jīng)網(wǎng)絡(luò))是一種多層前饋神經(jīng)網(wǎng)絡(luò),通過反向傳播算法
    的頭像 發(fā)表于 07-03 11:08 ?522次閱讀

    神經(jīng)網(wǎng)絡(luò)反向傳播算法的推導(dǎo)過程

    神經(jīng)網(wǎng)絡(luò)反向傳播算法(Backpropagation Algorithm)是一種用于訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)算法。它通過最小化損失函數(shù)
    的頭像 發(fā)表于 07-03 11:13 ?680次閱讀

    神經(jīng)網(wǎng)絡(luò)反向傳播算法的原理、數(shù)學(xué)推導(dǎo)及實現(xiàn)步驟

    神經(jīng)網(wǎng)絡(luò)反向傳播算法(Backpropagation Algorithm)是一種用于訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的算法,其基本原理是通過梯度下降法來最小
    的頭像 發(fā)表于 07-03 11:16 ?997次閱讀

    神經(jīng)網(wǎng)絡(luò)反向傳播算法的優(yōu)缺點有哪些

    神經(jīng)網(wǎng)絡(luò)反向傳播算法(Backpropagation Algorithm)是一種廣泛應(yīng)用于深度學(xué)習(xí)和機器學(xué)習(xí)領(lǐng)域的優(yōu)化算法,用于訓(xùn)練多層前饋
    的頭像 發(fā)表于 07-03 11:24 ?1244次閱讀

    什么是BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法

    BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法(Backpropagation Algorithm)是一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的有效方法。以下是關(guān)于BP神經(jīng)網(wǎng)絡(luò)的反向
    的頭像 發(fā)表于 02-12 15:18 ?128次閱讀