電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)事件相機(jī)最早誕生于1990年,那時(shí)候,許多研究人員探討動(dòng)物感知環(huán)境的方式,發(fā)現(xiàn)對(duì)變化更為敏感,所以設(shè)計(jì)出了實(shí)驗(yàn)室用的事件相機(jī)。2008年,誕生了第一款商用的事件相機(jī)。如今國(guó)內(nèi)外都有企業(yè)和機(jī)構(gòu)進(jìn)行事件相機(jī)的研究。
事件相機(jī)的工作原理和優(yōu)勢(shì)
傳統(tǒng)相機(jī),無論是CMOS傳感器,還是CCD傳感器,亦或是RGBD相機(jī),都有一個(gè)參數(shù):幀率。它們是以恒定的頻率拍攝獲取圖像。這樣,即使幀率能夠達(dá)到1KHz,那也具有1ms的延時(shí)。所以傳統(tǒng)相機(jī)存在一定的延遲問題。 此外,傳統(tǒng)相機(jī)需要通過一定時(shí)間的曝光,使感光器件積累一定的光子,那么在曝光時(shí)間之內(nèi)如果物體在高速運(yùn)動(dòng),則會(huì)產(chǎn)生模糊,這也是傳統(tǒng)相機(jī)的一個(gè)問題。 另外,傳統(tǒng)相機(jī)的攻臺(tái)范圍較低,具體表現(xiàn)為在光線極差或者亮度極高時(shí),相機(jī)獲取的信息有限。這些問題極大的限制了傳統(tǒng)相機(jī)在一些應(yīng)用場(chǎng)景中的應(yīng)用。 而事件相機(jī)則可以很好的解決這些問題。事件相機(jī),也稱神經(jīng)形態(tài)像機(jī),或動(dòng)態(tài)視覺傳感器(DVS,Dynamic Vision Sensor),是一種能夠響應(yīng)局部亮度變化的成像傳感器。 事件相機(jī)不像常規(guī)相機(jī)那樣使用快門捕獲圖像。相反,事件相機(jī)中的每個(gè)像素都獨(dú)立且異步地運(yùn)行,并在發(fā)生亮度變化時(shí)輸出這些變化,否則保持沉默。 下圖可以非常形象的展示出事件相機(jī)和傳統(tǒng)相機(jī)在工作原理上的不同。左側(cè):假設(shè)拍攝的是一個(gè)圓盤轉(zhuǎn)動(dòng)(圓盤此時(shí)逆時(shí)針轉(zhuǎn)動(dòng)一段時(shí)間然后停止)。右側(cè):上面是傳統(tǒng)相機(jī),圓盤停止時(shí),標(biāo)準(zhǔn)相機(jī)輸出不間斷,然而這些信息其實(shí)不是我們關(guān)注信息。下面是事件相機(jī),其輸出信息為亮度動(dòng)態(tài)變化的位置,并且當(dāng)圖片無變化時(shí)即為 no events,無輸出。 此前有業(yè)內(nèi)人士對(duì)電子發(fā)燒友表示,基于這樣的工作原理,事件相機(jī)有幾個(gè)典型的特點(diǎn):一是它的動(dòng)態(tài)范圍非常高,可以達(dá)到140dB;二是因?yàn)樗惠敵鲇行畔?,不輸出無效信息,它的數(shù)據(jù)量非常??;三是它的速度非常快,可以達(dá)到1/10000s,甚至更高。 因?yàn)檫@些特點(diǎn),事件相機(jī)可適用于傳統(tǒng)相機(jī)難以解決的一些場(chǎng)景中。比如城區(qū)場(chǎng)景中的鬼探頭,傳統(tǒng)相機(jī)在面對(duì)橫向的鬼探頭場(chǎng)景時(shí),無法快速做出反應(yīng),而事件相機(jī)可以更快感知到危險(xiǎn)信號(hào);再比如高速場(chǎng)景下的避障,車輛在高速上快速行駛時(shí),遇到前方路面有一個(gè)輪胎,傳統(tǒng)相機(jī)不能及時(shí)做出反應(yīng),事件相機(jī)可以依靠低時(shí)延優(yōu)勢(shì),快速識(shí)別并做出避障的動(dòng)作。事件相機(jī)的研究企業(yè)和應(yīng)用目前,不少公司都在致力于事件相機(jī)的發(fā)展,包括iniVation、prophesee(普諾飛思)、索尼(收購(gòu)Insightness)、芯侖光電(韋爾股份子公司)、銳思智芯(Alpsentek)等。 iniVation起源于瑞士,由基于事件視覺的發(fā)明者創(chuàng)立。該公司已經(jīng)推出多款產(chǎn)品,熱門型號(hào)包括:DAVIS346 Color / Mono、DVXplorer、DVXplorer Lite / Mini、Stereo Kit等。 iniVation的動(dòng)態(tài)視覺平臺(tái)可為諸多應(yīng)用和行業(yè)提供支持和解決方案,包括物聯(lián)網(wǎng)(超低功耗監(jiān)控和智慧城市)、自動(dòng)駕駛(車輛測(cè)距、SLAM和乘員監(jiān)控)、機(jī)器人技術(shù)(場(chǎng)景理解與定位)、工業(yè)視覺(過程監(jiān)控和基礎(chǔ)設(shè)施檢測(cè))等。 Prophesee于2014年成立于法國(guó)巴黎,專注于神經(jīng)擬態(tài)視覺傳感技術(shù),目前基于事件的視覺技術(shù)推出多款傳感器。其研發(fā)的普諾飛思原視覺(Metavision)傳感器可應(yīng)用于手機(jī)、自動(dòng)駕駛、工業(yè)自動(dòng)化、物聯(lián)網(wǎng)、AR/VR、醫(yī)療設(shè)備等領(lǐng)域。 比如在智能駕駛領(lǐng)域,Xperi旗下子公司DTS基于普諾飛思原視覺(Metavision)傳感技術(shù)提供的事件數(shù)據(jù),開發(fā)了基于神經(jīng)擬態(tài)視覺系統(tǒng)的駕駛員監(jiān)控解決方案(DMS),提供了更優(yōu)的微光性能,以及新的檢測(cè)功能,如眼跳或微表情檢測(cè)等。再比如,高級(jí)駕駛輔助軟件開發(fā)商Terranet AB與梅賽德斯-奔馳共同開發(fā)的VoxelFlow傳感器,采用了普諾飛思原視覺(Metavision)傳感器,可掃描車輛周圍半徑為40米的區(qū)域,反應(yīng)時(shí)間為3毫秒。 銳思智芯成立于2019年,擁有一支兼?zhèn)?a href="http://www.delux-kingway.cn/v/tag/137/" target="_blank">芯片、算法、軟件和硬件研發(fā)經(jīng)驗(yàn)與能力的團(tuán)隊(duì),核心專家來自全球頂尖機(jī)構(gòu)。在高端視覺傳感器領(lǐng)域擁有超過16年的技術(shù)積累,在事件相機(jī)領(lǐng)域擁有超過8年的研究經(jīng)驗(yàn)。 2021年10月,銳思智芯(Alpsentek)發(fā)布了首款融合仿生事件視覺傳感器芯片——ALPIX-Pilatus(簡(jiǎn)稱 ALPIX-P)。專為機(jī)器感知設(shè)計(jì)的傳感器,可廣泛應(yīng)用于機(jī)器人、智能手機(jī)、無人駕駛、無人機(jī)、安防等場(chǎng)景。 ALPIX-P 采用銳思智芯自主研發(fā)的 Hybrid Vision融合式仿生事件視覺傳感技術(shù),即將仿生事件視覺技術(shù)與傳統(tǒng)圖像傳感技術(shù)在像素級(jí)別進(jìn)行融合。芯片可以在傳統(tǒng)圖像傳感器模式和仿生事件相機(jī)模式之間快速切換,實(shí)現(xiàn)事件相機(jī)與 CIS 相機(jī)功能 “二合一”。 在圖像模式下,ALPIX-P 是一款最高幀率為 120 幀的全局曝光傳感器,其圖像質(zhì)量與現(xiàn)有的商化的 CIS 輸出的圖像質(zhì)量一致,兼容現(xiàn)有成熟的視覺系統(tǒng)。在仿生事件相機(jī)模式下,ALPIX-P 具有超高幀率,高有效信息占比,大動(dòng)態(tài)范圍的特點(diǎn)。
小結(jié) 事件相機(jī)的核心是神經(jīng)擬態(tài),神經(jīng)擬態(tài)技術(shù)最早源于瑞士蘇黎世聯(lián)邦理工學(xué)院(ETH Zurich)。目前研究的企業(yè)主要有兩個(gè)方向,一是傳感器,即事件相機(jī),就是文章提到的幾家公司;另一個(gè)是神經(jīng)擬態(tài)計(jì)算,主要是SoC芯片,如九天睿芯、時(shí)識(shí)科技。目前從兩個(gè)方向來看,神經(jīng)擬態(tài)在產(chǎn)品和應(yīng)用上都有不錯(cuò)的進(jìn)展。
![8e98de84-57a7-11ed-a3b6-dac502259ad0.png](https://file1.elecfans.com//web2/M00/97/17/wKgZomTnKn2AQyAfAAJBLpDdnFk432.png)
- 車載大屏產(chǎn)業(yè)鏈分析,主要玩家都有誰?
- 谷歌3D全息電話亭,顛覆現(xiàn)有視頻通話!宛如真人面對(duì)面
- 富士康Model B/V正式發(fā)布,ALL IN電動(dòng)車代工,全產(chǎn)業(yè)鏈布局格局顯現(xiàn)
- 半導(dǎo)體TOP 10廠商股價(jià)集體腰斬,臺(tái)積電再傳危機(jī)信號(hào)
- 2026年交付!索尼造車終于塵埃落定,本田成代工廠
原文標(biāo)題:?事件相機(jī)的工作原理和應(yīng)用場(chǎng)景
文章出處:【微信公眾號(hào):電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
相機(jī)
+關(guān)注
關(guān)注
4文章
1370瀏覽量
53962
原文標(biāo)題:?事件相機(jī)的工作原理和應(yīng)用場(chǎng)景
文章出處:【微信號(hào):elecfans,微信公眾號(hào):電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
光照傳感器的工作原理與應(yīng)用場(chǎng)景
微壓傳感器的工作原理與應(yīng)用場(chǎng)景
![微壓傳感器的<b class='flag-5'>工作原理</b>與應(yīng)<b class='flag-5'>用場(chǎng)景</b>](https://file1.elecfans.com//web3/M00/06/CF/wKgZPGePnLWAL7YWAAJgpn5Fync818.png)
混合信號(hào)分析儀的原理和應(yīng)用場(chǎng)景
系統(tǒng)放大器的技術(shù)原理和應(yīng)用場(chǎng)景
實(shí)時(shí)示波器的技術(shù)原理和應(yīng)用場(chǎng)景
超聲波測(cè)厚儀的技術(shù)原理和應(yīng)用場(chǎng)景
光敏二極管的工作原理和應(yīng)用場(chǎng)景
UPS的工作原理及應(yīng)用場(chǎng)景
UART協(xié)議的工作原理和應(yīng)用場(chǎng)景
電壓繼電器的分類、工作原理、結(jié)構(gòu)特點(diǎn)和應(yīng)用場(chǎng)景
中間繼電器的工作原理、特點(diǎn)、應(yīng)用場(chǎng)景
差分放大器的工作原理和應(yīng)用場(chǎng)景
電流表的工作原理和應(yīng)用場(chǎng)景
手機(jī)信號(hào)屏蔽器:工作原理、使用場(chǎng)景和注意事項(xiàng)?
車間數(shù)據(jù)采集網(wǎng)關(guān)的工作原理和應(yīng)用場(chǎng)景
![車間數(shù)據(jù)采集網(wǎng)關(guān)的<b class='flag-5'>工作原理</b>和應(yīng)<b class='flag-5'>用場(chǎng)景</b>](https://file1.elecfans.com/web2/M00/C2/AB/wKgZomXmwCiALzvgAADZV8Kslec541.png)
評(píng)論