如今人工智能發(fā)展之日新月異，令人不由感嘆也許科幻電影里仿生人的應(yīng)用不再是遙不可及，那么未來AI會超越人類甚至取代人類嗎？也許現(xiàn)在AI的大腦還無法做到，但眼睛已經(jīng)做到，機(jī)器視覺的感知力已全面超越人類視覺——人眼只能感知所見目標(biāo)大概的距離/位置/速度以及外觀信息，并且受到天氣、光線等因素影響較大；昱感微“多維像素”多模態(tài)感知方案的超級攝像頭每秒可輸出30幀（甚至更高頻率）多模態(tài)融合感知數(shù)據(jù)，每一幀不僅有高清圖像數(shù)據(jù)，還有對應(yīng)像素級的目標(biāo)精準(zhǔn)3D空間位置坐標(biāo)距離、速度、溫度（目標(biāo)熱輻射）、對應(yīng)材質(zhì)（RCS）等數(shù)據(jù)，并且感知力不受天氣、光線等因素影響。

多模態(tài)融合感知的“多維像素”數(shù)據(jù)

那么昱感微“多維像素”多模態(tài)感知超級攝像頭是如何做到的呢？首先，昱感微采用最前沿的多維像素多模態(tài)前融合技術(shù)，將可見光攝像頭、紅外攝像頭、4D毫米波雷達(dá)/激光雷達(dá)的探測數(shù)據(jù)在前端（數(shù)據(jù)獲取時）融合，并將各傳感器的探測數(shù)據(jù)“坐標(biāo)統(tǒng)一、時序?qū)R”，最后以“多維像素”的數(shù)據(jù)格式輸出；昱感微的核心技術(shù)創(chuàng)新——“多維像素”，它是指在可見光攝像頭像素信息上加上其它傳感器對于同源目標(biāo)感知的信息：即圖像數(shù)據(jù)+雷達(dá)探測目標(biāo)的距離、速度、散射截面R的感知數(shù)據(jù)+紅外傳感器探測的熱輻射圖像數(shù)據(jù)疊加組合到一起，以攝像頭的像素為顆粒度組合全部感知數(shù)據(jù)，每個像素不僅有視覺信息，還包含了雷達(dá)和紅外傳感器的探測數(shù)據(jù)，形成多維度（多模態(tài)）測量參數(shù)矩陣數(shù)組。

目前的傳感器融合感知技術(shù)存在的挑戰(zhàn)，正如埃隆馬斯克所說的：“激光雷達(dá)和雷達(dá)與視覺結(jié)合所帶來的感知不一致性使得這些技術(shù)無法達(dá)到理想的效果”，昱感微的“多維像素”多模態(tài)感知方案能夠幫助大家徹底解決這個技術(shù)難題, 而且還能達(dá)到1+1>2的效果。在高分辨率寬動態(tài)的可見光攝像頭感知基礎(chǔ)上，雷達(dá)提供目標(biāo)的距離、速度維度的精準(zhǔn)感知還可以幫助可見光攝像頭克服天氣光線的影響，攝像頭的圖像又為雷達(dá)增添了語義信息，進(jìn)一步提高雷達(dá)點(diǎn)云的置信度以及感知信息量；遠(yuǎn)紅外攝像頭有針對性的目標(biāo)熱輻射圖像感知則賦予了自動駕駛系統(tǒng)卓越的夜視能力。昱感微“多維像素”超級攝像頭就像是一雙比人眼更敏銳的眼睛，看到的不僅僅是一幅幅二維的圖像，還有更多維度的精確信息（目標(biāo)的距離/速度/3D空間位置/溫度/材質(zhì)等)，形成完整的多模態(tài)“視覺語言”，令自動駕駛系統(tǒng)可以精確全面地感知道路上各種狀況。

提升性能+降本增效，融合感知的最優(yōu)解

多維像素還可以直接高效支持“占用網(wǎng)絡(luò)” (Occupancy Network)算法。占用網(wǎng)格是指將感知空間劃分為一個個立體網(wǎng)格（體素），通過檢測網(wǎng)格空間是否被占用來完成3D空間場景的語義表征（包括探測到各類異形物體）——這也是特斯拉等車廠目前力推的視覺算法。昱感微的“多維像素”包含了目標(biāo)的圖像信息、3D空間位置信息、目標(biāo)的速度信息和材質(zhì)信息，可以直接高效實(shí)時支持占用網(wǎng)格中的體素算法。并且，昱感微目前已經(jīng)可以提供的產(chǎn)品的空間感知分辨率（右下圖）的精準(zhǔn)度遠(yuǎn)高于特斯拉公開方案中的體素顆粒度（左下圖）。

基于“多維像素”感知數(shù)據(jù)來做場景語義重構(gòu)（體素Voxel，或者，立體連續(xù)表征3D Mesh），然后支持大數(shù)據(jù)模型，是最精準(zhǔn)高效并節(jié)省算力的實(shí)現(xiàn)方法。

昱感微“多維像素”超級攝像頭方案實(shí)時輸出豐富高質(zhì)量的多維度感知數(shù)據(jù)，其對目標(biāo)與環(huán)境的３D物理空間感知與定位精度可以達(dá)到圖像像素級的精度，多模態(tài)感知精度大幅優(yōu)于人類視覺；此外，得益于“多維像素”包含的豐富高效的感知數(shù)據(jù)在輸出時就已經(jīng)完成了全部目標(biāo)感知數(shù)據(jù)（對應(yīng)圖像像素）的確認(rèn)與精準(zhǔn)定位，“多維像素”超級攝像頭方案可大幅降低系統(tǒng)對域控制器算力的要求，并且還能夠高效支持“端到端”感知系統(tǒng)以及生成式驗(yàn)證系統(tǒng)（高效支撐數(shù)字化場景重構(gòu)）?！岸嗑S像素”數(shù)據(jù)的組合格式在不降低感知有效信息量的前提下大幅降低了數(shù)據(jù)體量，傳感器感知端側(cè)的感知數(shù)據(jù)傳輸?shù)街醒胗蚩囟说?strong>系統(tǒng)傳輸成本也可以進(jìn)一步降低。總體來看，昱感微“多維像素”超級攝像頭方案可為客戶提升性能、降本增效，是融合感知的最優(yōu)解。

審核編輯 黃宇