導(dǎo)讀

精準(zhǔn)搜集車輛傳感器的實(shí)時(shí)數(shù)據(jù)是ADAS系統(tǒng)穩(wěn)定運(yùn)行的關(guān)鍵所在。友思特 proFRAME 系統(tǒng)可以同步采集輸入數(shù)據(jù)流并輸出處理，成為車載全景環(huán)視相機(jī)從圖像采集至分析結(jié)果輸出存儲(chǔ)的高效閉環(huán)方案。

proFRAME 車載圖像采集與回放系統(tǒng)

ADAS系統(tǒng)如交通標(biāo)志識(shí)別、車道輔助、停車輔助和自動(dòng)駕駛（AD）等功能，需要高效、精準(zhǔn)地收集車輛傳感器的實(shí)時(shí)數(shù)據(jù)，特別是來(lái)自嵌入式攝像頭的視頻數(shù)據(jù)，這些功能的驗(yàn)證需要同步捕獲各個(gè)攝像頭的視頻流，添加相應(yīng)的時(shí)間戳并存儲(chǔ)，然后在硬件在環(huán)測(cè)試（HIL）中將這些駕駛場(chǎng)景回放到驗(yàn)證 ADAS/AD ECU中。

針對(duì)上述內(nèi)容，proFRAME提供了完美的解決方案。

全景環(huán)視的多相機(jī)數(shù)據(jù)流包含相應(yīng)的高精度時(shí)間戳，proFRAME 提供了 bypass 功能（Tap模式），使得數(shù)據(jù)流可以同步采集輸入和輸出處理，通過(guò) ATX4 高性能車載服務(wù)器/BRICK2 數(shù)采平臺(tái)，對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)、圖像處理、分析，實(shí)現(xiàn)車載全景環(huán)視相機(jī)圖像采集至分析結(jié)果輸出存儲(chǔ)的完整閉環(huán)。

方案特點(diǎn)

同步捕獲各個(gè)相機(jī)的視頻流并添加響應(yīng)時(shí)間戳進(jìn)行存儲(chǔ)；

同步錄制多達(dá)8個(gè)4K視頻流（包括邊帶通信I2C），并可通過(guò)外部觸發(fā)線與其他記錄設(shè)備或傳感器同步；

proFRAME系統(tǒng)在HIL中能夠基于錄制過(guò)程中的時(shí)間戳精準(zhǔn)同步地回放駕駛場(chǎng)景；

兼容市面上常見(jiàn)的串行器播放視頻流，回放根據(jù)單圖像幀時(shí)間戳信息或外部觸發(fā)進(jìn)行；

支持ROS或ADTF的HIL系統(tǒng)，提供API實(shí)現(xiàn)proFRAME與HIL系統(tǒng)的快速集成。

靈活切換的工作模式及其應(yīng)用

友思特 proFRAME 板卡有三種工作模式，通過(guò)加載不同的固件來(lái)切換，從而滿足不同場(chǎng)景下的應(yīng)用需求。

Capture模式（采集）

板卡處于Capture模式時(shí)，可以同時(shí)獲取最多8個(gè)相機(jī)的視頻流。

對(duì)于每一個(gè)相機(jī)視頻流的獲取鏈路如下：

前端的GMSL/FPD-Link相機(jī)的CMOS圖像傳感器捕獲光信號(hào)并轉(zhuǎn)換為電信號(hào)，生成原始圖像數(shù)據(jù)。

原始圖像數(shù)據(jù)在相機(jī)內(nèi)部經(jīng)過(guò)處理（如去噪、增益、色彩校正等）后通過(guò)相機(jī)的串行芯片進(jìn)行串行化，轉(zhuǎn)為CSI-2標(biāo)準(zhǔn)的數(shù)據(jù)格式，通過(guò)同軸線纜（Coax）傳輸?shù)桨蹇ā?/p>

在板卡上，接收到的數(shù)據(jù)通過(guò)相機(jī)適配器的解串芯片進(jìn)行解碼，將串行數(shù)據(jù)流恢復(fù)成并行的CSI-2圖像數(shù)據(jù)格式，傳送至板卡的FPGA模塊進(jìn)行處理。

除了圖像數(shù)據(jù)，相機(jī)的控制信號(hào)指令（如I2C和GPIO）也通過(guò)同軸線纜傳輸。I2C用于設(shè)備間的通信，包括配置相機(jī)的工作參數(shù)（如曝光、增益調(diào)整等），GPIO用于控制相機(jī)的行為（如相機(jī)的啟停、觸發(fā)拍攝等）。板卡也支持通過(guò)同軸線纜給相機(jī)供電（PoC）。

板卡通過(guò)PCIe（x8 Gen3）接口跟主機(jī)通信，基于proFRAME配套的API、Lib和驅(qū)動(dòng)，實(shí)現(xiàn)了后續(xù)客戶端應(yīng)用的集成，包括ROS或ADTF應(yīng)用。

Replay模式（回放）

板卡處于Replay模式時(shí)，可以同時(shí)回放最多4個(gè)視頻流。

對(duì)于每一個(gè)視頻流的回放鏈路如下：

主機(jī)客戶端應(yīng)用輸出的視頻流通過(guò)PCIe接口傳輸?shù)桨蹇?，通過(guò)板卡的FPGA模塊進(jìn)行預(yù)處理，轉(zhuǎn)為CSI-2圖像數(shù)據(jù)格式。

并行的CSI-2圖像數(shù)據(jù)在相機(jī)適配器的串行芯片進(jìn)行串行化，通過(guò)切換不同的相機(jī)適配器，以GMSL或FPD-Link串行接口標(biāo)準(zhǔn)輸出。

圖像數(shù)據(jù)通過(guò)同軸線纜傳輸?shù)角岸说腅CU設(shè)備進(jìn)行解串，恢復(fù)成并行圖像數(shù)據(jù)，用于可視化或其他調(diào)試處理目的。也可以使用另一塊proFRAME板卡來(lái)重新采集捕獲回放的視頻流。

TAP模式（旁通、邊采集邊回放/記錄）

板卡處于TAP模式時(shí)，可以同時(shí)分別采集和輸出最多各4個(gè)視頻流。

對(duì)于每一個(gè)視頻流，采集的數(shù)據(jù)攜帶ns級(jí)別的高精度時(shí)間戳，采集到的數(shù)據(jù)同時(shí)分出兩路，一路通過(guò)PCIe傳到主機(jī)，一路通過(guò)另外的通道輸出，實(shí)現(xiàn)視頻流的實(shí)時(shí)采集和回放。具體的數(shù)據(jù)傳輸鏈路如下：

前端的GMSL/FPD-Link相機(jī)的CMOS圖像傳感器捕獲光信號(hào)并轉(zhuǎn)換為電信號(hào)，生成原始圖像數(shù)據(jù)。

原始圖像數(shù)據(jù)在相機(jī)內(nèi)部經(jīng)過(guò)處理（如去噪、增益、色彩校正等）后通過(guò)相機(jī)的串行芯片進(jìn)行串行化，轉(zhuǎn)為CSI-2標(biāo)準(zhǔn)的數(shù)據(jù)格式，通過(guò)同軸線纜（Coax）傳輸?shù)桨蹇ā?/p>

在板卡上，接收到的數(shù)據(jù)通過(guò)相機(jī)適配器的解串芯片進(jìn)行解碼，將串行數(shù)據(jù)流恢復(fù)成并行的CSI-2圖像數(shù)據(jù)格式，傳送至板卡的FPGA模塊進(jìn)行處理。

除了圖像數(shù)據(jù)，相機(jī)的控制信號(hào)指令（如I2C和GPIO）也通過(guò)同軸線纜傳輸。I2C用于設(shè)備間的通信，包括配置相機(jī)的工作參數(shù)（如曝光、增益調(diào)整等），GPIO用于控制相機(jī)的行為（如相機(jī)的啟停、觸發(fā)拍攝等）。板卡也支持通過(guò)同軸線纜給相機(jī)供電（PoC）。

圖像數(shù)據(jù)經(jīng)由板卡的FPGA模塊，同步分出兩路數(shù)據(jù)，一路數(shù)據(jù)經(jīng)由PCIe（x8 Gen3）接口傳輸?shù)街鳈C(jī)的客戶端應(yīng)用；一路數(shù)據(jù)重新經(jīng)過(guò)相機(jī)適配器的串行化芯片進(jìn)行串行輸出，通過(guò)同軸線纜傳輸?shù)角岸说腅CU設(shè)備進(jìn)行解串，恢復(fù)成并行圖像數(shù)據(jù)，用于可視化或其他調(diào)試處理目的。

友思特 proFRAME 系統(tǒng)方案

proFRAME Base Board 3.0 CompactPCI

第三代 proFRAME 基板以CompactPCI?串行（CPCI-S.0）形式首次亮相，其數(shù)據(jù)速率是其前代產(chǎn)品的四倍，可支持最先進(jìn)的汽車攝像頭。該基板基于 AMD Zynq? UltraScale+ ? ZU4CG MPSoC 構(gòu)建，可為其每個(gè)新型相機(jī)適配器接口提供高達(dá) 40 Gbit/s 的數(shù)據(jù)傳輸速率。

proFRAME Base Board 3.0 PCIe

具備CompactPCI?串行版本的所有高級(jí)功能，但作為常規(guī)PC系統(tǒng)的PCI Express?板均能實(shí)現(xiàn)。與新的camAD3相機(jī)適配器系列完全兼容。

了解更多？歡迎訪問(wèn)官網(wǎng)，探索豐富案例：https://viewsitec.com/proframe-grabber/

關(guān)注友思特機(jī)器視覺(jué)與光電公眾號(hào)、加入行業(yè)交流群或直接聯(lián)系我們，輕松收獲更多技術(shù)干貨

審核編輯 黃宇