引言

/Foreword

鑒于自動(dòng)駕駛系統(tǒng)（Automated Driving System, ADS）和交通環(huán)境的復(fù)雜性以及安全事件的偶發(fā)性，自動(dòng)駕駛系統(tǒng)需要安全、可靠地處理由外界和自身變化帶來(lái)的多種不確定性，才能有效保障智能網(wǎng)聯(lián)汽車安全合規(guī)地行駛，并逐步提升舒適性和智能性。因此，在智能網(wǎng)聯(lián)汽車開(kāi)發(fā)設(shè)計(jì)流程中，測(cè)試驗(yàn)證評(píng)價(jià)是必不可少的環(huán)節(jié)——這需要基于智能網(wǎng)聯(lián)汽車的設(shè)計(jì)運(yùn)行條件（Operational Design Condition，ODC）、安全邊界及最小風(fēng)險(xiǎn)策略等，對(duì)自動(dòng)駕駛功能開(kāi)展全面的測(cè)試驗(yàn)證工作。^[1]

為確保智能網(wǎng)聯(lián)汽車產(chǎn)品測(cè)試方案的可行性和測(cè)試結(jié)果的一致性，以及合理調(diào)配測(cè)試資源、有效降低測(cè)試成本，賽目科技參考國(guó)內(nèi)外相關(guān)法規(guī)和技術(shù)標(biāo)準(zhǔn)，基于長(zhǎng)期積累的智能網(wǎng)聯(lián)汽車測(cè)試經(jīng)驗(yàn)，提出智能網(wǎng)聯(lián)汽車產(chǎn)品測(cè)試策略——構(gòu)建場(chǎng)景集，解決智能網(wǎng)聯(lián)汽車產(chǎn)品測(cè)試“測(cè)什么”的問(wèn)題；提出智能網(wǎng)聯(lián)汽車測(cè)試場(chǎng)景和“三支柱”的匹配方法，解決智能網(wǎng)聯(lián)汽車產(chǎn)品測(cè)試“怎么測(cè)”的問(wèn)題。

本系列文章將分上、下兩篇，分別闡釋賽目科技提出的測(cè)試策略研究如何解決智能網(wǎng)聯(lián)汽車測(cè)試“測(cè)什么”和“怎么測(cè)”兩個(gè)核心問(wèn)題。

?

怎么測(cè)？

場(chǎng)景與“三支柱”測(cè)試方法匹配

為了合理規(guī)劃測(cè)試工作排期和測(cè)試工作量，對(duì)已經(jīng)生成的場(chǎng)景集要合理的與三支柱方法進(jìn)行適配，并確定具體的測(cè)試策略，其中，明確測(cè)試場(chǎng)景與“三支柱”測(cè)試方法的映射關(guān)系是重中之重。

1

場(chǎng)景與“三支柱”測(cè)試匹配分析的基本思想

模擬仿真測(cè)試、封閉場(chǎng)地測(cè)試和實(shí)際道路測(cè)試共同構(gòu)建形成完備的測(cè)試評(píng)估體系，以支撐智能網(wǎng)聯(lián)汽車安全要求驗(yàn)證確認(rèn)。場(chǎng)景與“三支柱”測(cè)試匹配分析主要需考慮場(chǎng)景可行性和測(cè)試方法可行性：

• 場(chǎng)景可行性

首先，需要考慮場(chǎng)景本身的安全性。若已識(shí)別出的邊緣場(chǎng)景、危險(xiǎn)場(chǎng)景和失效場(chǎng)景存在威脅駕駛員人身安全或嚴(yán)重影響道路交通安全的潛在風(fēng)險(xiǎn)，則應(yīng)首先在模擬仿真環(huán)境中進(jìn)行測(cè)試，確認(rèn)最小風(fēng)險(xiǎn)準(zhǔn)則可接受，再另行考慮是否進(jìn)行封閉場(chǎng)地測(cè)試或?qū)嶋H道路測(cè)試。

其次，出于測(cè)試成本方面的考量，應(yīng)盡可能的精簡(jiǎn)封閉場(chǎng)地測(cè)試和實(shí)際道路測(cè)試的場(chǎng)景?；谀M仿真遍歷測(cè)試，測(cè)試敏感性分析、連續(xù)場(chǎng)景通過(guò)性分析，篩選封閉場(chǎng)地測(cè)試的典型場(chǎng)景下的典型測(cè)試用例，篩選實(shí)際道路測(cè)試中需要測(cè)試的連續(xù)場(chǎng)景以及典型交通條件。

• 測(cè)試方法可行性

一方面需考慮測(cè)試的可重復(fù)性。模擬仿真測(cè)試可重復(fù)性高[2]，封閉場(chǎng)地可以適當(dāng)控制交通環(huán)境，而實(shí)際道路測(cè)試中場(chǎng)景與環(huán)境完全隨機(jī)，場(chǎng)景重復(fù)性低。因此，應(yīng)在模擬仿真測(cè)試中對(duì)同一個(gè)功能場(chǎng)景進(jìn)行盡可能多地遍歷參數(shù)組合，在封閉場(chǎng)地測(cè)試中選擇典型用例進(jìn)行測(cè)試，而在實(shí)際道路測(cè)試中，主要考慮真實(shí)交通場(chǎng)景中是否包含期望的場(chǎng)景要素，以及測(cè)試?yán)锍痰姆e累。

另一方面需考慮測(cè)試環(huán)境的真實(shí)性。實(shí)際道路測(cè)試的真實(shí)性高于封閉場(chǎng)地測(cè)試，模擬仿真測(cè)試盡管可以使用硬件在環(huán)、整車在環(huán)等虛實(shí)結(jié)合的方式，但測(cè)試環(huán)境仍是數(shù)字模擬的虛擬場(chǎng)景。[3]因此，若存在ADS在某些場(chǎng)景下通過(guò)性易受自然環(huán)境、整車狀態(tài)、駕駛員狀態(tài)、交通環(huán)境影響，則必需在物理世界進(jìn)行測(cè)試，即此類場(chǎng)景必需進(jìn)行封閉場(chǎng)地測(cè)試或?qū)嶋H道路測(cè)試。

• 三支柱測(cè)試基本思想

模擬仿真測(cè)試以高可信度的仿真工具鏈為支撐，充分發(fā)揮其在測(cè)試執(zhí)行效率、靈活度、成本等方面的優(yōu)勢(shì)，對(duì)自動(dòng)駕駛系統(tǒng)開(kāi)展高覆蓋度的場(chǎng)景測(cè)試，以評(píng)估智能網(wǎng)聯(lián)汽車安全性，并基于測(cè)試結(jié)果識(shí)別出自動(dòng)駕駛系統(tǒng)存在潛在風(fēng)險(xiǎn)的危險(xiǎn)場(chǎng)景和邊緣場(chǎng)景，作為封閉場(chǎng)地測(cè)試和實(shí)際道路測(cè)試的重要場(chǎng)景輸入。

封閉場(chǎng)地測(cè)試根據(jù)其測(cè)試場(chǎng)景需求開(kāi)展場(chǎng)景搭建、不確定性評(píng)估及測(cè)試工作，通過(guò)單一場(chǎng)景測(cè)試、組合場(chǎng)景測(cè)試等方式在可控的環(huán)境下對(duì)自動(dòng)駕駛系統(tǒng)的實(shí)車表現(xiàn)和模擬仿真的可信度進(jìn)行評(píng)估。

實(shí)際道路測(cè)試則在針對(duì)期望覆蓋的場(chǎng)景要素集合，重點(diǎn)圍繞測(cè)試路段、測(cè)試時(shí)長(zhǎng)等因素制定有針對(duì)性的測(cè)試方案，并開(kāi)展相關(guān)測(cè)試工作，以評(píng)估智能網(wǎng)聯(lián)汽車在真實(shí)交通場(chǎng)景中的產(chǎn)品安全性。[1]

圖 1“三支柱”測(cè)試流程圖

（點(diǎn)擊查看大圖）

2

矩陣映射法——匹配場(chǎng)景與“三支柱”測(cè)試方法

為了詳細(xì)說(shuō)明場(chǎng)景與“三支柱”測(cè)試方法匹配的分析思路，本文提出了一種矩陣映射法[4]，通過(guò)“場(chǎng)景-功能”矩陣和“功能-測(cè)試方法”矩陣的映射，得到“場(chǎng)景-測(cè)試方法”的關(guān)系矩陣。

• "場(chǎng)景-功能"矩陣

  承接本系列文章《智能網(wǎng)聯(lián)汽車測(cè)試策略研究》上篇中的場(chǎng)景庫(kù)構(gòu)建思路，通過(guò)多種分析方式，共篩選出m個(gè)需要進(jìn)行測(cè)試的場(chǎng)景，并在ADS要素分析過(guò)程中，確定其具有的n個(gè)功能。

首先，建立m個(gè)場(chǎng)景與n個(gè)功能的對(duì)應(yīng)關(guān)系表，該表通過(guò)定性分析ADS測(cè)試場(chǎng)景集中各個(gè)場(chǎng)景是否調(diào)用ADS各類功能可得到。表1 待測(cè)場(chǎng)景與ADS功能對(duì)應(yīng)表 表中的是零一變量，表示ADS在場(chǎng)景運(yùn)行時(shí)，ADS是否需要調(diào)動(dòng)功能，如需調(diào)動(dòng)功能，則，反之。將表 1寫為“場(chǎng)景-功能”矩陣，記為：;

• “功能-測(cè)試方法”矩陣

同樣的，建立n個(gè)功能與3種測(cè)試方法的對(duì)應(yīng)關(guān)系表，該表可參考目前國(guó)內(nèi)外已發(fā)布或在研的政策、法規(guī)、標(biāo)準(zhǔn)，將分析所得的對(duì)應(yīng)關(guān)系填入如表2所示的ADS功能與測(cè)試方法對(duì)應(yīng)表：表 2功能與測(cè)試方法對(duì)應(yīng)表

表中的是零一變量，表示為驗(yàn)證功能，是否需要進(jìn)行方法的測(cè)試，如功能必須進(jìn)行測(cè)試，則，反之。（滑動(dòng)查看完整公式）將表2寫為“功能-測(cè)試方法”矩陣，記為：

• “場(chǎng)景-功能”與“功能-測(cè)試方法”的映射

設(shè)“場(chǎng)景-測(cè)試方法”矩陣為如上式所示，“場(chǎng)景-功能”矩陣與“功能-測(cè)試方法”矩陣相乘，可得“場(chǎng)景-測(cè)試方法”矩陣：其中: 如，說(shuō)明場(chǎng)景需要進(jìn)行方法的測(cè)試，如，說(shuō)明場(chǎng)景無(wú)需進(jìn)行測(cè)試。

• 測(cè)試矩陣修正

參考上文的基本思想，模擬仿真測(cè)試由于成本低、測(cè)試效率高和可重復(fù)性強(qiáng)，應(yīng)在仿真環(huán)境中進(jìn)行所有場(chǎng)景的測(cè)試，因此，基于此原則，可能出現(xiàn)如下需對(duì)“場(chǎng)景-測(cè)試方法”矩陣進(jìn)行修正的情況：

由于模擬仿真仿真測(cè)試是封閉場(chǎng)地測(cè)試和實(shí)際道路測(cè)試的輸入，如存在場(chǎng)景，是但或，則需要在模擬仿真環(huán)境中增加場(chǎng)景測(cè)試用例。 因此需要對(duì)“場(chǎng)景-測(cè)試方法”矩陣進(jìn)行修正，令，修正后的“場(chǎng)景-測(cè)試方法”矩陣記為。

綜上，根據(jù)修正后的“場(chǎng)景-測(cè)試方法”矩陣，可得如下表3形式的測(cè)試策略表，矩陣中元素大于0，則在對(duì)應(yīng)單元格中填入“必測(cè)”，元素等于0，則為填入“可選”：

表 3自動(dòng)駕駛系統(tǒng)場(chǎng)景-測(cè)試方法策略表（樣表）

	模擬仿真測(cè)試	封閉場(chǎng)地測(cè)試	實(shí)際道路測(cè)試
場(chǎng)景1	必測(cè)/可選	必測(cè)/可選	必測(cè)/可選
場(chǎng)景2
場(chǎng)景m

• 案例分析

以下通過(guò)一個(gè)簡(jiǎn)單案例分析，以更直觀地說(shuō)明場(chǎng)景-功能-測(cè)試映射分析法。為簡(jiǎn)化案例分析維度，該案例僅分析1個(gè)場(chǎng)景，考慮2個(gè)ADS功能，分析“三支柱”測(cè)試方法測(cè)試策略。

表 4案例-場(chǎng)景與ADS功能對(duì)應(yīng)表

	合理可預(yù)見(jiàn) 的用戶誤用	明確的介入請(qǐng)求 觸發(fā)條件且可識(shí)別
前車切入	有	無(wú)

表4說(shuō)明在前車切入場(chǎng)景中，包含合理可預(yù)見(jiàn)的用戶誤用，不包含明確的介入請(qǐng)求觸發(fā)條件且可識(shí)別。

因此可得“場(chǎng)景-功能”矩陣：

確定功能與測(cè)試方法的對(duì)應(yīng)關(guān)系如下表 5：

表 5案例-功能與測(cè)試方法對(duì)應(yīng)表

	模擬仿真測(cè)試	封閉場(chǎng)地測(cè)試	實(shí)際道路測(cè)試
合理可預(yù)見(jiàn) 的用戶誤用	可選	必測(cè)	可選
明確的介入請(qǐng)求 觸發(fā)條件且可識(shí)別	必測(cè)	必測(cè)	可選

可得“功能-測(cè)試方法”矩陣：

因此，“場(chǎng)景-測(cè)試方法”矩陣為：

下圖 2通過(guò)三維坐標(biāo)系的形式，更為形象地解釋了場(chǎng)景-功能-測(cè)試方法映射分析的原理：

圖2案例-場(chǎng)景-功能-測(cè)試方法映射分析原理圖‘

（點(diǎn)擊查看大圖）

因出現(xiàn)但，則需要修正“場(chǎng)景-測(cè)試方法”矩陣：可得如表 6所示的測(cè)試策略表：

表 6案例-測(cè)試場(chǎng)景-測(cè)試方法策略表

	模擬仿真測(cè)試	封閉場(chǎng)地測(cè)試	實(shí)際道路測(cè)試
前車切入	必測(cè)	必測(cè)	可選

3

評(píng)價(jià)體系

測(cè)試評(píng)價(jià)是智能網(wǎng)聯(lián)汽車安全上路不可或缺的重要環(huán)節(jié)。針對(duì)模擬仿真測(cè)試、封閉場(chǎng)地測(cè)試和實(shí)際道路測(cè)試等不同的測(cè)試階段的測(cè)試結(jié)果，均應(yīng)進(jìn)行科學(xué)、全面和有效的評(píng)價(jià)。評(píng)價(jià)方法主要包括基于單一場(chǎng)景的評(píng)價(jià)方法和基于連續(xù)場(chǎng)景/里程的評(píng)價(jià)方法。

• 基于單一場(chǎng)景的評(píng)價(jià)方法

為考察自動(dòng)駕駛系統(tǒng)在單一場(chǎng)景下的表現(xiàn)，建立涵蓋安全性、合規(guī)性和舒適性等多維度的評(píng)價(jià)指標(biāo)體系，主要涉及模擬仿真測(cè)試和封閉場(chǎng)地測(cè)試。 基于單一場(chǎng)景評(píng)價(jià)方法的核心是在設(shè)計(jì)、驗(yàn)證和確認(rèn)階段，測(cè)試自動(dòng)駕駛系統(tǒng)在關(guān)鍵測(cè)試場(chǎng)景中的通過(guò)性。特別的，針對(duì)模擬仿真測(cè)試，在測(cè)試前，需要證明使用的模擬仿真測(cè)試工具鏈的置信度、仿真模型（包括傳感器模型和車輛動(dòng)力學(xué)模型等）的可信度；在測(cè)試后，通過(guò)仿真和實(shí)車對(duì)比等手段，驗(yàn)證模擬仿真測(cè)試的可信度，確認(rèn)仿真測(cè)試結(jié)果與真實(shí)物理世界測(cè)試結(jié)果的一致性。

• 基于連續(xù)場(chǎng)景/里程的評(píng)價(jià)方法

為考察自動(dòng)駕駛系統(tǒng)在連續(xù)場(chǎng)景下的表現(xiàn)和長(zhǎng)時(shí)間運(yùn)行的穩(wěn)定性，通過(guò)連續(xù)場(chǎng)景、一段連續(xù)道路，或是一片行駛區(qū)域（例如：城區(qū)路網(wǎng)等)，即在真實(shí)的條件和環(huán)境下，或者接近于真實(shí)的條件和環(huán)境下，主要涉及模擬仿真測(cè)試和實(shí)際道路測(cè)試。

基于連續(xù)場(chǎng)景/里程的評(píng)價(jià)方法的核心是測(cè)試搭載自動(dòng)駕駛系統(tǒng)的車輛是否具備完善的自動(dòng)駕駛功能，以及是否會(huì)對(duì)交通產(chǎn)生負(fù)面影響。特別的，針對(duì)模擬仿真測(cè)試，可通過(guò)構(gòu)建測(cè)試道路（包括高速/城市等），設(shè)置隨機(jī)交通流等方式，評(píng)價(jià)被測(cè)自動(dòng)駕駛系統(tǒng)在連續(xù)場(chǎng)景/里程的通過(guò)性。

結(jié)語(yǔ)

本系列文章首先從測(cè)試內(nèi)容入手，提出了場(chǎng)景集的構(gòu)建方法，根據(jù)場(chǎng)景數(shù)據(jù)的不同來(lái)源，分別就標(biāo)準(zhǔn)法規(guī)場(chǎng)景集、預(yù)期功能安全場(chǎng)景集、實(shí)車采集數(shù)據(jù)場(chǎng)景集的構(gòu)建方法進(jìn)行說(shuō)明；隨后從測(cè)試方法入手，提出了矩陣映射法，并展示了場(chǎng)景與“三支柱”測(cè)試方法匹配分析的實(shí)例；分別回答了智能網(wǎng)聯(lián)汽車測(cè)試“測(cè)什么”和“怎么測(cè)”的問(wèn)題。

未來(lái)，賽目科技還將從測(cè)試規(guī)模、測(cè)試評(píng)價(jià)，以及模擬仿真與場(chǎng)地測(cè)試對(duì)比分析等方面展開(kāi)深入研究，持續(xù)完善并分享智能網(wǎng)聯(lián)汽車“三支柱”測(cè)試方法論知識(shí)體系，敬請(qǐng)期待！

參考文獻(xiàn)

[1]劉法旺, 曹建永, 張志強(qiáng), et al. 基于場(chǎng)景的智能網(wǎng)聯(lián)汽車"三支柱"安全測(cè)試評(píng)估方法研究 [J]. 汽車工程學(xué)報(bào), 2023, 13(1): 7.

[2]劉法旺, 何豐, 周時(shí)瑩, et al. 基于場(chǎng)景的智能網(wǎng)聯(lián)汽車模擬仿真測(cè)試評(píng)估方法與實(shí)踐 [J]. 汽車工程學(xué)報(bào), 2023, 13(02): 135-45.

[3](GRVA) Proposal for a second iteration of the New Assessment/Test Method for Automated Driving — Master Document [R]. Geneva: Economic Commission for Europe, 2022.

[4]白雪松, 鄧偉文, 任秉韜, et al. 一種自動(dòng)駕駛仿真場(chǎng)景要素的提取方法 [J]. 汽車工程, 2021, 43(07): 1030-6, 65.

關(guān)于賽目

專注智能網(wǎng)聯(lián)汽車

測(cè)試丨驗(yàn)證丨評(píng)價(jià)研究

關(guān)注賽目

掃描二維碼關(guān)注賽目科技