作為2024年國(guó)內(nèi)首個(gè)國(guó)際A級(jí)車展，5月份的北京車展被視為汽車行業(yè)技術(shù)發(fā)展的風(fēng)向標(biāo)，繼電動(dòng)化之后，以智能駕駛為代表的汽車智能化趨勢(shì)已經(jīng)漸成主流。

按照我國(guó)《汽車駕駛自動(dòng)化分級(jí)標(biāo)準(zhǔn)》，汽車智能駕駛共有L0至L5六個(gè)級(jí)別，L3級(jí)是分界線，以下為輔助駕駛，以上為自動(dòng)駕駛，而不論是輔助駕駛還是自動(dòng)駕駛，車輛都需要高清攝像頭、激光雷達(dá)、毫米波雷達(dá)等所組成的感知系統(tǒng)，以便識(shí)別紅綠燈和障礙物，并結(jié)合高算力芯片域控制器，及時(shí)作出避讓和剎車等決策。

本次車展，公開了許多新的智能駕駛技術(shù)，如圖1所示的大疆的激目系統(tǒng)，將雙目攝像機(jī)和激光雷達(dá)集成一體化，并提出了“前前融合”的技術(shù)，既提高了現(xiàn)有智能駕駛?cè)诤霞夹g(shù)水平，也為L(zhǎng)3智駕的演進(jìn)提供了新思路。本文將從智能駕駛的感知系統(tǒng)切入，重點(diǎn)介紹智能駕駛的融合技術(shù)，并對(duì)相關(guān)企業(yè)及高校院所的專利布局進(jìn)行簡(jiǎn)析。

圖1 大疆的激目系統(tǒng)

首先，在感知傳感器的選擇上，目前大多數(shù)城市智能駕駛硬件方案中選用攝像頭、毫米波雷達(dá)、超聲波雷達(dá)和激光雷達(dá)。通常在車身四周及車頂區(qū)域布置多個(gè)、多種傳感器以更快更全面獲取路況信息。

目前車載感知傳感器裝配數(shù)量趨勢(shì)如圖2所示，2021年，車載感知傳感器的配置數(shù)量主要集中在4-5個(gè)，配備20個(gè)以上感知傳感器的汽車占比較少，2022年-2023年，配備4-5個(gè)感知傳感器的汽車占比在逐漸減少，而配置20個(gè)以上傳感器的汽車占比相對(duì)增加。說明隨著智能駕駛技術(shù)的發(fā)展，配置更多的感知傳感器，是未來發(fā)展的趨勢(shì)之一。

上述傳感器中，攝像頭通常包含雙目攝像頭、單目攝像頭、魚眼攝像頭等，以應(yīng)用最廣的雙目攝像頭為例，它能像人眼一樣感知到障礙物的深度，但雙目攝像頭的標(biāo)定難度大、測(cè)量精度和范圍有限、易受天氣影響；毫米波雷達(dá)則具有更遠(yuǎn)的探測(cè)距離、更好的穿透能力、受環(huán)境影響小，但分辨率較低、信號(hào)易受建筑物或障礙反射干擾；超聲波雷達(dá)具有低成本、低功耗、不受光照影響、更適用于近距離探測(cè)，但測(cè)量距離有限、分辨率較低、易受溫濕度影響；

激光雷達(dá)是當(dāng)前最適合智能駕駛的解決方案，探測(cè)精度高、環(huán)境感知能力強(qiáng)、數(shù)據(jù)采集處理高效，但往往存在成本高昂、對(duì)環(huán)境光敏感、易受雨雪天氣影響、體積重量大導(dǎo)致不易安裝等問題。因此，目前傾向于將多種傳感器一起應(yīng)用，優(yōu)勢(shì)互補(bǔ)，達(dá)到更好的智能控制效果。各公司也紛紛布局多傳感器聯(lián)合應(yīng)用的相關(guān)專利，如：   

1、攝像頭+超聲波雷達(dá)

在智能駕駛的硬件選用上，通過攝像頭和超聲波傳感器的結(jié)合，能夠在全方位對(duì)車輛周圍進(jìn)行感知的同時(shí)，還能有效降低設(shè)備成本和使用功耗。攝像頭在良好光照條件下表現(xiàn)優(yōu)異，而超聲波則在惡劣天氣或低光條件下仍然有效，二者組合使用可以提供更穩(wěn)健的環(huán)境感知能力。

以浙江吉利控股集團(tuán)有限公司在2023年申請(qǐng)的專利CN117141467A為例，提供了一種融合泊車控制方法，先用超聲波雷達(dá)采集點(diǎn)云數(shù)據(jù)、得到點(diǎn)云感知結(jié)果，再根據(jù)點(diǎn)云感知結(jié)果和攝像頭采集的圖像確定目標(biāo)融合結(jié)果，最終用于確定控制車輛泊車的規(guī)劃決策。

又如知行汽車科技(蘇州)股份有限公司在2023年申請(qǐng)的專利CN115891984A，提供了一種智能駕駛系統(tǒng)，通過攝像頭和超聲波采集車輛周圍的環(huán)境數(shù)據(jù)，再通過預(yù)設(shè)輕量化AI算法模型完成計(jì)算，最后根據(jù)計(jì)算結(jié)果控制車輛動(dòng)作，完成智能化輔助駕駛。

2、攝像頭+毫米波雷達(dá)

攝像頭和毫米波雷達(dá)的組合使用能夠?yàn)橹悄荞{駛提供更為精準(zhǔn)的探測(cè)、識(shí)別結(jié)果，可以實(shí)現(xiàn)多層次的目標(biāo)檢測(cè)和跟蹤，具有更高的安全性和可靠性。

以知行汽車科技(蘇州)股份有限公司在2023年申請(qǐng)的專利CN117775024A為例，提供了一種自動(dòng)駕駛方法，先利用攝像頭獲取圖像并從中提取障礙物和/或車道線的第一道路信息，再利用毫米波雷達(dá)提取障礙物和/或車道線的第二道路信息，通過前視智能攝像頭獲取前視圖像，最后基于信息獲取順序確定相應(yīng)的信息處理規(guī)則，利用第一道路信息、第二道路信息和基于前視圖像得到的第三道路信息確定自動(dòng)駕駛策略以進(jìn)行自動(dòng)駕駛，通過前述技術(shù)方案能夠消除毫米波雷達(dá)和前視智能攝像頭的盲區(qū)范圍，提高車輛行駛安全性。   

3、攝像頭+激光雷達(dá)

激光雷達(dá)作為目前最適合車輛智能駕駛的傳感器，憑借其檢測(cè)精度高、識(shí)別準(zhǔn)確、探測(cè)距離遠(yuǎn)等優(yōu)點(diǎn)深受各大車企的鐘愛，也在各大主流車型上受到應(yīng)用，如圖3問界新M7、小鵬X9等。

但受限于激光雷達(dá)高昂的制造成本和使用成本，激光雷達(dá)通常與攝像頭組合使用，而且激光雷達(dá)的配置數(shù)量通常也僅有1-2顆，現(xiàn)如今采用激光雷達(dá)與攝像頭組合使用的方案也主要出現(xiàn)在中高端的車型中。

以南昌智能新能源汽車研究院在2024年申請(qǐng)的專利CN117953469A為例，提供了一種障礙物檢測(cè)方法，利用雙目攝像機(jī)獲取道路環(huán)境圖像數(shù)據(jù)，利用激光雷達(dá)獲取道路環(huán)境點(diǎn)云數(shù)據(jù)，分別構(gòu)建兩種傳感器的坐標(biāo)系，將圖像數(shù)據(jù)標(biāo)定至激光雷達(dá)坐標(biāo)系得到映射點(diǎn)云數(shù)據(jù)，再?gòu)闹袑?duì)感興趣的區(qū)域進(jìn)行劃定、提取其中的障礙物并分類識(shí)別，完成障礙物的檢測(cè)，可用于智能駕駛策略的制定。

4、多種雷達(dá)的組合使用

除上述兩種傳感器融合使用的技術(shù)方案，還存在多種雷達(dá)組合的方案。這類技術(shù)方案通常是前述基本組合的拓展，或是針對(duì)特定場(chǎng)景提出的解決方案。

如江鈴汽車股份有限公司2024年申請(qǐng)的專利CN118070218A，選用激光雷達(dá)、攝像頭和毫米波雷達(dá)用于自動(dòng)駕駛的感知融合；重慶長(zhǎng)安汽車股份有限公司2023年申請(qǐng)的專利CN116985784A，基于毫米波雷達(dá)、攝像頭和超聲波雷達(dá)確定并實(shí)時(shí)更新泊車路徑；三一重型裝備有限公司2020年申請(qǐng)的專利CN111781601A，利用激光雷達(dá)、長(zhǎng)距毫米波雷達(dá)、中距毫米波雷達(dá)和超聲波雷達(dá)實(shí)現(xiàn)對(duì)礦車附近的障礙物進(jìn)行探測(cè)。

前述內(nèi)容為智能駕駛中的傳感器選用方案，在智能駕駛領(lǐng)域，通過裝配多傳感器并融合使用，能夠有效提高車輛對(duì)周遭環(huán)境的感知能力，進(jìn)而為車輛的控制策略提供更為全面、可靠的信息支撐，但多傳感器的使用也就意味著需要處理更多的數(shù)據(jù)，甚至不同傳感器的數(shù)據(jù)指向結(jié)果可能是沖突的，因此，如何高效地融合多個(gè)傳感器的數(shù)據(jù)也是智能駕駛的重要一環(huán)。在現(xiàn)有多傳感器組合使用的智駕融合方案中，通常可以分為前融合和后融合兩種。

一、前融合

前融合是指多傳感器在數(shù)據(jù)層面的融合，這類方法通常先將激光雷達(dá)的點(diǎn)云數(shù)據(jù)根據(jù)外參和相機(jī)內(nèi)參投影到圖像或圖像提取的2D特征上去，并采樣對(duì)應(yīng)的視覺特征，然后拼接到點(diǎn)云上進(jìn)而通過常用的點(diǎn)云3D檢測(cè)算法進(jìn)行處理實(shí)現(xiàn)。

如武漢中海庭數(shù)據(jù)技術(shù)有限公司在2016年申請(qǐng)的專利CN105783936B，先通過結(jié)合雙目攝像機(jī)獲取的圖像和激光雷達(dá)的圖像以及導(dǎo)航衛(wèi)星的位置信息，制作高精度路面特征高精度地圖，再利用實(shí)時(shí)圖像數(shù)據(jù)及車輛定位模型確定道路標(biāo)識(shí)在高精度地圖中的位置，進(jìn)而實(shí)現(xiàn)車輛的精確定位。

又如華為在2018年申請(qǐng)的專利CN109614889B，如圖4所示，先提取雙目攝像機(jī)的兩幅圖像的相同特征，確定待檢測(cè)對(duì)象在攝像坐標(biāo)系下的三維坐標(biāo)，并和激光雷達(dá)的點(diǎn)云數(shù)據(jù)合并，進(jìn)而確定待檢測(cè)對(duì)象的準(zhǔn)確位置。雙目圖像及合并數(shù)據(jù)如下圖所示。

二、后融合

后融合是指多傳感器在結(jié)果層面的融合，相較于前融合可能存在的雷達(dá)和相機(jī)的外參不準(zhǔn)、相機(jī)和雷達(dá)噪聲多、多傳感器數(shù)據(jù)融合后再執(zhí)行決策需要占用過多的計(jì)算資源等問題，后融合可以有效提高分類準(zhǔn)確性，對(duì)于算力和算法的要求較小，是目前各大車企主要的選擇對(duì)象。

以奇瑞汽車在2018年申請(qǐng)的專利CN109634282B為例，如圖5所示，車身內(nèi)設(shè)置有車內(nèi)后視鏡、多個(gè)激光雷達(dá)、多個(gè)超聲波雷達(dá)、毫米波雷達(dá)和雙目攝像頭，它們各自采集車輛周圍的環(huán)境信息，再分別基于前述傳感器的數(shù)據(jù)進(jìn)行障礙物的識(shí)別，并融合所有的識(shí)別結(jié)果控制車輛的行進(jìn)路線，確定避開障礙的最佳通過路線，其車身的傳感器設(shè)置如下圖所示。   

佛山仙湖實(shí)驗(yàn)室在2022年申請(qǐng)的專利CN116385997A，如圖6所示，通過雙目相機(jī)獲得長(zhǎng)距圖像和中距圖像得到目標(biāo)障礙物的體積信息，再通過激光雷達(dá)獲得目標(biāo)障礙物的另一體積信息，將兩個(gè)感知結(jié)果融合得到最終的障礙物感知結(jié)果。車輛的傳感器設(shè)置位置如下圖所示。

麥肯錫與百度在2017年進(jìn)行的一個(gè)預(yù)測(cè)報(bào)告分別衡量了未來十到二十年L3及L4以上級(jí)別自動(dòng)駕駛。報(bào)告認(rèn)為，最為樂觀的認(rèn)為有條件的L3自動(dòng)駕駛在2030年新車滲透率可以達(dá)到50%，L4以上完全自動(dòng)駕駛達(dá)到15%[1]。且目前車載智能駕駛在國(guó)內(nèi)部分試點(diǎn)城市已經(jīng)實(shí)現(xiàn)了無人駕駛，雖然仍有很大的改進(jìn)空間，但依舊是研究熱點(diǎn)方向，也是人工智能典型的落地應(yīng)用場(chǎng)景之一。

理論上，多傳感器的融合可以獲取到比人眼更多、更高維度的數(shù)據(jù)，可以感知到肉眼不可見的物體，是現(xiàn)階段自動(dòng)駕駛中唯一確定的機(jī)器可以超越人的環(huán)節(jié)，也是影響自動(dòng)駕駛安全提升的決定性因素[1]。因此，采用多傳感器感知環(huán)境信息，使用智能駕駛?cè)诤霞夹g(shù)來制定自動(dòng)駕駛的控制策略是車載智能駕駛技術(shù)的主流技術(shù)方向。

在未來的智能駕駛上將應(yīng)用何種傳感器？多傳感器的融合使用又將取得何種改進(jìn)？關(guān)于數(shù)據(jù)的融合應(yīng)用是否又將進(jìn)一步突破當(dāng)前的桎梏？這些既是智能駕駛有待解決的關(guān)鍵問題，也飽含了人們對(duì)于無人駕駛先進(jìn)技術(shù)的無限探索與期待。

作者：品源知識(shí)產(chǎn)權(quán)管理咨詢  馬秉正