2024年3月26日-28日，2024中國商用車論壇在湖北省十堰市舉辦。本屆論壇由中國汽車工業(yè)協(xié)會主辦，以“新步伐?新成效?新提高，助力商用車產(chǎn)業(yè)高質(zhì)量發(fā)展”為主題，基于行業(yè)高質(zhì)量發(fā)展要求、國家“雙碳”目標(biāo)實(shí)現(xiàn)、汽車產(chǎn)業(yè)轉(zhuǎn)型和創(chuàng)新需要，以創(chuàng)新促改革、促轉(zhuǎn)型、促發(fā)展，助力商用車產(chǎn)業(yè)高質(zhì)量發(fā)展。其中，在3月28日上午舉辦的“主題論壇二：智能網(wǎng)聯(lián)技術(shù)賦能，加速商用車行業(yè)發(fā)展”上，湖北汽車工業(yè)學(xué)院汽車工程師學(xué)院院長、教授陳宇峰發(fā)表精彩演講。以下內(nèi)容為現(xiàn)場發(fā)言實(shí)錄：

各位專家，各位嘉賓，線上的朋友們，大家上午好。

我是湖北汽車工業(yè)學(xué)院的一位老師，首先向大家宣傳一下我們學(xué)校。我們學(xué)校是全國唯一一所以汽車命名的公辦普通高等院校，國內(nèi)相關(guān)的企業(yè)都有我們學(xué)校的畢業(yè)生，也非常歡迎大家到我們學(xué)校招聘畢業(yè)生。我所在的汽車工程師學(xué)院圍繞智能汽車開展人才培養(yǎng)。

我今天給大家?guī)淼膱蟾媸擒嚶?lián)網(wǎng)環(huán)境下結(jié)合換道意圖識別的碰撞預(yù)警研究。

我將分四部分：

第一部分，背景。

其實(shí)咱們國家連續(xù)15年汽車產(chǎn)銷數(shù)量位居全球第一，可以看到我們的車輛，特別是汽車的保有量是逐年上升的。根據(jù)國家統(tǒng)計(jì)年鑒2023年發(fā)布數(shù)據(jù)，2022年，汽車交通事故所帶來的損失也是巨大的，包括對人民生命財產(chǎn)安全的影響，應(yīng)該說也是對社會安全也是產(chǎn)生了影響。

我們就說了，如果說能夠提前識別駕駛意圖，也有研究來表明，如果能夠提前1.5秒鐘識別它車的駕駛意圖，將能夠降低90%的交通事故。在這些交通事故當(dāng)中，有一類的駕駛行為是非常危險的，也就是隨意變更車道。剛才楊秘書長也介紹了，隨意變更車道，不僅會影響其他車輛的正常運(yùn)行，也是交通事故產(chǎn)生的很大的一個引發(fā)誘因。城市道路，隨意變更車道很容易產(chǎn)生刮蹭問題，而在高速公路上會產(chǎn)生車毀人亡的后果。我們有轉(zhuǎn)向燈，但是實(shí)際情況是什么呢，在換道過程中開轉(zhuǎn)向燈的概率是比較低的，特別有人開車的時候，他會隨意的，他想起來的時候才打轉(zhuǎn)向，甚至不打轉(zhuǎn)向，等他想起來打轉(zhuǎn)向延遲已經(jīng)很大了。另外來講，有的時候駕駛?cè)司退汩_了轉(zhuǎn)向燈，其實(shí)有時候也是誤操作，這樣對駕駛?cè)藛T的意圖識別產(chǎn)生了很大的影響。

在我們現(xiàn)在的很多研究中，也就是說在我們車聯(lián)網(wǎng)還沒有進(jìn)行大規(guī)模的普及之前，單車智能能起到很大的作用，通過自身傳感器獲取周圍車輛信息，攝像頭，毫米波雷達(dá)，超聲波雷達(dá)能夠獲取周圍車輛信息，但是畢竟有遮擋存在、天氣影響，使單車智能對復(fù)雜交通環(huán)境狀況的識別還是不足?，F(xiàn)在車聯(lián)網(wǎng)，車路協(xié)同、車車通信、V2X的技術(shù)，就能夠?yàn)槲覀兊能囕v提供更多的周圍車輛的信息，從而為自車能夠去識別周圍車輛的駕駛意圖提供一個很好的通信基礎(chǔ)。?

那我們說了，如果用車聯(lián)網(wǎng)識別換道意圖的時候會面臨什么問題呢，這是我第二塊的研究內(nèi)容。

首先看問題和動機(jī)。

如果用車聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)交換的時候，一定會面對一個丟包問題，這個在通信中不能避免?，F(xiàn)在問題來了，如果丟包了，車聯(lián)網(wǎng)場景中，對駕駛意圖識別到底有多大的影響？另外我們?nèi)绻f是用人工智能的算法，特別是現(xiàn)在深度學(xué)習(xí)也比較火，如果說用深度學(xué)習(xí)的算法來做，對于算力負(fù)載需求能否能有合理的降低呢，這就是我們需要考慮的兩個問題。這里面，我們就希望通過對深度學(xué)習(xí)算法的研究，從兩個角度，一個是降低我們的數(shù)據(jù)采樣頻率，能夠?qū)崿F(xiàn)對算力負(fù)載的要求降低。另外，我們還要考慮，如果有數(shù)據(jù)丟包了，我們這樣的算法是否能夠適應(yīng)這樣車聯(lián)網(wǎng)的場景。

基于這樣的問題和動機(jī)，我們進(jìn)行了相應(yīng)的一些研究。首先來看數(shù)據(jù)集，NGSIM數(shù)據(jù)集。

我們以US-101路段數(shù)據(jù)來進(jìn)行訓(xùn)練和測試，包含了車輛各種信息，這也是公開數(shù)據(jù)。提前要做一些數(shù)據(jù)濾波處理，101數(shù)據(jù)集是攝像頭采集的，需要把攝像頭信息轉(zhuǎn)變?yōu)檐囕v結(jié)構(gòu)數(shù)據(jù)信息，這里轉(zhuǎn)變以后，我們用一個濾波算法，就是Savitzky-Golay算法，來平滑原始數(shù)據(jù)。

這里可以看到，藍(lán)色是自車，需要識別周圍的車輛是否有換道意圖。目標(biāo)是盡早識別換道意圖，而且通過車輛交互的信息來識別它的換道意圖。所有車輛定時公開或者發(fā)布自己的信息，這里被預(yù)測車輛是紅色車輛，綠色車輛是其環(huán)境車輛。我們在深度學(xué)習(xí)模型里面，輸入的數(shù)據(jù)，包括S和E，S代表被預(yù)測車輛信息，E代表被預(yù)測車輛的周圍車輛信息。

下面我們對車輛的駕駛行為序列進(jìn)行提取。這里面分兩位類，一類是直行序列，一類是換道序列，怎么識別換道序列？當(dāng)車輛軌跡和車道有交點(diǎn)，我們定義為換道點(diǎn)。通過對換道點(diǎn)前面的軌跡點(diǎn)的車輛航向角和閾值比對，如果出現(xiàn)連續(xù)三個采樣點(diǎn)都小于這個值，意味著這里出現(xiàn)了一個換道的起點(diǎn)，這個圖里面，綠色的點(diǎn)往左，因?yàn)檐囕v往右行駛，往左的三個黑點(diǎn)達(dá)到了這個條件，綠色的點(diǎn)被定義為換道起點(diǎn)，紅色點(diǎn)是換道點(diǎn)，藍(lán)色是換道過程點(diǎn)，一系列的換道序列作為測試序列和訓(xùn)練序列。

在這里面，因?yàn)樯疃葘W(xué)習(xí)的LSTM模型是比較經(jīng)典也是比較常用的，能夠進(jìn)行長短時記憶的網(wǎng)絡(luò)，這個網(wǎng)絡(luò)因?yàn)槭且粋€比較常見的網(wǎng)絡(luò)模型，我就簡單介紹一下。分為三個門，一個是遺忘門，一個輸入門，一個輸出門。這里面有相應(yīng)的公式計(jì)算出長時網(wǎng)絡(luò)記憶，以及短時網(wǎng)絡(luò)記憶，以及輸出門數(shù)據(jù)，一起最終得到了當(dāng)前狀態(tài)。

我們有了這樣的一個基本的LSTM模型以后，再用雙向LSTM。為什么用雙向呢？其實(shí)雙向意思就是既能代表前向，也能代表后向。前向來講，是能夠通過前向的LSTM結(jié)構(gòu)提取車輛的歷史特征。但是呢，我們又可以通過后向網(wǎng)絡(luò)來提取這個車輛未來時刻的特征。最終把這些特征信息進(jìn)行拼接輸出。我們引入雙向特征以后，就能夠更好的識別輸入序列的一個相互依賴關(guān)系，從而增強(qiáng)模型的泛化能力。當(dāng)然我們說光雙向還不夠，為什么呢？因?yàn)檎麄€輸入中，有不同的序列，得到的每個輸出時刻特征序列的權(quán)重是不一樣的，所以可以引入注意力機(jī)制。注意力機(jī)制是在眾多信息當(dāng)中選出你覺得哪些更重要的信息，賦予其更高的權(quán)重。我們引用了Attention注意力機(jī)制，可以捕捉每一個輸出時刻重要的狀態(tài)信息。這里呢，通過對每一個輸出時刻的重要性程度給它賦予不同的權(quán)值，提高模型的識別性能。

這是我們一個總的模型，在這個模型里面，我們有一個輸入模塊，這里邊是一個全連接，就是輸入做了全連接。這里識別網(wǎng)絡(luò)就是剛才的雙向網(wǎng)絡(luò)作為輸出，另外用一個函數(shù)進(jìn)行歸一化，最終形成左轉(zhuǎn)，右轉(zhuǎn)和直行三種概率，這三個概率判斷我們選擇其中最大一種作為一個最終的識別類。

這里評估方法，是通用的混淆矩陣。這里面用一個指標(biāo)F1macro來做總體評價?；氐轿覀儎偛诺膯栴}，如果我們想降低車載計(jì)算平臺的算力需求，我們希望能夠降低采樣頻率。我們首先以LSTM作為一個基準(zhǔn)模型來進(jìn)行一個測試，這里我們看到的，如果說采樣頻率是1、3、5、10這樣一個頻率，另外我們丟包率設(shè)置為無丟包、30%到60%丟包。如果采用5Hz或者10Hz，性能相似，差距不太大，而且不太受丟包的影響。采樣率為3的時候，受丟包影響也不太大，但是采樣為3，整個識別效果比我們頻率為5，頻率為10要低一些，也是符合直觀感受，所以后面分析當(dāng)中，我們采用5Hz的采樣頻率進(jìn)行后續(xù)性能的對比分析實(shí)驗(yàn)。

先對無丟包的情況進(jìn)行了一個對比分析，這里面做了一個消融實(shí)驗(yàn)，LSTM、BiLSTM等等機(jī)制。通過這樣一個消融實(shí)驗(yàn)，我們可以看到這四個模型的效果不一樣的?？傮w來看，就是我們所提出的雙向LSTM+Attention獲得最好的效果。當(dāng)我們用曲線來看，也可以看到AUC曲線的面積也是最大的，因此從無丟包的情況來看，我們提出的模型效果是最好的。

當(dāng)我們有30%丟包的時候效果怎么樣，在30%丟包的情況下，頻率還設(shè)定是5Hz，在這樣的情況下，我們的模型取得的效果依然是最好的。但是我們還對比了30%丟包的情況和無丟包的情況、四個模型的表現(xiàn)，我們可以看到和無丟包的情況對比，這四個模型里面，它的F1macro值降了多少，分別是0.4%多，0.5%多，0.5%多和0.1%多，這意味著我們所提出的模型降低最小。通過這樣一個模型對比，通過仿真實(shí)驗(yàn)可以得出基本的結(jié)論，就是我們的模型對丟包場景的適應(yīng)性是比較好的。

第三、結(jié)合換道意圖識別的碰撞預(yù)警。

這樣一個結(jié)合策略來講，其實(shí)也比較簡單，也是通用的，是一個基于距離的分級預(yù)警策略。這里面前面先通過，把我們剛才的這樣一個換道識別的模型融入到碰撞預(yù)警的分級策略中去，先通過換道意圖識別模型得到周圍車輛、被預(yù)測車輛的一個換道意圖，然后再來判斷我們跟它碰撞的風(fēng)險有多大，這樣分別就實(shí)現(xiàn)了初級預(yù)警、二級預(yù)警和三級預(yù)警，當(dāng)然級別越高，風(fēng)險越大，說明距離越短。

這是我們?nèi)×藘奢v車，是在7:50到8:05這樣一段時間中，選了兩輛車，一個是左轉(zhuǎn)，一個右轉(zhuǎn)車道，上面三條線，是換道概率識別出一個左轉(zhuǎn)、一個右轉(zhuǎn)。第一個圖最右邊是4秒，意味著在4秒的時候，這個車進(jìn)入到了車道線的換道點(diǎn)，我們能夠識別出的時間大約在不到2秒，因此能夠提前2秒左右能夠判斷出這個車在換道了。右邊這個圖換道比較急，我們可以看到進(jìn)入換道點(diǎn)大概2秒多一點(diǎn)，但是1秒左右識別出來了，因此我們能夠提前1秒左右判斷出它有換道的意圖，這個是自車判斷周圍車輛什么時候換道可以有一個提前預(yù)警。

這里分別各選了左轉(zhuǎn)、右轉(zhuǎn)的150組數(shù)據(jù)，共300組里面進(jìn)行預(yù)警評估，這里面確實(shí)沒有達(dá)到100%的換道意圖識別，有25組沒有識別，但是剩余換道意圖識別里面，有120組是在車道線，就是到車道線之前的3秒內(nèi)完成了換道意圖識別，有62組是2秒到3秒?yún)^(qū)間能夠識別了，還有56組是在1秒到2秒范圍內(nèi)完成識別，當(dāng)然也有在1秒內(nèi)識別的，就是31組，也就是說這31組應(yīng)該是在1秒內(nèi)識別，它的緊急程度是比較高的。但是根據(jù)我們剛才的分級預(yù)警策略里面，在二級預(yù)警和三級預(yù)警分別是10次和3次，這也說明我們整個預(yù)警策略是能夠有一定的提前量，能夠及早預(yù)警，這是碰撞預(yù)警的驗(yàn)證。

第四，總結(jié)。

總結(jié)一下我們的工作，因?yàn)橄啾绕髽I(yè)界做的工作來講，我們做得比較初步，我們也希望在我們基礎(chǔ)上，能夠通過深度學(xué)習(xí)的人工智能算法，為道路交通安全提供模型基礎(chǔ)，但是我們也希望在實(shí)際過程中，結(jié)合工程實(shí)踐，能夠解決一些算力問題，同時結(jié)合我們車聯(lián)網(wǎng)的實(shí)踐，對丟包問題能夠有很好的應(yīng)對策略。我們提出的算法在適當(dāng)降低采樣頻率、場景有丟包的情況下保持了良好性能。有了這樣一個意圖識別，能夠?yàn)槲覀兘煌ㄊ鹿逝鲎差A(yù)警有一個提前量，從而提升道路交通安全性。

未來還會考慮幾個因素做一些改進(jìn)，比如說通信時延問題，因?yàn)檫@里沒有考慮時延，時延比較小、如果是車車通信的話，后面要做車路協(xié)同，或者車云協(xié)同，車路協(xié)同跟路側(cè)交互，那時延會變大，如果通過車云交互，這樣時延會更大，時延的影響又怎么樣。另外在丟包的策略中，現(xiàn)在選擇的是隨機(jī)丟包，但是通信網(wǎng)絡(luò)還有很多突發(fā)性的丟包，在不同的丟包模型下，我們的模型是否還有適配性，甚至未來的網(wǎng)絡(luò)攻擊下，我們模型是否還能更好的識別。這是未來需要研究的地方。

我的匯報就到這里，謝謝大家。

（注：本文根據(jù)現(xiàn)場速記整理，未經(jīng)演講嘉賓審閱）

來源：中國商用車論壇