騰訊自動駕駛仿真技術孫馳天發表 “數字孿生仿真加速自動駕駛落地”演講

9月28-29日， 2021年“東方風起領航、智能駕駛躍遷——中國車谷2021智能汽車產業創新發展論壇”在武漢市舉辦，會議以智能駕駛為主線，通過一個主論壇+六個平行分論壇的形式，對智能駕駛趨勢、智能駕駛系統技術及人機共駕、車路協同及網聯技術、人工智能與芯片、感知融合技術、智能駕駛測試和評價技術、高精地圖與定位技術等主題展開討論。

在9月29日的“智能駕駛測試和評價技術”第五分論壇上，騰訊自動駕駛仿真技術總監孫馳天發表了“數字孿生仿真加速自動駕駛落地”的主旨演講，內容如下：

今天特別榮幸有這個機會向大家分享一下騰訊在自動駕駛和智慧交通領域用數字孿生技術進行仿真加速的工作。今天可能會聚焦到實際碰到的問題以及具體是如何解決這些問題的細節上面來。

首先簡單介紹一下，騰訊大家都熟悉，但是騰訊自動駕駛部門可能大家還是覺得比較陌生，因為我們確實也是比較低調，我們成立了五年時間，其實騰訊自動駕駛部門這五年來一直比較集中在做一件事情，我們給自己定位是做自動駕駛研發落地的工具箱和加速器，所以我們部門聚焦在四個方向：基于數字孿生技術，用了騰訊游戲技術的虛擬仿真系統TAD Sim;第二個是車端全棧算法(TAD Pilot);第三個是TAD Cloud;第四個是高精度地圖服務。

最開始騰訊自動駕駛部門來源于騰訊地圖，我們從騰訊地圖開始做騰訊高精度地圖，然后開始做自動駕駛，2017年正式成立了自動駕駛業務中心，真正開始做自動駕駛業務相關的工作。這幾年來我們也是打造了三位一體技術平臺，高精度地圖平臺，云開發平臺和虛擬仿真平臺。

不管是我們自己內部進行自動駕駛開發，還是跟騰訊合作伙伴進行交流聯合項目，這幾年我們明顯感覺到有兩個落地的難題。第一個是感知算法所需要的訓練數據集，全球各個科技公司每年投放大量的錢做數據采集和標注，每年10億美元量級，這個成本對于所有科技公司都是比較大的消耗。第二個測試驗證，測試驗證的安全性和時間和金錢，這個大家都比較熟悉。那這里我重點提一下OTA，工信部前段時間發了要求，以后網聯車是不允許自動OTA，而是由監管機構進行OTA所有算法的驗證，這樣一個要求就相當于對自動行業算法驗證測試平臺提出了更高的要求。我們可以想象到以后自動駕駛算法，如果通過OTA進行升級，一定需要第三測試機構進行驗證的。

當然使用仿真來解決剛才說的這些問題肯定要基于一個仿真平臺，騰訊花了四年半時間打造了這樣一套虛擬仿真平臺，我們的目的是想構建一個類似于電影《頭號玩家》里的綠洲系統。前段時間有一個新的電影《失控玩家》，也是這樣一個概念。那我們做什么樣的工作呢?我們總結了四個仿真核心能力：1、對于場景的幾何還原，重點是對場景三維還原，一般是基于三維重建技術，當然每家技術路徑不太一樣，還原完三維場景之后，我們的目的是為了運行傳感器仿真，基于各種物理模型進行精確傳感器仿真，這個傳感器仿真準確結果也是基于現實世界精準還原上的，這樣才可能拿到比較精準的傳感器結果;2、對于場景的邏輯還原，這里涉及到動態場景的元素生成，如何將真實世界的運動邏輯非常精確的還原出來;3、對于場景的物理還原，主要面向控制算法和動力學仿真，這里涉及到車輛動力學模型計算，摩擦力，輪胎模型計算，這跟物理性相關的;4、在云端高并發運行，原因也比較清楚，我們現在要面向測試場景庫的量級已經遠遠大于之前ADAS的量級，在本地是無法實現這個目的的。

我們花了四年半時間打造了這么一套面向自動駕駛系統TAD Sim，我們基于高精度地圖構建三維環境，從實到虛把世界映射進來，同時里面基于真值系統還原場景要素和屬性，并且用到算法和訓練測試中間去，同時我們還會生成很多動態要素幫助我們生成各種各樣測試的場景。

說到細節點，第一個跟大家分享一下我們如何還原一個測試區域靜態場景的測試工作。首先是基于真實場景做標注，為了減少標注成本，并且極大的豐富數據集場景，我們構建了一套工具鏈，一個是場景生成的算法，一個是場景識別的算法，這兩個算法是閉環互相提高的迭代方式。我們通過純虛擬的數據轉換成了帶有100%正確的標注數據(圖像、點云)，基于這些我們轉換出來的，帶有完全正確標注結果的數據集拿來訓練感知算法。感知算法提升又會進一步提升基于采集數據生成虛擬世界三維場景的工具鏈的效率，所以目前這個工具鏈我們跑了三年半時間，不管是轉換效率，還是生成效率都是比較高的，目前我們也是通過這套系統，不僅在自動駕駛仿真方向建立靜態的場景，也是在更廣闊的智慧交通的應用方向上建立城市級別的交通場景。

場景云端進行三維重建的時候，數據儲存的成本和計算成本都是非常高的。那有沒有什么辦法解決這個問題呢? 就是使用神經網絡結合多源地理數據大規模自動生成場景。

在我們生成城市場景時，云端支撐也是非常重要的降本增效的工具。如果生成一個五百平方公里左右的城區，我們大概要花22小時，如果放在騰訊云的話1小時內就可以生成完畢，關鍵是基本成本為零，唯一花的成本就是電費，僅此而已，所以這種方式可以極大滿足城市建模的需求。

下面跟大家分享一下我們在測試體系建立的時候面臨動態場景如何還原，也就是場景庫如何積累的問題。我們開發了TAD Sim單機版和云端版，這兩個系統用了這么長時間，其實也面臨一些挑戰，最核心的就是真實性的問題。我們的交通流模型做了很多探索，包括跟高校合作的，也有自研的交通流模型，有基于規則的、也有基于神經網絡的，我們也在著力探索如何將真實世界的交通場景映射到虛擬測試的環境內部。目前，我們認為的路徑，是通過真實交通的實時數據，和雷攝一體的交通流提取，這兩者結合起來就能比較有效的補充真實交通仿真場景庫以及提升自動駕駛仿真測試場景庫的真實性。