2021年4月13日，由蓋世汽車、慕尼黑上海電子展聯(lián)合主辦的“2021中國汽車人機(jī)交互HMI創(chuàng)新大會(huì)”隆重召開。本次大會(huì)旨在聚集汽車HMI領(lǐng)域的杰出人才、UX/UI設(shè)計(jì)師以及前瞻規(guī)劃研究人員分享全方位汽車人機(jī)交互領(lǐng)域的創(chuàng)新理念、技術(shù)趨勢(shì)、行業(yè)焦點(diǎn)、現(xiàn)實(shí)挑戰(zhàn)及應(yīng)用解決方案。會(huì)議期間，Epic Games中國技術(shù)客戶經(jīng)理紀(jì)大偉發(fā)表了“實(shí)時(shí)3D技術(shù)引領(lǐng)次世代HMI的發(fā)展與變革”的主題演講。
以下為演講實(shí)錄：
大家好，我是來自Epic Games的紀(jì)大偉，很榮幸能夠代表公司在這里跟大家分享虛幻引擎一整套實(shí)時(shí)工作流和我們落地的HMI案例。同時(shí)我還會(huì)給大家額外講解一些以虛幻引擎為核心的整套實(shí)時(shí)技術(shù)和Epic打造的生態(tài)圈對(duì)未來智能座艙HMI的影響。
Epic Games成立到現(xiàn)在將近30年，一直致力于實(shí)時(shí)引擎的技術(shù)研發(fā)，總部在美國，目前在全球超過15個(gè)國家，建立了52個(gè)辦公室，我們一直保持著穩(wěn)步增長(zhǎng)，全球員工3000人。虛幻引擎主打的是實(shí)時(shí)、高畫質(zhì)、可交互的3D技術(shù)，已經(jīng)在世界上獲得了眾多國際獎(jiǎng)項(xiàng)，其中包括了兩次艾美獎(jiǎng)。
全球現(xiàn)在有超過1450萬虛幻引擎用戶分布在所有行業(yè)，我們既做引擎的研發(fā)和推廣，同時(shí)還用這些引擎研發(fā)自主游戲，我們研發(fā)了全球知名的游戲《堡壘之夜》。目前為止，虛幻引擎在全球范圍內(nèi)被各行各業(yè)獲得認(rèn)可，尤其在汽車行業(yè)，我們與全球前十大量產(chǎn)汽車制造商以及頂級(jí)的超跑制造商都有合作，比方說法拉利、蘭博基尼、通用、寶馬、奔馳都是我們的客戶，接下來我們看一段視頻。
通過剛剛視頻可以了解到Unreal Engine實(shí)時(shí)技術(shù)可以在汽車行業(yè)很多細(xì)分領(lǐng)域得到充分的使用，比方說可以創(chuàng)建實(shí)時(shí)汽車設(shè)計(jì)評(píng)審和可視化項(xiàng)目；也可以創(chuàng)建一套非常高質(zhì)量的實(shí)時(shí)汽車配置器把它部署到云端，讓更多用戶、買家了解你的產(chǎn)品；甚至可以用Unreal Engine打造一個(gè)全數(shù)字的虛擬工廠，驗(yàn)證你的生產(chǎn)線；還可以用虛幻引擎虛擬制片技術(shù)，足不出戶便完成汽車廣告商業(yè)大片。
今天我們就要介紹這其中最為重要的實(shí)時(shí)虛幻引擎技術(shù)打造的次世代HMI。我們經(jīng)過調(diào)研發(fā)現(xiàn)，市場(chǎng)上80%的OS都是基于安卓的，兩年前我們完成了安卓的移植，右圖是安卓原生OS，左邊是安卓原生UI。接下來由于我們與很多主機(jī)廠做了量產(chǎn)車的HMI項(xiàng)目，他們對(duì)安全性有非常高的要求，所以我們又進(jìn)一步從安卓跨到QNX，以實(shí)現(xiàn)量產(chǎn)。
我們來看一個(gè)案例——悍馬。通用旗下的GMC悍馬EV是全球首個(gè)使用游戲引擎開發(fā)的HMI項(xiàng)目。悍馬EV本身有很多的功能，我們用最前沿的3D技術(shù)給它進(jìn)行詮釋和表達(dá)，在接下來片子當(dāng)中有很多基于Unreal Engine開發(fā)的HMI亮點(diǎn)。
這是非常炫酷的宣傳片采用實(shí)拍加結(jié)合大量HMI交互功能的方式非常好的詮釋了悍馬EV的強(qiáng)大。接下來我們走進(jìn)悍馬EV的內(nèi)飾看有哪些亮點(diǎn)，請(qǐng)看大屏幕。
這短視頻也有很多亮點(diǎn)，首先組合儀表是12英寸，中控觸屏是13.5英寸，這些背后都是由虛幻引擎的實(shí)時(shí)技術(shù)支撐。后面我們也會(huì)繼續(xù)支持悍馬EV這個(gè)項(xiàng)目。
接下來我們看一段悍馬EV功能視頻。首先第一個(gè)功能是Crab mode，就是四輪可以同時(shí)轉(zhuǎn)向一個(gè)角度，在極端越野情況下可以幫助車主脫困。第二個(gè)功能叫做Watt to freedom它可以在駕駛員啟動(dòng)之后，降低悍馬EV底盤，之后駕駛員可以跟隨車機(jī)發(fā)出的指令先剎車再踩下油門，抬起剎車一刻就可以看到動(dòng)能已經(jīng)開始傳輸，車子由靜止轉(zhuǎn)向行駛狀態(tài)。
接下來是組合儀表，它默認(rèn)是2D的，里面展示常規(guī)的信息，車主可以第一時(shí)間使用實(shí)時(shí)技術(shù)切換成3D儀表，切換之后可以得到2D羅盤和3D輪索展示。
在中控屏里面集成了非常多常用的車機(jī)功能，比如說音樂播放、導(dǎo)航，除此之外，中控屏支持三種用戶自定義布局編輯，這里展示所有3D和2D，用戶可以根據(jù)自己的習(xí)慣定制；更加酷炫是有一個(gè)駕駛切換的功能，切換成越野模式時(shí)會(huì)有一個(gè)非常炫酷的實(shí)時(shí)渲染動(dòng)畫。悍馬EV是一個(gè)越野車，越野車不可避免的需要在路面幫助駕駛員規(guī)避很多風(fēng)險(xiǎn)，所以這里我們提供了3D悍馬模型，通過外部獲取到的傳感器數(shù)據(jù)直接接入到車機(jī)，可以實(shí)時(shí)動(dòng)態(tài)顯示當(dāng)前整車姿態(tài)，在橫縱兩個(gè)軸向幫助駕駛員規(guī)避風(fēng)險(xiǎn)。當(dāng)路面極其復(fù)雜或者極其顛簸的時(shí)候，3D的汽車模型會(huì)相應(yīng)作出聯(lián)動(dòng)顯示，幫助用戶了解當(dāng)前車子的狀況。
大家可以看到，在短短HMI功能視頻里可以看到非常多的亮點(diǎn)，里面已經(jīng)打破了我們對(duì)傳統(tǒng)車機(jī)的認(rèn)知，甚至添加了一些科幻的元素，這背后都離不開虛幻引擎實(shí)時(shí)技術(shù)的支持。
在這個(gè)項(xiàng)目上由于得到比較好的效果，通用啟動(dòng)了第二個(gè)項(xiàng)目，就是凱迪拉克Lyriq。它同樣采用虛幻引擎開發(fā)了整套HMI系統(tǒng)，不同的是它是偏向于主打科技感和豪華感，用的是曲面屏，多屏幕，并且通用旗下自動(dòng)駕駛這套系統(tǒng)背后3D技術(shù)支持也是虛幻引擎，我們通過下面短片了解一下。
通過對(duì)兩款量產(chǎn)車型的了解，大家可以看到，次世代3D HMI是不可逆的趨勢(shì)，并且可以在這里透露，通用官方已經(jīng)宣布，這兩款車都采用高通高端芯片，并且這款車會(huì)在國內(nèi)投產(chǎn)，在最近上海車展會(huì)進(jìn)行展示。所以3D HMI車機(jī)其實(shí)離我們已經(jīng)很近了。
接下來還有一段非常炫酷的HMI案例，是我們跟北美一家設(shè)計(jì)公司Siili Auto合作，它主打的是2D、扁平化、簡(jiǎn)潔的風(fēng)格，大家可以一起來了解一下。值得注意的是，這套系統(tǒng)的開發(fā)沒有寫一行代碼，而是使用虛幻引擎的藍(lán)圖和UMG系統(tǒng)完成的。
接下來今天的重點(diǎn)是整套技術(shù)解決方案。我們既是一家引擎開發(fā)的公司，同時(shí)也使用自己的引擎做出了優(yōu)秀的實(shí)時(shí)交互產(chǎn)品。在這一過程中，我們看到HMI開發(fā)和游戲開發(fā)有非常多的交集。首先3D效果是一個(gè)非常硬核的需求；我們還提供了開源的C++代碼供開發(fā)者們免費(fèi)獲取；另外我們有整套工具集幫助大家在開發(fā)過程中節(jié)省成本。對(duì)于來自主機(jī)廠開發(fā)部門的小伙伴來說，大家都會(huì)好奇一點(diǎn)，虛幻引擎這套工具很炫酷，如何才能將它最低成本地整合到現(xiàn)有車機(jī)系統(tǒng)里？這個(gè)問題完全沒有必要擔(dān)心，如果有充分的開發(fā)能力，可以用虛幻引擎開發(fā)一整套應(yīng)用；如果出于成本考慮可以把虛幻引擎整套3D解決方案當(dāng)成一個(gè)庫，直接植入到你現(xiàn)有的車機(jī)系統(tǒng)。另外虛幻引擎實(shí)時(shí)渲染方面，每一個(gè)UE實(shí)例都可以針對(duì)屏幕里的3D視口做單獨(dú)內(nèi)容方面的渲染。如果芯片屬于比較高端的可以支持多屏幕。我們專門開發(fā)了一整套管線工具，幫助用戶把現(xiàn)有的DCC工具里產(chǎn)生的數(shù)據(jù)能夠無縫導(dǎo)入到UE里面做HMI開發(fā)，并且DATASMITH幫助大家實(shí)現(xiàn)自動(dòng)化數(shù)據(jù)轉(zhuǎn)換。原本外部數(shù)據(jù)進(jìn)入引擎編輯，如果沒有專用工具輔助還是會(huì)有額外的成本，但是現(xiàn)在我們完全解決了這個(gè)問題。
同時(shí)我們官方在虛幻商城里發(fā)布了非常非常多的免費(fèi)資源，比方說上個(gè)月就跟奧迪合作，直接把他們A5這輛車免費(fèi)贈(zèng)送給所有虛幻用戶，大家可以在商城上直接體驗(yàn)和下載。前幾周，我們與另外一家合作伙伴Vectorform合作，他們用虛幻引擎開發(fā)了一整套車機(jī)學(xué)習(xí)場(chǎng)景，大家可以免費(fèi)下載并且學(xué)習(xí)、測(cè)試。我們還研發(fā)了一整套虛幻引擎專用的汽車材質(zhì)庫，有超過140多種PBR材質(zhì)，任何時(shí)候都可以用在商城上下載使用，而且我們還提供了非常豐富的專門用來展示汽車的場(chǎng)景資源，一整套官方資源讓大家在開發(fā)車機(jī)過程中能夠最大程度地節(jié)約成本。
虛幻引擎整套HMI開發(fā)流程是設(shè)計(jì)驅(qū)動(dòng)型的方案，在藍(lán)圖編輯器中可以做2D和3D的交互，在UMG編輯器中可以做UI動(dòng)畫和交互，Unreal Insights可以幫助大家做調(diào)試、性能優(yōu)化和分析。作為一款實(shí)時(shí)引擎，在任何時(shí)候，我們不但關(guān)注效果，還關(guān)注性能，任何跟性能有關(guān)的細(xì)節(jié)，無論是效果、材質(zhì)、紋理、模型、燈光，這一切都可以用這些工具做實(shí)時(shí)的剖析，以優(yōu)化車機(jī)的性能。
我們自己研發(fā)的HMI系統(tǒng)Gazelle的芯片選型為高通8115，它能同時(shí)兼顧高畫質(zhì)和性能。我們把HMI啟動(dòng)時(shí)間縮短在1s以內(nèi)，運(yùn)行的幀率為60幀。啟動(dòng)之后可以看到完全3D實(shí)時(shí)交互的車型，整車面數(shù)超過50萬。為了盡可能保持更多細(xì)節(jié)，我們沒有對(duì)外飾做任何優(yōu)化，保證車主通過屏幕縮放可以看到每一個(gè)細(xì)節(jié)。我們務(wù)求在車載移動(dòng)芯片上也能呈現(xiàn)近似PC端的高水準(zhǔn)。
接下來，讓我們看一下虛幻引擎是如何實(shí)現(xiàn)這些非常炫酷的實(shí)時(shí)效果。為此，我們開發(fā)人員做了很多嘗試和努力。我們可以從默認(rèn)情況下和重寫之后車漆的對(duì)比，手機(jī)上開啟HDR高動(dòng)態(tài)的效果，非常容易看到兩者的差別。我們也盡可能把性能做到最優(yōu)，通過簡(jiǎn)化材質(zhì)效果，保證最終完美的運(yùn)行。
接下來看一下音樂界面，所有UI界面的按鈕、交互方式都是在UE中編寫完成的。背后的音效也是引擎實(shí)時(shí)抓取音軌的動(dòng)態(tài)波長(zhǎng)演算并顯示出來的。另外，電動(dòng)車已經(jīng)成為了目前的發(fā)展趨勢(shì)，我們?yōu)榇藢ｉT設(shè)計(jì)了能量頁面，能夠讓車主非常直觀地在3D透明材質(zhì)下感受到電池的狀態(tài)，右側(cè)有一個(gè)圖表可以讓車主實(shí)時(shí)檢測(cè)到它的電量信息以及續(xù)航里程信息。這個(gè)頁面目前在市場(chǎng)上，在同類產(chǎn)品里應(yīng)該是唯一的。
我們嘗試性地加入了非常有意思的主題切換功能，可以把默認(rèn)的轎車切換成一個(gè)《堡壘之夜》里的玩具車。切換完之后所有頁面都會(huì)跟著一起變成新的主題，不管是導(dǎo)航、音樂播放、能量頁面。這樣一個(gè)主題切換無形之中開啟了一種新的基于車聯(lián)網(wǎng)的訂閱付費(fèi)模式。
對(duì)于OEM來說，將來車機(jī)有很大一部分功能是需要展示車型相關(guān)的內(nèi)容和信息，讓車主在第一時(shí)間通過實(shí)時(shí)渲染的方式，盡可能多的了解與你的車型、車本身相關(guān)的信息。加入了這些主題切換的元素，特別是游戲內(nèi)容，能夠極大程度上豐富HMI的用戶體驗(yàn)。我們甚至與OEM做過車機(jī)聯(lián)動(dòng)，比如說福特150這款車通過設(shè)計(jì)師重新設(shè)計(jì)，與《Rocket League》游戲做了直接聯(lián)動(dòng)。
這種跨界聯(lián)動(dòng)方式在北美已經(jīng)非常流行，《火箭聯(lián)盟》基本上在每個(gè)月都會(huì)跟全球大的IP做類似的聯(lián)動(dòng)。我們的《堡壘之夜》在全球有上億的用戶，我們和合作伙伴，各大IP嘗試過各種不同的聯(lián)動(dòng)。所有《堡壘之夜》里的這些效果都是基于虛幻引擎實(shí)時(shí)技術(shù)，實(shí)時(shí)渲染出來的，里面囊括了非常多大家耳熟能詳?shù)腎P。
這里展示的就是全部使用虛幻引擎技術(shù)開發(fā)出來的游戲《堡壘之夜》，從畫面上就能很容易感受到虛幻引擎技術(shù)和其他同類產(chǎn)品的差別。而汽車和游戲的應(yīng)用差距已經(jīng)越來越拉近了。我們通過特斯拉官方公布的一些消息，了解到特斯拉內(nèi)部已經(jīng)植入了AMD新款芯片，相當(dāng)于放置了一款精簡(jiǎn)的PS5的主機(jī)。所以《堡壘之夜》同樣在全球范圍內(nèi)跟很多大IP做很多聯(lián)動(dòng)，未來我們會(huì)不斷地嘗試也有可能在國內(nèi)做類似的活動(dòng)。
接下來我們放眼未來，未來車機(jī)在強(qiáng)大實(shí)時(shí)引擎技術(shù)基礎(chǔ)下會(huì)有對(duì)我們未來智能座艙和HMI有哪些指導(dǎo)性的引領(lǐng)呢？
我們之前嘗試在《堡壘之夜》舉辦了虛擬演唱會(huì)，當(dāng)時(shí)有超過1400萬人同時(shí)在線做這個(gè)體驗(yàn)，與Travis Scott這個(gè)虛擬3D形象做了互動(dòng)。
未來有了強(qiáng)大的芯片，高解析度的屏幕，我們還有什么東西可以往前再邁進(jìn)一步的呢？我們認(rèn)為虛幻引擎很有可能在未來把電影級(jí)別的車主虛擬形象植入車機(jī)。而事實(shí)上我們已經(jīng)開始做這方面的嘗試，我們近期會(huì)發(fā)布一款由虛幻引擎技術(shù)支持開發(fā)出來的編輯器——metaHuman Creator。
這套制作數(shù)字人類的編輯器背后運(yùn)算全部放在云端，通過像素流的方式推送到每個(gè)終端的移動(dòng)設(shè)備、手機(jī)上。未來很有可能可以通過實(shí)時(shí)捕捉用戶自己的面部肖像或提供一些照片生成，來完善我們的編輯庫，可以第一時(shí)間創(chuàng)作出車主自己的虛擬3D形象。未來可以根據(jù)虛擬形象做很多嘗試，比如說可以在虛擬世界里與他人交互。
除此之外，我們還有非常前沿的技術(shù)就是Unreal Engine 5，有了強(qiáng)大的UE5的技術(shù)支持，相信前面展現(xiàn)的這些內(nèi)容在不遠(yuǎn)的將來都能得以實(shí)現(xiàn)。
除了3D這個(gè)趨勢(shì)外，從引擎的角度分析，未來車機(jī)會(huì)有以下三大趨勢(shì)：云端計(jì)算與互聯(lián)，人工智能和自動(dòng)化，豐富交互和沉浸式體驗(yàn)。希望未來，我們能不斷地改進(jìn)引擎技術(shù)，在國內(nèi)與更多OEM有機(jī)會(huì)合作開發(fā)出優(yōu)秀的HMI產(chǎn)品，謝謝大家。