高能力的AI在各種游戲中打敗人類，這些消息近年來頻頻出現(xiàn)。

不管是早年的國際象棋、問答比賽，還是近年的圍棋、星際爭霸、刀塔2。

在AI選手面前，人類的專業(yè)選手簡直被打到要哭。

今日，AI賽車手再次戰(zhàn)勝人類玩家，登上Nature封面！

索尼公司親自下場開發(fā)的AI「GT Sophy」，讓電子賽車游戲加入了上述名單：不管是日本的還是其他國家的頭挑電競選手，在GT賽車中都比不過索尼拿1000臺PS4主機訓練出的AI。

GT Sophy，或者可以親切地稱為「蘇菲」，是索尼內部的AI事業(yè)部、PDI工作室、互動娛樂子公司聯(lián)合研發(fā)的項目，耗時逾5年。

AI事業(yè)部提供深度學習算法、負責訓練模型；PDI工作室出的游戲作為AI訓練和驗證的環(huán)境；互動娛樂公司的云計算架構將千臺PS4主機串聯(lián)起來作為大規(guī)模訓練架構和平臺。

作為一種神經網絡驅動程序，GT Sophy在遵守賽車規(guī)則的同時，展現(xiàn)出了超凡的行駛速度、操控能力和駕駛戰(zhàn)術。

斯坦福大學教授Christian Gerdes在Nature的一篇文章寫道: 「在這場面對面的競爭中，AI車手如此嫻熟地超越人類玩家，代表著人工智能的一項里程碑式的成就?！?/p>

龍之徑上演「速度與激情」

這有什么厲害的？？？

說來，賽車比賽的目的很簡單，就是用更短時間超越競爭對手，你就贏了。

《速度與激情》中的硬核碰撞讓人熱血沸騰，而真正賽場上的終極對決可是需要實打實的戰(zhàn)術。

索尼PDI工作室在東京提供場地，請GT賽車游戲世界范圍內的一流電競選手來與「GT Sophy」及其變體比賽。

比賽節(jié)選

在GT Sophy與人類選手的第一場比賽中，選址Dragon Trail龍之徑展開精彩對決。

整條跑道全長5209米，劃分出S1，S2，S3三個區(qū)間，以及17處彎道。

比賽的始發(fā)位置是以AI、真人交錯的順序排列，共8名車手。

不過，比賽一開始，名叫薇奧拉（Violette）的GT Sophy人工智能變體就完成了對人類車手的超越，排到第二位。

AI隊友波爾多（Bordeaux）則一直保持著第一的位置。

到T2/3轉彎處，AI選手維特（Verte）嗖地一下沖到了人類選手山中智瑛前面。

比賽中途，排在第一，第二的Sophy AI在沒有阻擋情況下，選擇了最優(yōu)路線。

比賽進行到最后一區(qū)S3，賽車手們需要繞過T17大彎道后就能迅速沖向終點。

比賽結果顯示，排在前三的賽車選手，GT Sophy占據(jù)兩席，只有人類選手國分涼太沖進了前三。

國分涼太一直是一個冷靜沉著的賽車手，在2019年摘得國際汽車聯(lián)合會跑車錦標賽第五輪東京國家杯冠軍，2020年FIA GT Championship國家杯第三名。

這個結果的產生，其實從資格賽中就可以看出一些端倪。

畫面右邊的AI選手在過彎時不僅更穩(wěn)定，而且選擇的路線要明顯優(yōu)于人類玩家。

在游戲中的馬焦雷湖賽道上另一場比賽中，四款AI擊敗了四個人類對手。

該次比賽中AI軍團中的最杰出者「GT羅格」在比賽的三個計分圈中都處于第一位置，領先最快的人類選手超過5秒。不過馬焦雷湖賽道上，也有AI車手失誤，過彎時轉向不足，一頭撞墻。

GT Sophy在2021年7月的實驗中，還只能在沒有其他車的虛擬空賽道上，跑出超過人類選手的單純競速成績。訓練到2021年10月，就可以在真正的游戲賽車環(huán)節(jié)擊敗一群人類對手了。

2020年GT賽車世界杯上的明星選手宮園拓真說：「AI的駕駛方式，我們想都想不出?！沟渤姓J「GT Sophy」的戰(zhàn)術決策很有用。

被AI擊敗的宮園拓真一臉不服

可以看到，賽車不僅僅是速度和反應時間的問題，駕駛賽車極其考驗一個人的極限戰(zhàn)略，因此讓機器掌握并非易事。

正如Nature一文所指出的那樣，若想實現(xiàn)這一目標需要戰(zhàn)勝極其復雜的物理挑戰(zhàn)，因為在賽道上馳騁需謹慎利用輪胎與地面之間「有限的摩擦力」。

比如，用摩擦力來制動，就會減少繞過拐彎的力量。

更具體地說，每個接地輪胎可以產生一個與垂直力成比例的摩擦力，或荷載。當汽車加速時，荷載轉移到后胎，前胎的摩擦力減小。

這可能會導致轉向不足，在這種情況下，方向盤不能產生更多的過彎力，會在沖出彎道時保持事實上的手剎狀態(tài)。

相反的，當汽車剎車時，負載轉移到汽車的前部。這可能會導致轉向過度，也就是說后胎會失去牽引力，汽車會激烈打轉。

再加上復雜的賽道地形，以及調整負荷轉移的復雜性與懸掛車輛，以及賽車的挑戰(zhàn)變得明顯。

為了贏得比賽，車手必須選擇讓賽車盡可能保持在摩擦限制范圍內的軌跡。

如果轉彎時剎車太早，你的車就會慢下來，浪費時間。剎車太晚，就不會有足夠的轉彎力來保持你想要的賽車線。再加上，剎車太用力可能會引起車體旋轉。

盡管賽車的操縱極限非常復雜，但物理學已經很好地解釋了這些極限。因此，它們可以被計算或學習也是理所當然的。

在一場面對面的比賽中，GT Sophy非但沒有利用單圈時間優(yōu)勢戰(zhàn)勝對手，反而在最后輕而易舉超過競爭對手。

就比如，在第一比賽最后沖刺節(jié)點上，2個人類賽車手試圖阻斷2個AI賽車手的路徑。

但GT Sophy成功地找到了兩條不同的路線，最后一舉超越人類玩家沖向終點。

通過神經網絡模型訓練后，GT Sophy學會了在不同的情況下通過角落走不同的路線。

那么，這個AI超人賽車手究竟是如何煉成的呢？

AI賽車手如何煉成？

與其它規(guī)則、玩法較固定的游戲不同，GT賽車游戲的玩家戰(zhàn)術選項是很開放的。而且GT賽車游戲的特色在于較好地模擬了真實世界的物理定律。

所以兼具虛擬與真實世界雙重難度的GT賽車游戲，要讓AI玩好還真不容易。

首先，我們需要一個超真實的模擬器作為訓練環(huán)境。

Gran Turismo? Sport（GT Sport）是由Polyphony Digital與FIA（國際汽車聯(lián)合會）合作設計制作的PlayStation 4的駕駛模擬器。

GT Sport有明確規(guī)則和判斷標準，不用「獵豹」也能保證公平的競賽環(huán)境。（doge）

此外，GT Sport盡可能真實地再現(xiàn)了現(xiàn)實世界的賽車環(huán)境，包括其賽車、賽道，甚至空氣阻力和輪胎摩擦等物理現(xiàn)象。

在汽車制造商的指導下，汽車的細節(jié)被準確地再現(xiàn)，從車體的曲線，到車身面板之間的縫隙寬度以及轉向燈和大燈的形狀。

游戲環(huán)境有了之后，就需要對訓練環(huán)境的配置了。

DART是索尼AI為此量身定制的網絡架構，讓研究者能用互動娛樂公司的云計算游戲平臺串聯(lián)起1000臺PS4游戲主機來長時間訓練GT Sophy。

千臺PS4主機陣列，游戲宅的豪華夢想

在如此的架構上，各個異地數(shù)據(jù)中心間的所有計算資源被有效整合。研究者可以輕松確定實驗參數(shù)、設定當云資源可用時實驗自動進行、并且搜集能在瀏覽器中觀察的數(shù)據(jù)。

研究者以此平臺順暢執(zhí)行了數(shù)百次模擬實驗，將AI的技戰(zhàn)術提高到之前未及的高度。

最后，就是對AI車手GT Sophy的訓練了。

與那些在游戲中戰(zhàn)勝人類的AI前輩相同，為了避免一開始將游戲行為人工編碼成復雜龐大的行為規(guī)則數(shù)據(jù)集，GT Sophy也采用深度強化學習來進行訓練。

當智能體，也就是GT Sophy在訓練環(huán)境中采取行動時，算法根據(jù)其導致的結果給予獎勵或懲罰。在得到了獎勵（或懲罰）之后，GT Sophy會更新其對世界的認知，以確定其下一步行動。

索尼人工智能研究人員和工程師開發(fā)了創(chuàng)新的強化學習技術，包括一種新的訓練算法QR-SAC，給AI的各種高速駕駛決策做出規(guī)則和物理限制內的合理性后果分析。并用智能體可理解的賽車規(guī)則編碼，以及獲得一種促進細微賽車技能的訓練方案。

在強化學習中，AI賽車手需要考慮其行為的長期后果，并能在學習過程中獨立收集自己的數(shù)據(jù)，避免了對復雜的手工編碼行為規(guī)則的需求。

當然，處理像Gran Turismo這樣的復雜領域，依然需要同樣復雜和細微的算法、獎勵和訓練場景。

在訓練的后期，研究人員更是加入了不同數(shù)量的對手，鍛煉GT Sophy在和人類車手對抗時的

從結果上看，索尼開發(fā)的算法可謂是效果拔群。

經過短短數(shù)個小時的訓練，GT Sophy就已經能上賽道了，而且「一兩天內」的速度比其訓練數(shù)據(jù)集中95%的駕駛員都要快。

當然，95%是遠遠不夠的。

又繼續(xù)訓練了大約45,000小時之后，GT Sophy終于在三條賽道（克羅地亞海邊龍徑賽道、意大利馬焦雷湖大獎賽道和法國薩爾特賽道）上完全戰(zhàn)勝人類車手。

然而，在和人類的比賽匯總，AI具有著很多先天優(yōu)勢，比如完美的記憶力和快速的反應時間。

尤其是GT Sophy有著一張精確的賽道地圖，上面標注著賽道邊界的坐標，以及「關于每個輪胎載荷、每個輪胎的滑動角度和其他車輛狀態(tài)的精確信息」。

不過，依然可以對另外兩個要素進行限制：作用頻率和反應時間。

GT Sophy的輸入信號被限制在10赫茲，理論上人類的最大輸入信號為60赫茲，而這有時會讓人類車手在高速行駛時表現(xiàn)出「更平穩(wěn)的動作」。

在反應時間方面，GT Sophy能夠在23-30毫秒內對比賽環(huán)境中的事件做出反應，這比專業(yè)運動員估計的最高反應時間200-250毫秒要快得多。為了彌補這一缺陷，研究人員增加了人為延遲，訓練GT Sophy的反應時間分別為100毫秒、200毫秒和250毫秒。

即便如此，GT Sophy還是在「所有這三項測試都達到了超人圈速。」

索尼AI事業(yè)部的負責人承認，讓AI學會文明比賽不卑不亢還蠻困難的，在面對對手時做到戰(zhàn)術決策既不太過暴躁又不太過謹慎，任務量還是很大的。

首先要讓AI在理解游戲環(huán)境中虛擬賽車位置、虛擬氣動模型、賽道圖形、基本駕駛動作的基礎上學會開車；然后是各種GT賽車游戲戰(zhàn)術，例如滑流設障、插線超車、各種阻擋卡位；最后還要讓AI學會必要的賽道禮儀規(guī)則，例如避免惡意犯規(guī)碰撞、尊重對手的車道安全等等。

賽車控制

QR-SAC算法可以明確地推理出GT Sophy高速行動的各種可能結果。對駕駛行為的后果和其中的不確定性進行核算，幫助GT蘇菲在物理極限下過彎，并在與不同種類的對手比賽時考慮復雜的可能性。　

賽車戰(zhàn)術

通過加入混合場景的訓練，使用人工制作的、可能在每個賽道都很關鍵的比賽情況，以及幫助智能體學習這些技能的專門對戰(zhàn)對手。

這些技能培養(yǎng)方案幫助GT Sophy獲得了專業(yè)的賽車技術，包括處理擁擠的起跑、用彈射式超車反制滑流設障，以及防御性的機動動作。

賽車禮儀

為了幫助GT Sophy學習賽道禮儀，索尼AI研究人員找到了將賽車的書面和非書面規(guī)則編碼到復雜的獎勵函數(shù)中的方法。

研究小組還發(fā)現(xiàn)有必要平衡對手的數(shù)量，以確保GT Sophy在訓練賽表現(xiàn)出程度恰好的競爭性，與人比賽時不會變得過于激進或膽小。