1.觀察者網(wǎng)：網(wǎng)易十一期間在《永劫無間》游戲中引入“噩夢AI”，為何會有一次這樣的策劃？

呂唐杰：噩夢AI的上線是一個不錯的開始，游戲機(jī)器人曾在福利局、人機(jī)模式等玩法中扮演了重要的角色，但隨著玩家游戲水平的逐漸提升，初始版本的游戲機(jī)器人已經(jīng)跟不上玩家的需求。

一方面是由于機(jī)器人本身的競技水平比較弱，另一方面是機(jī)器人的行為模式還比較固定甚至說是蠢萌，其根本原因則是在技術(shù)層面上，《永劫無間》原始版本的游戲機(jī)器人是通過行為樹、狀態(tài)機(jī)等基于規(guī)則的方法開發(fā)的，這類方法的特點(diǎn)是簡單、易用，但同時機(jī)器人所能達(dá)到的水平上限不高。

目前，強(qiáng)化學(xué)習(xí)領(lǐng)域的研究者們已經(jīng)在相當(dāng)多的場景，特別是游戲場景中實(shí)現(xiàn)了匹敵甚至超越人類專家水平的AI，而強(qiáng)化學(xué)習(xí)也被認(rèn)為是實(shí)現(xiàn)更通用、更廣泛、更高級的機(jī)器智能的重要技術(shù)手段之一。

因此，我們借助了深度強(qiáng)化學(xué)習(xí)技術(shù)對游戲機(jī)器人進(jìn)行了多方面的能力提升，包括尋路效率、戰(zhàn)斗博弈水平、迂回作戰(zhàn)等。

另外，從技術(shù)的角度來講一定是先進(jìn)生產(chǎn)力取代落后生產(chǎn)力，不單是《永劫無間》，網(wǎng)易大多數(shù)游戲項目組也都在積極擁抱新一代人工智能技術(shù)，這是一個讓人興奮的趨勢。

2.觀察者網(wǎng)：與玩家認(rèn)知中的傳統(tǒng)游戲AI相比，當(dāng)前階段在游戲中引入的AI有什么不同？從玩家角度來觀察，對兩種AI的感知又有何不一樣？

呂唐杰：首先是兩種游戲AI的制作產(chǎn)生方式不同。傳統(tǒng)游戲AI可以看成是“什么情況下做什么”的若干規(guī)則的組合，是人類有限經(jīng)驗的堆疊。而當(dāng)前我們在游戲中引入的AI，是通過像“新手玩游戲變成老手”那樣的過程“訓(xùn)練”出來的，可以將其視為具備了感知、認(rèn)知、決策以及學(xué)習(xí)能力的智能體。

其次，兩種游戲AI的技能水平差異很大，這也是第一點(diǎn)所直接導(dǎo)致的?；谝?guī)則的AI其實(shí)是人類先驗知識的一種簡易的表達(dá)，體現(xiàn)的是游戲開發(fā)者、策劃對于怎么玩游戲的一種認(rèn)知。

但其問題就在于人類雖然可以精通游戲，卻拙于提煉如何精通游戲。因此，一個基于規(guī)則的游戲AI邏輯，往往包含了成千上萬條規(guī)則以盡可能地覆蓋所有決策情形，規(guī)則越多，游戲AI也就越智能，但在實(shí)際中規(guī)則AI其實(shí)很難達(dá)到極高的智能水平。

而在求解“如何將游戲玩得更好”這個問題的過程中，強(qiáng)化學(xué)習(xí)算法能夠自動探索可能的決策情形，將應(yīng)對策略凝練到參數(shù)模型中，不需要龐大的規(guī)則庫，也不需要人工干預(yù)學(xué)習(xí)過程。

與規(guī)則AI這種機(jī)械的“人工智能”相比，這是更高級形式的“人工智能”，“人工”是因為它仍然是人類設(shè)定的程序，“智能”是因為這種程序?qū)崿F(xiàn)的（或者說模擬的）是人類獲取知識的方法，而非直接表達(dá)知識本身。

目前，人工智能技術(shù)日新月異的發(fā)展所帶來的各行各業(yè)的變化已經(jīng)非常容易被常人所感知到，強(qiáng)化學(xué)習(xí)技術(shù)在圍棋、星際爭霸、Dota2等游戲中的突破都引起了非常大的轟動。在游戲領(lǐng)域大家已經(jīng)形成了這樣的共識——現(xiàn)代人工智能技術(shù)在某些特定領(lǐng)域超越人類，已經(jīng)是事實(shí)。

從我們自己的經(jīng)驗來講，玩家們對于傳統(tǒng)游戲AI和用強(qiáng)化學(xué)習(xí)算法訓(xùn)練出的游戲AI的感知有非常明顯的區(qū)別，這主要也是由兩者之間的技能水平差異所帶來的。

比如新AI學(xué)會了比較高級的連招技能，新AI表現(xiàn)出像人一樣的欲擒故縱、聲東擊西等計謀，新AI壓迫性太強(qiáng)等等。如果只局限于傳統(tǒng)的基于規(guī)則的方法，游戲AI只能演配角戲，比如給新手玩家練手、在深夜玩家數(shù)量較少時充人數(shù)，那游戲AI對于很多玩家來講其實(shí)是可有可無的。

目前來看，深度強(qiáng)化學(xué)習(xí)為代表的現(xiàn)代人工智能技術(shù)可以有無限潛力，借助這些技術(shù)產(chǎn)生的游戲AI可以幫助玩家做更多的事情，與玩家在游戲世界里面共建共生，或許可以成為游戲玩法的全新發(fā)展方向。

3.觀察者網(wǎng)：一般的認(rèn)知中，游戲中任何怪物、NPC的操作均遵從開發(fā)人員設(shè)定的邏輯，AI的引入能否理解為未來游戲中的對應(yīng)怪物、NPC會有自主的運(yùn)行邏輯？這會對游戲內(nèi)的生態(tài)帶來哪些變化？

呂唐杰：隨著大模型預(yù)訓(xùn)練技術(shù)的發(fā)展，游戲行業(yè)的這一天可能很快就能到來，這對于游戲內(nèi)的生態(tài)會產(chǎn)生重要的影響。

首先，可以提升游戲內(nèi)怪物、NPC的制作效率，并且還能將這些NPC的智能水平提升到一個新的層次。此前游戲中的NPC是基于傳統(tǒng)規(guī)則方案所制作的，游戲策劃使用行為樹、流程圖等工具，手工制作AI的行為邏輯，基本上“有多少人工，就有多少智能”。因為生產(chǎn)力低下，鑒于游戲開發(fā)團(tuán)隊有限的預(yù)算和投入，一般游戲中的怪物、NPC就會存在智能不足、可玩性有限的問題。

通過使用人工智能技術(shù)，怪物和NPC擁有了自我學(xué)習(xí)的能力，游戲策劃只需要給這些怪物、NPC賦予故事背景和人設(shè)，并設(shè)定好他們的行動空間，剩下的就可以交由AI，讓其通過學(xué)習(xí)大數(shù)據(jù)完成智能水平的提升，從而讓玩家體驗到NPC的鮮活感。

其次，游戲真正有可能變成一個自由開放的世界，并讓玩家獲得身臨其境的交互體驗。比如玩家可以跟NPC進(jìn)行自由的交流，包括文字、語音、表情、行為等多種交互形式，而NPC又能根據(jù)游戲世界觀、自己的人設(shè)以及與玩家和其他NPC的交互，在游戲里自主式的發(fā)展，那玩家每一次在游戲里都會有新奇的體驗，不同玩家的體驗也各不相同。

《西部世界》電視劇中描繪了一種終極NPC的形態(tài)，我相信通過人工智能技術(shù)的發(fā)展，這種高智能、高自由度的NPC在游戲中必將出現(xiàn)，這也是我們努力的目標(biāo)，而這對于很多想要持續(xù)探索開放游戲世界的玩家來說將是一個福音。

4.觀察者網(wǎng)：傳統(tǒng)游戲中的強(qiáng)力AI角色通過后臺讀取對應(yīng)的數(shù)據(jù)來實(shí)現(xiàn)強(qiáng)大的應(yīng)對能力（如RTS游戲中戰(zhàn)爭迷霧無效等），而如今游戲AI則是依據(jù)當(dāng)前場景判定下一步的行動邏輯。這種純自主性的AI在開發(fā)及應(yīng)用層面與傳統(tǒng)的游戲AI有何不同？

呂唐杰：由于傳統(tǒng)的游戲AI與純自主性的AI背后所依賴的技術(shù)不同，使它們具有不同的特點(diǎn)：傳統(tǒng)的游戲AI由于完全以邏輯方式實(shí)現(xiàn)，其行為更加可控及可定制化，但其行為模式較為單一固化，且通常無法應(yīng)對復(fù)雜的游戲場景；

與之相對的，純自主性的AI基于深度神經(jīng)網(wǎng)絡(luò)，其具有更高的上限，能夠應(yīng)對復(fù)雜場景，同時行為表現(xiàn)上具有一定的變化，但由于深度神經(jīng)網(wǎng)絡(luò)的黑盒性質(zhì)，對其進(jìn)行定義化的行為調(diào)整存在一定困難。

從開發(fā)層面來看，傳統(tǒng)的游戲AI要展現(xiàn)強(qiáng)大的應(yīng)對能力，除了通過后臺獲取數(shù)據(jù)外，往往還會在屬性數(shù)值方面進(jìn)行增強(qiáng)。而此次《永劫無間》噩夢人機(jī)模式背后的AI，是結(jié)合深度神經(jīng)網(wǎng)絡(luò)及強(qiáng)化學(xué)習(xí)方法，在設(shè)定任務(wù)目標(biāo)后，通過AI之間的自我對弈訓(xùn)練，最終人為挑選后產(chǎn)生，其獲取的數(shù)據(jù)范圍及數(shù)值屬性，與真實(shí)玩家間不存在差異。

5.觀察者網(wǎng)：除了在游戲內(nèi)與玩家互動，AI在游戲開發(fā)、日常運(yùn)營的過程中還能夠帶來哪些改變？

呂唐杰：在游戲開發(fā)階段，AI技術(shù)可以大大提升游戲團(tuán)隊的制作效率。例如通過語音合成表情技術(shù)，可以讓游戲的角色通過配音直接輸出角色表情，相比于傳統(tǒng)人工手繪表情方案，工作效率能提升上百倍；

再比如使用AI技術(shù)可以快速地將演員或視頻中角色的表情、動作等遷移到角色模型上，相比于傳統(tǒng)的基于動作捕捉的方案，能顯著地提升產(chǎn)出效率、降低制作成本；

AI文圖生成技術(shù)則可以讓策劃通過文本快速地生成和挑選一些合適的概念圖，降低了策劃跟美術(shù)之間的交流障礙，減少中間返工的成本等等。

在日常運(yùn)營階段，AI反外掛技術(shù)通過分析玩家在游戲中的行為數(shù)據(jù)，可以快速識別出異常行為玩家，從而作為傳統(tǒng)反外掛技術(shù)的有效補(bǔ)充。

6.觀察者網(wǎng)：目前全球來看游戲AI技術(shù)的開發(fā)、應(yīng)用等方面中外之間是否有明顯的差異？

呂唐杰：AI技術(shù)跟游戲本身是一種相輔相成的關(guān)系。

一方面，游戲作為研究和驗證AI技術(shù)的絕佳場景，在AI技術(shù)的發(fā)展過程中起到了至關(guān)重要的作用。無論是最初的AlphaGo、還是后來的OpenAI Five、AlphaStar等，AI研究團(tuán)隊都是通過這些復(fù)雜的游戲場景來反復(fù)打磨AI算法、驗證技術(shù)效果?？梢哉f，這些游戲極大地促進(jìn)了AI技術(shù)在算法研究、神經(jīng)網(wǎng)絡(luò)架構(gòu)探索以及大規(guī)模分布式計算等方面的飛速發(fā)展。

總體來說，國外在使用游戲來促進(jìn)AI技術(shù)發(fā)展這一領(lǐng)域要比國內(nèi)要做得更好一些；但同時，依靠AI技術(shù)的發(fā)展、應(yīng)用來反向促進(jìn)游戲本身，這一領(lǐng)域國內(nèi)很多公司走得更為靠前，目前國內(nèi)很多大型游戲公司都成立了自己的AI技術(shù)部門，在用AI技術(shù)賦能游戲上做了大量的技術(shù)創(chuàng)新和應(yīng)用落地。

當(dāng)然，無論是用游戲來促進(jìn)AI技術(shù)的研究，還是用AI技術(shù)來促進(jìn)游戲產(chǎn)業(yè)的發(fā)展，兩者都對全球產(chǎn)業(yè)帶來了正向的促進(jìn)作用。比如網(wǎng)易伏羲已在“游戲+AI”領(lǐng)域發(fā)表了150多篇國際級論文，擁有200多篇技術(shù)專利，并在全球游戲開發(fā)者大會（GDC）做過10余次AI技術(shù)專題分享，在國際和國內(nèi)享有一定的聲譽(yù)。

7.國內(nèi)數(shù)字新基建所打造的算力網(wǎng)、數(shù)據(jù)中心等對游戲AI技術(shù)的開發(fā)、應(yīng)用帶來了哪些作用？

呂唐杰：AI技術(shù)的三大要素是算法、算力和數(shù)據(jù)。目前游戲行業(yè)算法研究比較開放，全球的AI研究員都可以及時跟進(jìn)最前沿的技術(shù)方案，而算力和數(shù)據(jù)則成為了各家公司的技術(shù)壁壘。

得益于在數(shù)字新基建方面的投入，國內(nèi)的游戲AI技術(shù)取得了快速的發(fā)展。例如網(wǎng)易伏羲已經(jīng)搭建了一個擁有數(shù)萬CPU和上千GPU的計算集群，并擁有PB級的數(shù)據(jù)處理能力。同時阿里云、華為云等公有云計算提供商、國內(nèi)的一些超算中心也為游戲AI技術(shù)的研究和應(yīng)用提供了大量支持，也正是依托這些數(shù)字基建，我們才能研發(fā)出像《永劫無間》機(jī)器人、反外掛機(jī)器人、AI照片捏臉、智能對話機(jī)器人等優(yōu)秀的技術(shù)落地案例。