獼猴會玩游戲嗎？實驗證明它們可以成為“吃豆人”高手！《eLife》日前在線發(fā)表了題為《獼猴在吃豆人游戲中的分層組合策略》的研究論文。該研究由中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心（神經(jīng)科學(xué)研究所）、靈長類神經(jīng)生物學(xué)國家重點實驗室楊天明研究組完成。

這項研究設(shè)計了一種新穎有趣的實驗范式——吃豆人游戲，并且訓(xùn)練獼猴學(xué)會使用搖桿完成該游戲范式的主要任務(wù)。該研究將復(fù)雜的行為范式和人工智能建模結(jié)合，定量研究了獼猴解決復(fù)雜問題的啟發(fā)式行為策略特點，為理解大腦實現(xiàn)高級認(rèn)知功能的計算機制提供了全新方法和重要啟發(fā)。

日常生活中，人們大部分的重要目標(biāo)通常超出了簡單決策的實現(xiàn)范疇，然而，這些目標(biāo)可以通過設(shè)計一系列縝密的基礎(chǔ)策略組合來實現(xiàn)。個體可以根據(jù)當(dāng)前的情況優(yōu)先考慮每一種策略的收益和風(fēng)險，并在較容易完成的子任務(wù)中具體問題具體分析。高度動態(tài)變化的環(huán)境會時刻伴隨著出乎意料的意外和干擾，因此保持相機而變的靈活性也在決策過程中至關(guān)重要。盡管研究動物的復(fù)雜行為和潛在的神經(jīng)機制在神經(jīng)科學(xué)和認(rèn)知科學(xué)領(lǐng)域是一個持續(xù)受到關(guān)注的科學(xué)問題，但大部分的動物行為范式復(fù)雜程度，都不足以支持研究動物如何簡化動態(tài)多樣的策略以完成復(fù)雜的高級認(rèn)知任務(wù)。

為解決這些問題，該研究改編經(jīng)典街機游戲吃豆人，并訓(xùn)練獼猴學(xué)會使用操縱桿來控制吃豆人在一個封閉的迷宮中運動收集食物，獼猴避開敵人追擊將獲得實時果汁作為獎勵。在經(jīng)過一段時間的訓(xùn)練后，獼猴能夠理解游戲中各個元素和獎勵懲罰之前的關(guān)聯(lián)，并依次相應(yīng)地做出連續(xù)的運動抉擇，來躲避敵人的追擊，獲取更多的獎勵，甚至在特定規(guī)則下對敵人實現(xiàn)反殺。雖然該游戲高度動態(tài)且元素復(fù)雜，但本質(zhì)上它比較類似一個動物野外覓食任務(wù)，這也可能是該研究成功訓(xùn)練動物的關(guān)鍵要素。

為定量地描述獼猴行為策略的特點，研究人員利用機器學(xué)習(xí)和統(tǒng)計方法，動態(tài)擬合匹配游戲玩法與多個智能策略模型。這種多智能體協(xié)作決策模型也是人工智能領(lǐng)域?qū)崿F(xiàn)吃豆人游戲最高分?jǐn)?shù)的設(shè)計關(guān)鍵。該計算模型首先設(shè)計了一組策略基組，策略基組中每個策略都只解決游戲中一個子任務(wù)，例如覓食最近的食物、躲避敵人追擊或者通過能量豆食物改變敵人的狀態(tài)，其次，該模型將不同的策略基組對比擬合到到獼猴的游戲行為數(shù)據(jù)中，推斷策略的動態(tài)權(quán)重。該計算模型對獼猴手柄運動的預(yù)測準(zhǔn)確率能夠達(dá)到90%以上。

更重要的是，通過策略動態(tài)權(quán)重的分析，發(fā)現(xiàn)獼猴通過使用分而治之的啟發(fā)式方法，在每個時間只關(guān)注游戲的一個子任務(wù)，分布式地解決這些問題，從而實現(xiàn)對游戲總體目標(biāo)的優(yōu)化。更令人感到吃驚的是，研究發(fā)現(xiàn)獼猴能夠在時序上組合這些策略基組，構(gòu)建更為復(fù)雜的復(fù)合策略，來處理特定的更有挑戰(zhàn)性的任務(wù)。以上的研究結(jié)果表明，獼猴能夠優(yōu)化掌握一套策略基組，并采用分層決策的方式來解決十分復(fù)雜的任務(wù)。

本研究著眼于系統(tǒng)認(rèn)知神經(jīng)科學(xué)和人工智能廣泛關(guān)注的交叉領(lǐng)域，將復(fù)雜的行為范式和嚴(yán)謹(jǐn)?shù)挠嬎憬＿M(jìn)行結(jié)合，為未來研究靈長類動物的高級認(rèn)知提供了重要的實驗證據(jù)和新穎的分析方法。

該研究由博士后楊千里、林中喬，博士生張文怡、陳希源，以及工作人員李建澍和張嘉琦在楊天明研究員的指導(dǎo)下完成，研究組的其他成員也在課題的各個階段給予了幫助。該工作得到科技部、中科院、上海市科委和基金委的資助。

關(guān)鍵詞： 研究成果