2021年8月26日，蘭德公司網(wǎng)站發(fā)布報(bào)告，題為《evaluating the Effectiveness of Artificial Intelligence Systems in Intelligence Analysis》，作者是丹尼爾·伊什、賈里德·埃廷格和克里斯托弗·費(fèi)里斯。報(bào)告要點(diǎn)如下：
研究的問(wèn)題
（1）人工智能（AI）系統(tǒng)的效能衡量指標(biāo)與情報(bào)分析的有效性有何關(guān)聯(lián)？
（2）在真實(shí)系統(tǒng)的開(kāi)發(fā)以及可能尚未開(kāi)發(fā)的假設(shè)系統(tǒng)中，如何反映人工智能對(duì)情報(bào)流程的支持？
（3）研究人員如何為情報(bào)流程建模以確定人工智能系統(tǒng)在該流程中對(duì)其產(chǎn)生的影響？
（4）哪些指標(biāo)可以表征人工智能系統(tǒng)的效能？
美國(guó)軍方和情報(bào)界對(duì)開(kāi)發(fā)和部署人工智能系統(tǒng)以支持情報(bào)分析表現(xiàn)出興趣，這既是利用新技術(shù)的機(jī)會(huì)，也是解決不斷激增的數(shù)據(jù)過(guò)剩的解決方案。然而，在國(guó)家安全環(huán)境中部署人工智能系統(tǒng)需要能夠衡量這些系統(tǒng)在其任務(wù)環(huán)境中的效能。
為了解決這個(gè)問(wèn)題，作者首先介紹了人工智能系統(tǒng)在支持情報(bào)方面可以發(fā)揮的幾類作用（即自動(dòng)分析、收集支持、評(píng)估支持和信息優(yōu)先排序），并定性分析了對(duì)各類人工智能系統(tǒng)表現(xiàn)產(chǎn)生影響的驅(qū)動(dòng)因素。
然后，作者單獨(dú)挑出信息優(yōu)先排序系統(tǒng)，該系統(tǒng)可將情報(bào)分析師的注意力引導(dǎo)到有用的信息上，并允許他們忽略對(duì)其無(wú)用的信息，以進(jìn)行定量分析。作者開(kāi)發(fā)了一個(gè)簡(jiǎn)單的數(shù)學(xué)模型來(lái)捕捉此類系統(tǒng)的一些錯(cuò)誤后果，從而表明其效能不僅取決于系統(tǒng)的屬性，還取決于系統(tǒng)的使用方式。通過(guò)這個(gè)演練，作者展示了人工智能系統(tǒng)的計(jì)算影響以及可以預(yù)測(cè)表征人工智能系統(tǒng)效能的指標(biāo)，這些指標(biāo)可以幫助決策者了解人工智能對(duì)情報(bào)任務(wù)的實(shí)際價(jià)值。
主要發(fā)現(xiàn)
（1）使用與實(shí)際優(yōu)先級(jí)不匹配的指標(biāo)會(huì)模糊系統(tǒng)表現(xiàn)并阻礙最佳系統(tǒng)的知情選擇
• 應(yīng)在系統(tǒng)構(gòu)建之前選定測(cè)度指標(biāo)，并以試圖估計(jì)部署人工智能系統(tǒng)的實(shí)際影響為導(dǎo)向。
（2）效能以及衡量它的指標(biāo)不僅取決于系統(tǒng)屬性，還取決于系統(tǒng)的使用方式
• 決策者的一個(gè)關(guān)鍵考慮因素，是在用于構(gòu)建人工智能系統(tǒng)的資源之外專用于支持情報(bào)任務(wù)的資源量。
建議
• 從建立正確的指標(biāo)開(kāi)始。這需要詳細(xì)了解人工智能系統(tǒng)的使用方式，并選擇那些能夠成功反映其利用情況的指標(biāo)。
• 定期重新評(píng)估（和重新調(diào)整）。由于系統(tǒng)周圍的世界在其部署后繼續(xù)演變，因此必須繼續(xù)將系統(tǒng)評(píng)估作為定期維護(hù)的一部分。
• 系統(tǒng)設(shè)計(jì)人員要有一套完善的指標(biāo)來(lái)衡量人工智能系統(tǒng)的效能，通曉這些指標(biāo)將有助于在設(shè)計(jì)新系統(tǒng)或維護(hù)現(xiàn)有系統(tǒng)的過(guò)程中與專家進(jìn)行交流。
• 進(jìn)一步研究評(píng)估人工智能系統(tǒng)效能的方法。
?