文章摘要：智能客服機器人慢慢成為了很多企業(yè)售后環(huán)節(jié)的標配產品，同時市面上智能客服供應商也如雨后春筍般涌現，大家都宣稱自己的機器人多么智能。但很多時候，上線后要讓機器人發(fā)揮作用，不是“多么智能”幾個字就能達到目...

智能客服機器人慢慢成為了很多企業(yè)售后環(huán)節(jié)的標配產品，同時市面上智能客服供應商也如雨后春筍般涌現，大家都宣稱自己的機器人多么智能。但很多時候，上線后要讓機器人發(fā)揮作用，不是“多么智能”幾個字就能達到目標。里面需要團隊中的產品、運營、算法等人一起努力，當然，很多團隊由于沒有經驗，這個過程會像丈二的和尚摸不著頭腦，需要進行多次摸索才能知道該如何優(yōu)化。

所以，今天要討論的，就是如何系統(tǒng)化去衡量機器人的效果，從而幫助團隊針對性高效優(yōu)化客服機器人。

北極星指標

說到衡量效果，就需要提到數據指標。每款產品都有很多數據指標，而我們要找的應該是最核心的指標，即業(yè)界說的【北極星指標】。這個指標一定是最能體現業(yè)務目標的。

比如閑聊機器人是為了陪伴用戶度過每個無聊的日子，北極星指標應該是活躍度和留存率；

營銷機器人是為了讓用戶下單，北極星指標應該是營銷轉化率。同樣的客服機器人是為了解決用戶疑惑，不用轉人工從而降低成本，所以北極星指標應該是【獨立接待率】，與其相反的就是【轉人工率】。

維護客服機器人，其實就是不斷提高獨立接待率，降低轉人工率。

找到這個核心指標不是完事，畢竟這個指標可能連我不怎么用網絡的舅舅都知道。這只是一個開始，接下來還得知道哪些因素會影響該指標，才能從這些方向針對性地優(yōu)化機器人。

客服業(yè)務流程

要想降低轉人工率，也就是機器人能幫客戶解決更多問題，那就要求機器人能像人工客服一樣，甚至做得比人工客服更好，才能讓客戶認可。我們回想下，客服在解答用戶問題時，都做了哪些事？總結了一下，客服的核心業(yè)務流分為三部分：

① 了解用戶的問題：知道用戶問的是什么問題，如果用戶表達不清楚，還需要跟用戶確認

② 了解問題的解法：知道該問題如何解決，考驗客服對業(yè)務的熟悉程度

③ 解答用戶的問題：利用用戶聽得懂的表達來解答用戶問題，且需要適時安撫

客服機器人業(yè)務目標

了解了客服的核心業(yè)務流之后，我們需要讓機器人也能完成這個流程，從而讓客戶愿意接受機器人的答案，降低轉人工率。對于機器人來說，要滿足核心業(yè)務要求，需要其達到對應的能力。那具體對應是哪些能力，這里我根據以往的經驗，做了一層映射。

① 了解用戶的問題：準確知道用戶問題的意圖，若意圖缺失，還需要與用戶確認

② 了解問題的解法：知道大部分業(yè)務問題的答案，能夠在識別到用戶意圖之后給出解法

③ 解答用戶的問題：回復話術需要讓用戶聽得懂，聽得舒服，保持人性化

根據以上內容，總結了降低客服機器人轉人工率的三個方向以及對應指標，接下來我們就一個個方向進行細化。

一、識別得多不多

識別得多不多，也就是機器人能不能理解用戶更多意圖，并給出相應回復。這里就要求機器人知識庫能夠覆蓋更多業(yè)務問題，當業(yè)務覆蓋率越高，機器人就能識別更多意圖，解答更多業(yè)務問題。

業(yè)務問題可以通過聚類歷史數據篩選出來，那如何從更細化的指標體現業(yè)務覆蓋率呢？

一般來說，知識庫覆蓋的業(yè)務問題越多，機器人不知道的問題就越少，也就是無法識別的比例越低；對應能夠識別且回復的問題越多，也就是直接回復比例越高。在這兩者之間，還有一類間接回答的場景，也就是機器人大概知道但又不大確定的問題，就會推薦幾個類似問題讓用戶確認。

總的來說，要衡量機器人識別得多不多，可以通過機器人回復類型來判斷，目標就是：機器人回復的所有消息中，直接回答比例不斷提升，間接回復和無法識別的比例不斷降低。

二、識別得準不準

我們想觀察機器人識別得準不準，實際上就是在分析機器人自信認為理解了用戶的意圖，而事實上到底對不對。

機器人自信認為對的問題，也就是我們前面說的直接回答場景，也就是機器人直推且正確的消息數與機器人直推的消息數比例，可以歸納為【直推準確率】。當然，判斷機器人直接回復準不準確，需要機器人訓練師做人工質檢，才能得到確切的數據。

另一方面，我們也可以考核機器人給出所有反饋的準確率，包括了直接回答和間接回答。雖然間接回答是機器人不大自信，沒有給出直接答案，從而給出了推薦問題；但如果推薦問題都是錯的，那就沒有任何意義，甚至大大降低了用戶體驗，所以還是需要保證其準確性。

因此我們可以歸納為【綜合準確率】，公式可以總結為：（機器人直推且正確的消息數+機器人間接回答且正確的消息數）/機器人直接+間接回答的總消息數。

當然，或許有人會有疑惑，機器人間接回答到底正不正確很難衡量，甚至人為質檢都存在很大不確定性。確實，這個指標比較模糊，但我們可以從用戶反饋動作來觀察，也就是看機器人間接推薦了問題且用戶采納問題去查詢答案的場景，我們就理解為機器人間接回答是正確的。從這個定義出發(fā)的話，我們也不需要進行人工質檢，由系統(tǒng)根據用戶反饋來進行統(tǒng)計。

三、回答得好不好

業(yè)務覆蓋也做了，準確性也保障了，最后就是要給出答案。衡量機器人回答得好不好，很大程度上跟AI能力無關，而是運營效果的衡量。運營人員給每條知識庫問題配了答案之后，這個答案需要能夠解決用戶問題，安撫用戶情緒，從而讓用戶不轉人工。所以要看回答得好不好，一方面我們需要細化到每個FAQ的效果來看，另一方面這是一個非常主觀的問題，所以我們需要將主觀變?yōu)榭陀^，也就是看針對每個答案，用戶的反饋。

用戶對機器人的反饋一般有兩種，一種是轉不轉人工，另一種就是評價，對應的指標就是【答案解決率】和【答案的滿意度】

答案解決率就是機器人給出了答案后，用戶是否轉人工，若是轉人工了，說明答案無法解決用戶問題，如果沒有轉人工，一定程度上可以理解為解答了用戶問題。所以運營可以通過這個指標，篩選出答案轉人工率最高的問題，進行針對性優(yōu)化，提升答案解決率。

答案滿意度是通過用戶對智能客服機器人答案的點贊或者點踩來進行分析，我們可以分為整體點贊/點踩率和單個答案的點贊/點踩率，從整體和局部去分析機器人回答的好壞。例如某個答案的點踩率特別高，我們就需要進行策略調整，是不是換個回復內容，甚至犧牲轉人工率，讓其進入人工，從而保證用戶體驗。

結果，有了以上細化的衡量方向，我們就可以清晰地看出影響智能客服北極星指標的因素有哪些，總結如下；同時我們通過具體數據，也能鞏固知道應該往哪些方向去優(yōu)化。比如直接推薦比例很低，那就需要訓練師覆蓋更多的業(yè)務業(yè)務場景；直推準確率很低，就需要訓練師增加相似問法，算法工程師調優(yōu)模型；答案點踩率很高，就需要運營優(yōu)化答案及回復策略。

文章為沃豐科技原創(chuàng)，轉載需注明來源：http://www.yzny.net.cn/ucm/faq/13824