紅點創(chuàng)投的投資人TOMASZ TUNGUZ日前撰文，討論了概率論與機器學習的關系，提出了管理用戶信任的建議。他認為，設置合適的用戶對系統(tǒng)容量的期望至關重要，要判斷那種統(tǒng)計錯誤類型（這里的“錯誤類型”是統(tǒng)計術語，包括一類錯誤和二類錯誤）。

失去信任要比失去軟件的用戶或買家來得更快，比如這個軟件沒有保存我的數(shù)據(jù)、數(shù)據(jù)庫損壞、網(wǎng)站安全系數(shù)頻繁下降。數(shù)據(jù)完整性是每個公司存儲數(shù)據(jù)所面臨的挑戰(zhàn)。機器學習SaaS初創(chuàng)企業(yè)面臨著另一種信任風險——一種以概率引入的風險。

當年，內森預測2008年巴拉克·奧巴馬（Barack Obama）的成功選舉，每個地區(qū)的準確率幾乎達到100％時，概率論可謂是大放異彩。真實世界與可能的預測一致。然而八年后的這次選舉，概率沒能預測對新總統(tǒng)的人選。

在2008年和2016年的分析中，預測可能是正確的。2008年的成功預測使人們對數(shù)據(jù)更加信任，然而在2016年，結果卻發(fā)生了變化，預測反倒不準了。這種現(xiàn)象很自然。

置信系數(shù)和2類錯誤

許多機器學習系統(tǒng)也依賴概率。程序員將閾值編碼到機器學習模型中，系統(tǒng)使用該閾值來決定概率是否可以得出結論，有時這被稱置信系數(shù)。例如，該圖像包含貓的最小概率、sacre blue 被翻譯為“哦，我的天哪！”而不是sacre blue的概率 、高峰時間的范懷克的速度比從新澤西州到曼哈頓的帶百匯要快的概率。

在計算機系統(tǒng)推薦之前，這些最小概率應該是多少？ 80％？ 90％？ 95％？ 增加概率和減少誤報數(shù)量或類型1錯誤。這樣您在搜索貓時，結果中出現(xiàn)貓鼬的數(shù)量就會更少。

但是，過多的增加信任閾值會引起類型2錯誤。有可能系統(tǒng)斷言圖像不包含貓，但經(jīng)過進一步的檢查，你可以看到有一個有貓的圖片。

如何管理這種風險

機器學習SaaS公司必須找到平衡。讓機器學習系統(tǒng)可以合理的寬松、適當?shù)膰栏瘛Ｈ绻a(chǎn)品掉到一個極端，產(chǎn)品可能會失去用戶的信任，最終失去業(yè)務。

如何最好地管理這種風險？聊天機器人surge告訴我“人/機器人”交互的一個原則。設置合適的用戶對系統(tǒng)容量的期望至關重要。低估和超額投放都會導致不信任。

第二種方法是確定哪種類型的錯誤對用戶更為有利。在電子郵件垃圾郵件檢測中，就需要更好地從郵件中分離出沒用的垃圾郵件。

這些下一代機器學習產(chǎn)品都將依賴于用戶信任的建立。在某些時候，這些產(chǎn)品必須明確什么時候的概率足夠好，才能將營銷預算轉移到新的廣告系列，分類圖片，翻譯，分類垃圾郵件或升級錯誤。

這類產(chǎn)品決定選擇一定要謹慎。ML系統(tǒng)的信心得分直接關系到用戶對產(chǎn)品的信任程度。