AI項目失敗的5種原因，第1部分:介紹和AI/機器學習項目生命周期

編者按:本文經授權轉載信任的見解該公司幫助營銷人員解決/實現收集數據和衡量數字營銷努力的問題。

簡介:為什麼人工智能項目會失敗

人們反複認為人工智能(AI)是一種神奇的東西，可以從無到有，這導致許多項目誤入歧途。這就是為什麼2019年普華永道首席執行官調查顯示，隻有不到一半的美國公司正在著手實施戰略人工智能計劃——失敗的風險很大。

在本係列中，我們將研究AI項目在AI之旅開始時最常見的失敗方式。在你自己的人工智能計劃中，要注意這些失敗——以及補救或防止它們的方法。

人工智能/機器學習項目生命周期

在討論失敗之前，我們需要回顧AI項目的生命周期，以了解應該發生什麼。獲取生命周期的整頁PDF從我們的即時洞察主題，並跟隨。

第一階段:規劃

沒有一個項目會在沒有周密計劃的情況下成功，人工智能也不例外。在做任何其他事情之前，確定是什麼業務需求這個項目。任何人工智能項目的目標都是做以下兩件事中的一件:

• 識別和分析人類可以做的事情，但不能很好地進行擴展(考慮數百萬張圖像進行分析)
• 預測和預測人類不能很好或根本不能做的事情(想想大規模的預測和驅動分析)

然而，除了這兩個廣泛的用例之外，企業還關心三件事:

• 提高操作速度
• 提高結果和結果的質量
• 降低成本

在為AI設定業務需求時，我們需要確定我們的項目將服務於哪些業務結果(為什麼)，以及誰負責，我們將做什麼，何時以及如何做。

根據我們的業務需求，我們接下來必須處理我們的分析方法．如何實現這些業務成果?我們會用什麼方法，什麼策略?我們是否在解決一個我們知道我們要解決什麼結果的問題，並且我們有大量的數據?這就是監督式機器學習。

我們是否在處理這樣一個問題:我們有大量的數據，但我們不知道我們在尋找什麼?我們希望機器幫助我們理解數據，從混亂中創造秩序——這就是無監督學習。

把計劃和分析方法想象成餐廳的設計和烹飪中的菜單。在你做其他事情之前，你會想知道菜單是什麼。

基於我們選擇的分析方法，我們轉向數據。

第二階段:數據

機器學習的命脈是數據。沒有數據，我們就沒有東西來訓練我們的機器。數據階段分為四個部分。

首先，我們需要明確數據需求．這些是我們的數據的要求——這個列表因每個項目而異。將此作為確定您自己的數據需求列表的起點。

• 我們需要什麼數據?
• 數據的格式是什麼?
• 數據從何而來?
• 數據源的遵從性要求是什麼?
• 我們多久需要一次數據?
• 誰負責維護數據?
• 我們需要什麼安全措施?
• 這些數據將如何使用?
• 如果有的話，將出版或提供什麼?

這個列表絕不是全麵的，但對於您自己的數據需求來說，它是一個很好的起點。一旦我們指定了數據需求，我們就需要進行設置數據收集．此階段通常需要開發人員、數據架構師、數據庫管理員和其他數據工程專業人員的幫助，以便從組織中的數據所在位置或可信的第三方存儲庫中提取數據。

數據收集後，我們開始正式的程序探索性數據分析．這個階段基本上驗證了我們的數據需求:

• 根據我們的規格，我們得到了正確的數據嗎?
• 數據狀況是否良好-統計上有效，沒有錯誤和遺漏?
• 這些數據符合我們的需求嗎?
• 從廣義上講，我們在數據中看到了什麼，可以證實或否定我們的整體分析方法?
• 我們數據的主要特征和屬性是什麼?
• 還有什麼數據可以擴展我們的方法呢?

最後，數據階段的最後一步是數據準備。這是為機器學習算法準備數據的藝術和科學。數據準備通常包括以下任務:

• 特性工程，以添加、減去或更改數據庫
• 異常檢測和校正
• 誤差修正
• 編碼到機器可以理解的格式(特別是深度學習，需要將大部分數據轉換為數字)

可以把數據階段想象成餐館中原料的準備階段。

有了準備好的數據，我們就可以進入下一個階段，建模。

第三階段:建模

在機器學習中建模是一個過程，可以手動或自動地選擇我們將使用哪些特定的機器學習算法，並構建一個模型(本質上是軟件)來處理我們的數據。

建模從以下開始模型選擇．基於我們在第一階段選擇的分析方法類型，大多數數據科學家應該知道一個模型應該遵循什麼樣的正確性、準確性或錯誤度量。例如，回歸型模型(監督學習)經常使用諸如均方根誤差(RMSE)或r^2之類的度量來指示模型中的錯誤級別，而我們的目標是找到錯誤率最低的模型。其他問題，如分類和分類模型，將使用諸如曲線下麵積(AUC)、接受者工作特征(ROC)等度量來幫助我們理解模型在分類之間的區分程度。

使用AutoML和IBM AutoAI等工具，可以讓機器以編程方式測試常見模型，並提供哪些模型表現最佳的分析，從而加速模型選擇，大大加快了過程。一旦被選中，我們就用我們的數據子集訓練模型，稱為訓練數據，通常是可用數據的60-80%。

根據我們的選擇，然後我們將使用我們的另一個百分比的數據(堅持和驗證數據，通常是20-40%)來測試模型，看看它在其他數據上的表現如何，評估我們沒有用於訓練的數據子集的錯誤率。這個階段,模型評價這有助於防止一個被稱為過擬合的問題，即一個模型在過去的數據上表現完美，但在它沒有預料到的未來數據上表現非常糟糕。

把模型選擇和模型評估想象成餐廳中的創建和測試廚房，然後再把食譜送到主餐廳。

一旦模型通過了評估，我們就開始部署。

第四階段:部署

一旦我們的模型完成並評估了準確性，我們將繼續模型部署．機器學習模型很大程度上是軟件的一部分;一旦你開發了一個應用程序，你就必須發布給你的終端客戶使用，否則所有的努力都是徒勞的。這就是數據科學和機器學習之間的顯著區別;雖然它們共享許多共同的實踐和技術，但在數據科學中，探索和分析通常是最終產品，而生產模型(軟件)是機器學習的最終產品。

我們將模型部署在某種服務器環境中，新數據可以流入模型，模型進行分析，然後將其分析發送到另一個係統;例如，一個分析推文情緒的模型會接收新的推文，對它們進行評分，然後將這些評分發送到社交媒體管理應用程序或客戶服務應用程序，讓我們對它們進行處理。

然而，僅僅部署模型本身是不夠的;我們還需要確保該模式繼續表現良好。這是模型調優，當我們根據新的生產數據重新訓練模型時，以確保模型保持快速和準確。擴展我們的客戶服務示例，我們將對我們的推文進行質量檢查，以確保模型繼續準確地對哪些推文是積極的，哪些推文是消極的進行評分。調優還包括驗證模型不會以不可接受的方式漂移或變得有偏見。

我們可以把部署和調優看作是餐廳的實際服務，以及從客戶那裏獲得關於他們喜歡和不喜歡食物的反饋。

後的行動

不回顧成功和失敗的項目是不完整的;機器學習也不例外。每個項目都應該有一個事後回顧，總結經驗教訓，為未來的項目組織有用的代碼和數據，並確保我們解決團隊中任何培訓和專業發展方麵的差距。

下一篇:會出什麼問題?

現在我們已經了解了基本的AI/機器學習生命周期，接下來我們將深入這些階段，重點介紹可能出現的問題，以及我們可以從過去的經驗中吸取教訓的錯誤。請繼續關注!