概念證明（POC）項目是新技術的測試場，生成的AI（Genai）也不例外。成功對Genai POC真正意味著什麼？簡而言之，成功的POC是無縫過渡到生產的一種POC。問題在於，由於技術的新穎性及其快速發展，大多數Genai POC主要集中在技術可行性和準確性和召回等指標上。這個狹窄的重點是POC失敗的主要原因之一。一個 麥肯錫調查 發現，儘管有四分之一的受訪者擔心準確性，但許多人在安全性，解釋性，知識產權（IP）管理和監管合規性方面遇到了很多努力。加上諸如差數據質量，可伸縮性限制和集成頭痛等常見問題，並且很容易理解為什麼如此多的Genai Poc無法前進。
超越炒作：Genai Poc的現實
Genai採用 顯然正在上升，但是POC的真正成功率尚不清楚。報告提供不同的統計信息：
- 加特納 預測，到2025年底，POC階段後至少有30％的Genai項目將被放棄，這意味著70％可以進入生產。
- Avanade的研究（引用 rtinsights）發現，41％的Genai項目仍陷入POC。
- 德勤的2025年1月 企業中的Genai狀態 報告估計，只有10-30％的POC會擴展到生產。
- IDC的研究（引用 cio.com）發現，平均只有37個POC中只有5個（13％）進入生產。
估計值在10％到70％之間，實際成功率可能更接近下端。這凸顯了許多組織努力以清晰的擴展途徑設計POC。較低的成功率可能會消耗資源，衰減熱情和攤位創新，從而導致通常稱為“ POC疲勞”，在那裡，團隊感到跑步的飛行員陷入了困境，從未進入生產。
超越浪費的努力
Genai仍處於採用周期的早期階段，就像雲計算和傳統AI之前一樣。雲計算花費了15 – 18年的時間才能達到廣泛的採用，而傳統的AI需要8 – 10年，並且仍在增長。從歷史上看，AI的採用率遵循了繁榮的障礙週期，在這種週期中，最初的興奮會導致人們的期望過高，然後在挑戰出現時會放緩，然後最終穩定在主流使用中。如果歷史是任何指南，Genai採用將有自己的起伏。
為了有效地瀏覽這一周期，組織必須確保每個POC都考慮到可擴展性的設計，避免了導致浪費努力的常見陷阱。認識到這些挑戰，領先的技術和諮詢公司已經開發了結構化的框架，以幫助組織超越實驗並成功擴展其Genai計劃。
本文的目的是通過概述實用的戰術步驟來補充這些框架和戰略努力，這些步驟可以顯著增加Genai POC從測試轉變為現實世界影響的可能性。
成功的Genai POC的關鍵戰術步驟
1。選擇帶有生產的用例
首先，選擇具有清晰生產途徑的用例。這並不意味著進行全面的企業範圍內的Genai準備就緒評估。取而代之的是，根據數據質量，可伸縮性和集成要求等因素分別評估每個用例，並優先考慮到達生產可能性最高的因素。
選擇正確用例時要考慮的更多關鍵問題：
- 我的POC是否與長期業務目標保持一致？
- 可以合法地訪問並使用所需的數據嗎？
- 是否有明顯的風險可以防止擴展？
2。定義並對齊成功指標
POC攤位的最大原因之一是缺乏衡量成功的定義明確的指標。如果沒有強烈的目標和投資回報率的預期，即使是技術上合理的POC也可能難以獲得生產的買入。估計ROI並不容易，但以下是一些建議：
- 設計或採用這樣的框架 一。
- 使用成本計算器，例如 這個OpenAI API定價工具 和雲提供商計算器以估計費用。
- 而不是單個目標，而是開發基於範圍的ROI估計，並具有概率來解釋不確定性。
這是一個例子 Uber的Querygpt 團隊估計其文本到SQL Genai工具的潛在影響。
3。啟用快速實驗
構建Genai應用程序是關於需要持續迭代的實驗。選擇您的技術堆棧，體系結構，團隊和流程時，請確保它們支持這種迭代方法。這些選擇應實現無縫實驗，從生成假設和運行測試到收集數據，分析結果，學習和煉油。
- 考慮僱用中小型服務供應商來加速實驗。
- 選擇 基準，一開始時的Evals和評估框架確保它們與您的用例和目標保持一致。
- 使用類似的技術 llm-as-a-a-a-a gudge 或者 llm-as-juries 自動化（半自動）評估。
4。瞄準低摩擦解決方案
低摩擦解決方案需要更少的批准，因此面臨的採用和擴展更少或沒有異議。 Genai的快速增長導致工具，框架和旨在加速POC和生產部署的平台的爆炸式增長。但是，這些解決方案中的許多是黑匣子，需要對其，法律，安全和風險管理團隊進行嚴格的審查。為了應對這些挑戰並簡化該過程，請考慮建立低摩擦解決方案的以下建議：
- 為批准創建專門的路線圖：考慮創建專門的路線圖，以解決合作夥伴團隊的問題並獲得批准。
- 使用預先批准的技術堆棧：只要可能，請使用已被批准的技術堆棧，並用於避免批准和集成的延遲。
- 專注於基本工具：早期POC通常不需要模型進行微調，自動反饋循環或廣泛的可觀察性/SRE。取而代之的是，優先考慮核心任務的工具，例如矢量化，嵌入式，知識檢索，護欄和UI開發。
- 使用謹慎使用低代碼/無代碼工具：儘管這些工具可以加速時間表，但它們的黑框自然限制了自定義和集成功能。謹慎使用它們，並考慮它們的長期影響。
- 儘早解決安全問題：實施諸如合成數據生成，PII數據掩蓋和加密等技術，以主動解決安全問題。
5。組建一個精益，企業家團隊
與任何項目一樣，擁有合適的團隊具有基本技能對於成功至關重要。除了技術專長之外，您的團隊還必須是敏捷和企業家。
- 考慮包括產品經理和主題專家（SME），以確保您解決了正確的問題。
- 確保團隊中同時擁有全堆棧開發人員和機器學習工程師。
- 避免專門用於POC或從更高優先級的長期項目中藉用內部資源。取而代之的是，考慮僱用可以快速帶入合適人才的中小型服務供應商。
- 從第1天開始嵌入法律和安全的合作夥伴。
6。還要確定非功能要求
對於成功的POC，至關重要的是建立明確的問題邊界和一組固定的功能要求。但是，不應忽略非功能要求。雖然POC應保持專注於問題邊界，但其架構必須用於高性能。更具體地說，達到毫秒延遲可能不是直接的必要性，但是，隨著Beta用戶的擴展，POC應該能夠無縫擴展。選擇一個模塊化體系結構，該體系結構保持靈活性和對工具的不可知論。
7。制定處理幻覺的計劃
語言模型不可避免地是幻覺。因此，護欄對於負責任地縮放Genai解決方案至關重要。但是，評估在POC階段以及在多大程度上需要自動護欄。而不是忽略或過度工程護欄，而是檢測 當您的模型幻覺 並將其標記為POC用戶。
8。採用產品和項目管理最佳實踐
這 XKCD 插圖與生產一樣適用於POC。沒有一件大小的劇本。但是，採用項目和產品管理中的最佳實踐可以幫助簡化和取得進步。
- 使用看板或敏捷方法進行戰術計劃和執行。
- 記錄一切。
- 持有Scrum of-Scrums與合作夥伴團隊有效合作。
- 讓您的利益相關者和領導層了解進步。
結論
成功運行Genai POC不僅是證明技術可行性，還涉及評估長期的基本選擇。通過仔細選擇合適的用例，對成功指標保持一致，實現快速實驗，最大程度地減少摩擦，組裝正確的團隊，滿足功能和非功能性要求，並為諸如幻覺之類的挑戰計劃，組織可以極大地提高其從POC轉移到生產的機會。
也就是說，上面概述的步驟並不詳盡，並不是所有建議都適用於每種用例。每個POC都是獨一無二的，成功的關鍵是調整這些最佳實踐，以適應您的特定業務目標，技術限制和監管環境。
強大的願景和策略對於Genai的採用至關重要，但是如果沒有正確的戰術步驟，即使是最佳計劃的計劃也可以在POC階段停滯不前。執行是偉大的想法成功或失敗的地方，並且採用清晰的結構化方法可確保創新轉化為現實世界的影響。
