數據豐富的最佳實踐

與AI的合作夥伴關係建立負責任的數據收集方法

在DeepMind,我們的目標是確保我們所做的一切都符合我們的運營原則,這是最高的安全和道德標準。最重要的地方之一是我們如何收集數據。在過去的12個月中,我們與AI(PAI)的合作夥伴關係仔細考慮了這些挑戰,並共同開發了標準化的最佳實踐和流程,以收集負責任的人數據。

人類數據收集

三年前,我們成立了人類行為研究倫理委員會(HUBREC),這是一個以學術機構審查委員會(IRB)為基礎的治理小組(例如在醫院和大學中發現的),目的是保護尊嚴,權利和權利和權利和參與我們研究的人類參與者的福利。該委員會負責監督涉及與人類作為研究主題的實驗的行為研究,例如在決策過程中調查人類如何與人工智能(AI)系統相互作用。

除了涉及行為研究的項目外,AI社區越來越多地參與了涉及“數據豐富”的努力 – 人類執行的培訓和驗證機器學習模型的任務,例如數據標記和模型評估。儘管行為研究通常依賴於研究主題的自願參與者,但數據豐富涉及付費的人來完成改善AI模型的任務。

這些類型的任務通常是在眾包平台上進行的,通常會提高與工人工資,福利和公平性有關的道德考慮因素,這些因素可能缺乏必要的指導或治理系統來確保滿足足夠的標準。隨著研究實驗室加速越來越複雜的模型的發展,對數據豐富實踐的依賴可能會增長,並隨之而來,需要更強大的指導。

作為我們運營原則的一部分,我們致力於維護和貢獻AI安全和道德領域的最佳實踐,包括公平和隱私,以避免產生傷害風險的意外結果。

最佳實踐

在PAI最近關於負責數據豐富服務採購的白皮書之後,我們合作開發了數據豐富的實踐和流程。這包括創建五個步驟AI從業者可以遵循的步驟,以改善參與數據豐富任務的人的工作條件(有關更多詳細信息,請訪問PAI的數據豐富採購指南):

  1. 選擇適當的付款模式,並確保所有工人都在本地生活工資上方支付。
  2. 在啟動數據豐富項目之前設計並運行飛行員。
  3. 確定適合所需任務的適當工人。
  4. 提供經過驗證的說明和/或培訓材料供工人遵循。
  5. 與工人建立清晰的溝通機制。

我們共同創建了必要的政策和資源,在此過程中收集了我們內部法律,數據,安全,道德和研究團隊的多個反饋,然後才在少量數據收集項目中試行,然後將其推出到更廣泛的組織。

這些文檔提供了更加清晰的信息,圍繞著如何最好地在DeepMind設置數據豐富任務,從而提高了研究人員對研究設計和執行的信心。這不僅提高了我們的批准和啟動流程的效率,而且重要的是,它增強了參與數據豐富任務的人們的經驗。

PAI最近的案例研究中解釋了有關負責任的數據豐富實踐以及我們如何將它們嵌入現有流程中的更多信息,並在AI開發人員:DeepMind的示例中實施了負責任的數據豐富實踐。 PAI還為尋求開發類似流程的AI從業者和組織提供了有用的資源和支持材料。

期待

儘管這些最佳實踐是我們的工作,但我們不應該單獨依靠它們來確保我們的項目符合研究中最高的參與者或研究人員的安全標準。 DeepMind的每個項目都是不同的,這就是為什麼我們擁有專門的人類數據審查過程,該過程使我們能夠不斷與研究團隊互動以逐案識別和減輕風險。

這項工作旨在為有興趣改善其數據豐富採購實踐的其他組織提供資源,我們希望這會導致跨部門的對話,這可以進一步為團隊和合作夥伴開發這些準則和資源。通過這項合作,我們還希望引發有關AI社區如何繼續制定負責任的數據收集規範並集體建立更好行業標準的廣泛討論。

閱讀有關我們的運營原則的更多信息。

Source link

Scroll to Top