最近我想到了數(shù)據(jù)治理，所以我決定通過輸入提示來查詢ChatGPT：“什么是數(shù)據(jù)治理?”，人工智能回應(yīng)道：“數(shù)據(jù)治理是一套流程、政策、標準和指導方針，可確保在企業(yè)內(nèi)適當?shù)毓芾怼⒈Ｗo和利用數(shù)據(jù)”，這是一個很好的開始，此時此刻，關(guān)于數(shù)據(jù)治理及其意義還有很多要說的。

GenAI時代的數(shù)據(jù)治理

數(shù)據(jù)治理涵蓋了一系列學科，包括數(shù)據(jù)安全、管理、質(zhì)量和編目，這種做法需要定義使用策略、創(chuàng)建主數(shù)據(jù)源、分析數(shù)據(jù)集、記錄字典和監(jiān)督數(shù)據(jù)生命周期。組織模型通常定義促進策略的首席數(shù)據(jù)官、制定數(shù)據(jù)集策略的數(shù)據(jù)所有者和負責改進數(shù)據(jù)質(zhì)量的數(shù)據(jù)管理員的角色。

“數(shù)據(jù)治理是數(shù)據(jù)完整性的關(guān)鍵要素，使企業(yè)能夠輕松地查找、理解和利用關(guān)鍵數(shù)據(jù)——從而實現(xiàn)準確的報告和明智的決策”，Precision的首席技術(shù)官TendüYogurtçu博士說，“它提供了對數(shù)據(jù)的含義、譜系和影響的理解，因此企業(yè)可以保持合規(guī)，并確保人工智能模型以可靠的數(shù)據(jù)為燃料，以獲得可靠的結(jié)果。”

Yogurtçu說，數(shù)據(jù)治理曾經(jīng)是一項專注于合規(guī)性的技術(shù)任務(wù)。她說：“隨著人們越來越多地采用人工智能，數(shù)據(jù)已成為最重要的企業(yè)資產(chǎn)，數(shù)據(jù)治理應(yīng)該成為整個企業(yè)的優(yōu)先事項。”

對于許多嘗試使用GenAI或使用大型語言模型(LLM)構(gòu)建應(yīng)用程序的企業(yè)來說，數(shù)據(jù)治理責任更大，員工使用AI工具的方式帶來更多風險，非結(jié)構(gòu)化數(shù)據(jù)帶來新的范圍。我咨詢了幾位專家，了解數(shù)據(jù)治理必須如何發(fā)展，以應(yīng)對GenAI工具和能力所固有的機會和風險。

發(fā)展GenAI數(shù)據(jù)治理的4種方法

審查在GenAI工具和LLM中使用的數(shù)據(jù)策略

數(shù)據(jù)治理部門監(jiān)督數(shù)據(jù)目錄并傳達數(shù)據(jù)使用策略，以幫助員工利用集中的數(shù)據(jù)集，并將其用于構(gòu)建機器學習模型、儀表板和其他分析工具，這些部門現(xiàn)在正在更新政策，包括是否以及如何在土地管理系統(tǒng)和開放的GenAI工具中使用企業(yè)數(shù)據(jù)源。開發(fā)人員和數(shù)據(jù)科學家必須審查這些政策，并就使用數(shù)據(jù)集支持GenAI實驗的任何問題咨詢數(shù)據(jù)所有者。

Egnyte的聯(lián)合創(chuàng)始人兼首席安全官克里斯·拉希里表示：“隨著GenAI帶來更多的數(shù)據(jù)復(fù)雜性，企業(yè)必須有良好的數(shù)據(jù)治理和隱私政策，以管理和保護用于訓練這些模型的內(nèi)容。企業(yè)必須格外關(guān)注這些人工智能工具使用了哪些數(shù)據(jù)，無論是OpenAI、Palm之類的第三方，還是公司內(nèi)部可能使用的LLM。”

審查有關(guān)隱私、數(shù)據(jù)保護和可接受使用的GenAI政策，許多企業(yè)要求在將數(shù)據(jù)集用于GenAI用例之前提交請求和來自數(shù)據(jù)所有者的批準。在使用必須符合GDPR、CCPA、PCI、HIPAA或其他數(shù)據(jù)合規(guī)標準的數(shù)據(jù)集之前，請咨詢風險、合規(guī)和法律部門。

在使用第三方數(shù)據(jù)源時，數(shù)據(jù)策略還必須考慮數(shù)據(jù)供應(yīng)鏈和責任。EDB的首席產(chǎn)品工程官Jozef de Vries表示：“如果發(fā)生涉及在特定地區(qū)受保護的數(shù)據(jù)的安全事件，供應(yīng)商需要明確他們和客戶的責任，以適當?shù)鼐徑膺@種情況，特別是如果這些數(shù)據(jù)打算用于AI/ML平臺的話。”

對于那些對GenAI機會感到興奮的人來說，通過了解他們企業(yè)的數(shù)據(jù)隱私、安全和合規(guī)政策，擁有優(yōu)先事項的心態(tài)是很重要的。

加快數(shù)據(jù)質(zhì)量計劃

許多公司都提供數(shù)據(jù)質(zhì)量解決方案，包括ATTACAMA、ColLibra、Experian、IBM、Informatica、Precision、SAP、SAS和Talend。2022年，全球數(shù)據(jù)質(zhì)量工具市場規(guī)模超過40億美元，預(yù)計每年增長17.7%。我預(yù)計現(xiàn)在有更高的增長，因為許多公司都在試驗人工智能工具和LLM。

Piwik Pro的首席運營官馬特茲·克雷姆帕表示：“由于人工智能的好壞取決于支持它的數(shù)據(jù)，因此與人工智能合作的諸多挑戰(zhàn)都與數(shù)據(jù)質(zhì)量有關(guān)，糟糕的數(shù)據(jù)質(zhì)量可能會導致誤導性或錯誤的見解，嚴重影響結(jié)果。”

克雷姆帕表示，數(shù)據(jù)質(zhì)量挑戰(zhàn)源于大數(shù)據(jù)的數(shù)量、速度和多樣性，特別是因為LLM現(xiàn)在利用的是該企業(yè)的非結(jié)構(gòu)化數(shù)據(jù)源。希望開發(fā)內(nèi)部LLM的公司將需要擴展數(shù)據(jù)質(zhì)量計劃，以包括從文檔、協(xié)作工具、代碼庫和其他存儲企業(yè)知識和知識產(chǎn)權(quán)的工具中提取的信息。

Hakkoda的數(shù)據(jù)治理主管凱倫·梅本表示：“數(shù)據(jù)治理正在轉(zhuǎn)變，不僅要向LLM系統(tǒng)提供海量數(shù)據(jù)，而且要明智、安全地這樣做，重點是確保數(shù)據(jù)不僅是大的，而且是智能的 - 準確、可理解、隱私意識、安全，并尊重知識產(chǎn)權(quán)和公平的風險和影響。”

根據(jù)業(yè)務(wù)目標和數(shù)據(jù)類型的不同，可以使用不同的工具來提高數(shù)據(jù)質(zhì)量。

傳統(tǒng)數(shù)據(jù)質(zhì)量工具可以對數(shù)據(jù)進行重復(fù)數(shù)據(jù)刪除、標準化數(shù)據(jù)字段、根據(jù)業(yè)務(wù)規(guī)則驗證數(shù)據(jù)、檢測異常并計算質(zhì)量指標。

主數(shù)據(jù)管理工具(MDM)可幫助企業(yè)連接多個數(shù)據(jù)源，并圍繞客戶和產(chǎn)品等業(yè)務(wù)實體創(chuàng)建真實來源。

客戶數(shù)據(jù)平臺(CDP)是用于集中客戶信息并實現(xiàn)營銷、銷售、客戶服務(wù)和其他客戶交互的專用工具。

期待升級和新的數(shù)據(jù)質(zhì)量工具，以改善對非結(jié)構(gòu)化數(shù)據(jù)源的支持，并提高GenAI用例的數(shù)據(jù)質(zhì)量能力。

Matillion的CISO Graeme Canu-Park的另一項建議側(cè)重于數(shù)據(jù)譜系的重要性。“人工智能將需要一種完全不同的方式來看待治理優(yōu)先事項和實踐，以更好地了解為人工智能應(yīng)用程序和模型提供支持的數(shù)據(jù)管道和數(shù)據(jù)譜系。”

數(shù)據(jù)沿襲有助于揭示數(shù)據(jù)的生命周期，并回答有關(guān)誰、何時、在哪里、為什么以及數(shù)據(jù)如何更改的問題。由于人工智能擴大了數(shù)據(jù)及其用例的范圍，因此對企業(yè)中更多的人，包括從事安全和其他風險管理職能的人來說，了解數(shù)據(jù)譜系變得更加重要。

審查數(shù)據(jù)管理和管道體系結(jié)構(gòu)

著眼于政策和數(shù)據(jù)質(zhì)量之外，數(shù)據(jù)治理領(lǐng)導者必須將他們的影響力擴展到數(shù)據(jù)管理和架構(gòu)功能。主動式數(shù)據(jù)治理支持一系列功能，使更多員工能夠利用數(shù)據(jù)、分析以及現(xiàn)在的人工智能來完成工作并做出更明智的決策。如何存儲、訪問、生產(chǎn)、編目和記錄數(shù)據(jù)都是組織能夠以多快、多輕松、多安全的方式將其數(shù)據(jù)擴展到genAI用例中的所有因素。

Teradata的首席產(chǎn)品官希拉里·阿什頓建議了以下方法，讓最令人興奮的人工智能用例成為現(xiàn)實：

創(chuàng)建可重復(fù)使用的數(shù)據(jù)產(chǎn)品，或經(jīng)過精心管理的已知良好數(shù)據(jù)集，以幫助企業(yè)更好地控制其數(shù)據(jù)并向其灌輸信任。

尊重數(shù)據(jù)引力，讓員工隊伍中更多的人能夠訪問信息，而無需跨不同環(huán)境移動數(shù)據(jù)。

在考慮可伸縮性的情況下試點人工智能倡議，包括具有強大治理的AI/ML數(shù)據(jù)管道，該管道還支持開放和互聯(lián)的生態(tài)系統(tǒng)。

數(shù)據(jù)團隊的一個關(guān)鍵是確定易于使用并支持多種用例的框架和平臺。Ensono的總經(jīng)理兼副總裁肖恩·馬奧尼說：“治理框架開始看起來更加靈活，使團隊能夠更快地響應(yīng)技術(shù)進步的步伐”，他建議數(shù)據(jù)治理領(lǐng)導者也審查并參與到這些工具中來：

數(shù)據(jù)網(wǎng)狀結(jié)構(gòu)，用于將數(shù)據(jù)的管理委托給數(shù)據(jù)創(chuàng)建者。

矢量數(shù)據(jù)庫，用于處理GenAI和LLMS固有的可伸縮性和復(fù)雜性。

實時監(jiān)控工具，可在更多系統(tǒng)中擴展數(shù)據(jù)治理。

另一個需要考慮的問題是，數(shù)據(jù)治理、管理和體系結(jié)構(gòu)如何要求了解有關(guān)數(shù)據(jù)存儲的全球法規(guī)。EDB的De Vries建議：“企業(yè)應(yīng)實施全球分布式數(shù)據(jù)庫，以提升其數(shù)據(jù)治理實踐，方法是將高度監(jiān)管的數(shù)據(jù)保留在其區(qū)域內(nèi)，同時在全球分發(fā)限制性較低的數(shù)據(jù)，以便在輸入人工智能平臺時實現(xiàn)靈活性。”

將數(shù)據(jù)治理擴展到GenAI工作流

數(shù)據(jù)治理功能還必須考慮如何使用GenAI工具和LLM需要策略和最佳實踐，例如，在本文的開頭，我明確引用了ChatGPT，以便讀者知道響應(yīng)來自GenAI來源。良好的數(shù)據(jù)治理要求對員工進行教育，使其了解提高透明度的程序、允許他們使用的工具以及將數(shù)據(jù)隱私問題降至最低的做法。

“我看到的最大的事情是，在保持隱私和真實性的同時，準確地利用、共享和學習數(shù)據(jù)的方法正在興起”，PreThink的首席執(zhí)行官迪恩·尼古拉斯說，“例如，像Perplexity這樣基于LLM的搜索引擎總是引用它們的來源，或者像Private AI這樣的數(shù)據(jù)編校技術(shù)，它允許你在攝取數(shù)據(jù)或?qū)?shù)據(jù)發(fā)送到LLMS之前對PIL進行清理和編校。”

數(shù)據(jù)治理領(lǐng)導者應(yīng)該考慮的一個新的主動措施是創(chuàng)建提示庫，員工可以在其中記錄他們的即時用例，并在企業(yè)中共享它們，該規(guī)程擴展了許多數(shù)據(jù)治理團隊已經(jīng)在維護數(shù)據(jù)目錄和數(shù)據(jù)字典方面所做的知識管理實踐。

RelationalAI的Research ML副總裁Nikolaos Vasiloglou說：“LLMS的基礎(chǔ)包括通常存儲在知識圖譜中的干凈和精心策劃的內(nèi)容以及通常以提示庫的形式存儲的專家知識，雖然我們對知識圖譜有良好的治理實踐，但如何治理后者并不明顯。”

我喜歡《蜘蛛俠》電影中流行的一句話：“力量越大，責任越大”，我們正在看到GenAI能力的快速演變，問題是數(shù)據(jù)治理團隊是否會站在他們那一邊。