Tips：你可以關(guān)注"EosphorosAI"公眾號，回復(fù)“0912”獲取師文匯演講PPT

隨著大模型的出現(xiàn)，AI應(yīng)用迎來了一次重大的變革。數(shù)據(jù)，不再僅僅是信息的載體，而是變成了智能應(yīng)用成功的關(guān)鍵。師文匯指出，AI應(yīng)用的發(fā)展經(jīng)歷了從數(shù)據(jù)積累到大模型的智能飛躍，我們正站在一個新的技術(shù)前沿。

AI應(yīng)用的演化：從數(shù)據(jù)積累到大模型的智能飛躍

回顧應(yīng)用研發(fā)方式的變革，早期以數(shù)據(jù)為核心的非智能化的應(yīng)用，通常聚焦在某個特定的領(lǐng)域的特定問題，解決的是有明確答案的問題，比如支付、交易等業(yè)務(wù)。通過有限的狀態(tài)流轉(zhuǎn)實(shí)現(xiàn)業(yè)務(wù)邏輯推進(jìn)，所有的流程都是標(biāo)準(zhǔn)化的。

在大模型出現(xiàn)以前，為了解決一個特定領(lǐng)域千人千面的問題，解空間已經(jīng)很難用狀態(tài)機(jī)描述，例如推薦、搜索，通過應(yīng)用大量的數(shù)據(jù)積累以及小模型的的迭代，獲取越來越準(zhǔn)確的小模型，實(shí)現(xiàn)了第一代的智能應(yīng)用。這其實(shí)是以大量的數(shù)據(jù)和小的判別式模型所構(gòu)成的。

現(xiàn)在，大模型使得我們能夠處理更加復(fù)雜和發(fā)散性的問題。數(shù)據(jù)的角色從輔助變?yōu)楹诵模蔀橹悄軕?yīng)用成功的關(guān)鍵。在大模型時代，我們不再僅僅依賴應(yīng)用來積累數(shù)據(jù)。我們可以做到數(shù)據(jù)先行，可以通過數(shù)據(jù)引入或者數(shù)據(jù)標(biāo)注的方式沉淀這些數(shù)據(jù)。

我們認(rèn)為構(gòu)建以數(shù)據(jù)為核心的智能應(yīng)用的關(guān)鍵因素是打造一個能力較好的大模型加上優(yōu)質(zhì)的行業(yè)數(shù)據(jù)。

對智能應(yīng)用來說數(shù)據(jù)包含了兩種類別：

• 應(yīng)用數(shù)據(jù)：傳統(tǒng)應(yīng)用積累的結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化數(shù)據(jù)；
• 引入數(shù)據(jù)：通過數(shù)據(jù)引入和標(biāo)注手段獲取的數(shù)據(jù)。

數(shù)據(jù)來源不僅僅通過應(yīng)用逐步的沉淀，通過引入數(shù)據(jù)可以真正做到數(shù)據(jù)先行。

AI原生應(yīng)用研發(fā)的變革與挑戰(zhàn)

1.編程模型的轉(zhuǎn)變:
從以流程為核心到以數(shù)據(jù)為核心，我們的編程模型正在發(fā)生重大變革。以前，我們用C++等語言開發(fā)程序，流程是固定的，我們沉淀了很多的研發(fā)工具，做集成測試。在大模型時代，整個AI原生應(yīng)用的設(shè)計會簡化原來狀態(tài)流轉(zhuǎn)和SOP，我們更多地關(guān)注如何處理和加工數(shù)據(jù)。

SQL定義了處理結(jié)構(gòu)化數(shù)據(jù)的范式，在大模型時代下，我們現(xiàn)在需要新的方法來處理非結(jié)構(gòu)化數(shù)據(jù)，如音頻、視頻和圖片，甚至文本。我們是不是可以創(chuàng)新出一種全新的類似SQL的范式去處理這些非結(jié)構(gòu)化的數(shù)據(jù)，這是一個長期的過程，需要我們不斷探索和創(chuàng)新積累。

2.研發(fā)范式的不確定性：
大模型的本質(zhì)是概率模型，我們很難解決幻覺問題，或者準(zhǔn)確性的問題。但很多應(yīng)用需要嚴(yán)格的執(zhí)行結(jié)果。我們?nèi)绾谓档痛竽Ｐ偷牟淮_定性失效成本，提升研發(fā)迭代效率，是后續(xù)非常重要的一環(huán)。

3.與現(xiàn)有系統(tǒng)的交互：
在建設(shè)新的數(shù)據(jù)為核心的AI應(yīng)用時，無論是建立新的應(yīng)用、還是升級老的系統(tǒng)，如何高效的利用已有系統(tǒng)的能力，也能夠讓已有系統(tǒng)更好的利用新的A原生應(yīng)用的能力也是一個非常關(guān)鍵的問題。傳統(tǒng)的RPC都是面向二進(jìn)制來設(shè)計的，如何高效的在網(wǎng)絡(luò)上傳輸，如何建立新的規(guī)范幫助AI Agent、AI原生應(yīng)用的交流是一個很關(guān)鍵的問題。

AI原生應(yīng)用框架的思考

我們希望構(gòu)建沉淀一個新的框架，去應(yīng)對解決AI原生的數(shù)據(jù)應(yīng)用面臨的數(shù)據(jù)編程、不確定的問題。

面向數(shù)據(jù)編程：

• 泛ETLs：我們要把數(shù)據(jù)處理（ETL）做得更加廣泛，不僅僅像以前是為了做報表或幫助ML清洗數(shù)據(jù)，基本上是for人類、for決策的；我們現(xiàn)在的ETL為了大模型更智能，從數(shù)據(jù)到知識的能力。

• 實(shí)驗(yàn)反饋：模型的架構(gòu)決定了模型能力的下限，數(shù)據(jù)決定了整個AI應(yīng)用的質(zhì)量和上限，我們?nèi)绾渭庸じ哔|(zhì)量的數(shù)據(jù)，其實(shí)是非常大的挑戰(zhàn)，在這里最重要的是我們要建立起一套完整的端到端的實(shí)驗(yàn)反饋體系，通過框架提升反饋閉環(huán)的效率。

應(yīng)對不確定性：

• 我們希望加快AI原生應(yīng)用的開發(fā)迭代，減少因模型不確定性導(dǎo)致的失敗成本。
• 通過標(biāo)準(zhǔn)的SOP來約束應(yīng)用的流程，確保業(yè)務(wù)流程的關(guān)鍵流程和路徑是可控的，同時SOP也能夠幫助LLM獲取足夠的信息。e.g.想象一下，我們要開發(fā)一個旅游AI助手，它在給你推薦旅行計劃前，得先知道你的預(yù)算、目的地和想?yún)⒂^的景點(diǎn)。我們希望通過SOP編排的方式，用一種有序的步驟安排，來確保這個助手能根據(jù)這些關(guān)鍵信息點(diǎn)，為你做出最合適的建議。

AI原生應(yīng)用的探索

第一階段：從Talk to DB（0.1版本）到 Talk to Data（0.4版本），我們嘗試讓所有人能用自然語言與數(shù)據(jù)交互。在V0.1中我們希望通過自然語言對DB數(shù)據(jù)的處理來完成業(yè)務(wù)邏輯，如取數(shù)、分析、AI/BI等等。在V0.4中，我們開始全面支持talk to data，以結(jié)構(gòu)化數(shù)據(jù)為核心，通過大語言模型實(shí)現(xiàn)自然語言與不同種類、不同來源的數(shù)據(jù)交互。盡管這個產(chǎn)品在能解決的問題上還有局限。

第二階段：Data-Driven Agent（0.5版本），在這期間業(yè)界有了非常多對于Agent的探討，我們開始支持以Agent為核心的構(gòu)建，Agent的靈活表達(dá)支持更多的場景。同時，2023年8月正式成立星辰智能社區(qū)，組織名Eosphoros-AI，由螞蟻集團(tuán)、京東、阿里、美團(tuán)、唯品會、騰訊以及學(xué)界多名優(yōu)秀的社區(qū)同學(xué)組成，希望能夠共同探索Data-Driven Agent為核心的應(yīng)用構(gòu)建。

第三階段：AI Native Data Apps（0.6版本），在社區(qū)的實(shí)踐中，我們發(fā)現(xiàn)了一些Agent無法解決的問題，如金融、工廠等嚴(yán)謹(jǐn)場景下，智能體的編排、決策往往不如人意。于是社區(qū)開始探索AI原生的數(shù)據(jù)為核心的應(yīng)用，以應(yīng)用為核心，支持通過AWEL的嚴(yán)格SOP設(shè)計，支持快速、構(gòu)建部署AI應(yīng)用，既可以是chatbot、也可以是一個和Java應(yīng)用互通的Service。通過DB-GPT和低代碼技術(shù)，使AI應(yīng)用的開發(fā)和控制更加高效。

DB-GPT通過以下方法解決AI應(yīng)用開發(fā)中的三大核心難題：

1.系統(tǒng)交互：Pugin&Tools打通傳統(tǒng)應(yīng)用和AI APP的橋梁，實(shí)現(xiàn)SOA應(yīng)用和AI應(yīng)用元數(shù)據(jù)的互通，協(xié)議的互通和轉(zhuǎn)化。

2.低代碼開發(fā)：通過低代碼AWEL進(jìn)行邏輯以及Agent嚴(yán)格模式編排，使AI應(yīng)用的開發(fā)迭代更加簡單高效。通過整合現(xiàn)有的工具和API，AWEL語言能夠高效管控并編排Agent的工作流程，同時提供了一系列強(qiáng)大的功能，如數(shù)據(jù)處理、RAG（檢索增強(qiáng)生成）和數(shù)據(jù)庫訪問等。此外，我們提供了一系列系統(tǒng)級Agents，以加速應(yīng)用構(gòu)建過程。其中，DATA Agents能夠理解自然語言指令，直接從數(shù)據(jù)湖或數(shù)據(jù)庫中檢索所需信息。GPT-Vis能夠根據(jù)Agent、LLM或者應(yīng)用的輸出自動構(gòu)建可視化組件，降低UI/可視化的研發(fā)成本。

3.數(shù)據(jù)處理：整個框架提供了RAG/LLM ETL工具、端到端的評估工具，幫助開發(fā)者更好的對數(shù)據(jù)進(jìn)行編程和迭代。

Agents是AI原生應(yīng)用構(gòu)建的核心。DB-GPT的Agents可以提供服務(wù)并能與多種系統(tǒng)兼容，具備全面功能性，覆蓋了從感知到?jīng)Q策到plugin，再到執(zhí)行的全流程。

插件支持三種模式：

• 嚴(yán)格模式：所有流程和關(guān)鍵點(diǎn)都是可控的，適合需要精確控制的應(yīng)用。
• 預(yù)編譯研究：適合有明確目標(biāo)和特定狀態(tài)空間的應(yīng)用，如螞蟻正在應(yīng)用的基礎(chǔ)設(shè)施助理Kevin，可以通過COT或TOT面向決策樹編排。
• 大模型協(xié)作ReAct：在目標(biāo)不明確或解釋發(fā)散的場景中，利用大模型的協(xié)作能力，如財報或年報的調(diào)研。

對于AWEL語言來說，我們其實(shí)關(guān)注兩點(diǎn)，一點(diǎn)是要支持嚴(yán)格模式，不光整個流程是可以通過嚴(yán)格模式來編排的，所有中間的通信協(xié)議也可以通過AWEL語言來編排。另外一點(diǎn)靈活應(yīng)用，我們希望AWEL兼容大數(shù)據(jù)領(lǐng)域主流的框架（如airflow），能夠讓現(xiàn)在已有的ETL的流程比較簡單的接入到AWEL的流程，方便實(shí)現(xiàn)從數(shù)據(jù)處理到RAG服務(wù)的端到端的流程。

此外，在構(gòu)建原生應(yīng)用的時候，我們提供了很多系統(tǒng)的Agent，這些Agent幫大家可以快速地構(gòu)建系統(tǒng)應(yīng)用。如GPT-Vis Agent，它是可以通過自然語言去動態(tài)適配應(yīng)該輸出什么樣的格式。比如你輸出的文本里有一個表格樣式的數(shù)據(jù)，它可以幫你輸出一個表格。如果有些數(shù)據(jù)更適合用餅圖或者折線圖，它都自動幫你做適配。同時它支持了非常多的可視化組件。

另外一個Agent是我們一直持續(xù)打磨的，叫Data Agent，Data Agent支持大部分的數(shù)據(jù)庫、湖倉引擎等。Agent對于數(shù)據(jù)本身的理解是至關(guān)重要的，例如一個表格的意義、一個列的意義，甚至是一個常量的意義，大語言模型需要“數(shù)據(jù)元信息的ETL”來實(shí)現(xiàn)這一過程，后續(xù)我們也會考慮如何在DB-GPT的數(shù)據(jù)處理框架里和社區(qū)一起共建這部分的能力。

RAG & 數(shù)據(jù)引擎：

• RAG作為AI原生框架里最核心的模塊，可以作為算子，也可以作為Agent，方便構(gòu)建AI應(yīng)用或者Agent。為了實(shí)現(xiàn)更好的RAG效果，高質(zhì)量數(shù)據(jù)處理的仍然是最先考慮的因素，DB-GPT支持基于文本Trunk、圖譜的數(shù)據(jù)加工和處理，用戶可以根據(jù)實(shí)際情況進(jìn)行定制，在構(gòu)建我們的RAG應(yīng)用之前一個比較關(guān)鍵的事情是準(zhǔn)備評測和驗(yàn)證的數(shù)據(jù)集。
• 很多場景下單獨(dú)用文本向量做召回準(zhǔn)確度是不夠的，現(xiàn)在比較流行的一種方式，是通過知識圖譜的方式去做檢索或者召回。我理解大模型對世界的理解不應(yīng)該僅僅是一個strings，應(yīng)該是一個具體的thing（事物）。embedding是不可控、不可知的，但圖譜這種形式其實(shí)是比較可控，且可編輯的。因此，我們在DB-GPT上增加了整個基于圖的RAG的能力，今天我們做了一個測試，在GraphRAG同樣場景、同樣準(zhǔn)確性的情況下，會比微軟的GraphRAG少50%的token。

我們認(rèn)為向量檢索是后續(xù)提升RAG性能和效果的重要支柱。同時也為了能支持大規(guī)模圖、文本、圖片、音視頻等存儲上的向量索引，我們研發(fā)了VSAG向量索引庫提供高性能的向量存儲、檢索、實(shí)時更新等能力，幫助計算和存儲引擎實(shí)現(xiàn)vector as an index，同時也可以作為獨(dú)立的組件支持RAG應(yīng)用中的向量檢索，無論是圖片還是文本。

VSAG向量庫正式開源

我們高興地宣布，VSAG向量庫現(xiàn)在已經(jīng)正式開源了。這是一個強(qiáng)大的工具，能夠處理達(dá)到百億級別的數(shù)據(jù)索引，特別是圖片和音視頻這類多媒體內(nèi)容。VSAG不僅能夠輕松處理大規(guī)模數(shù)據(jù)，通過融合多種分類算法以及基于線性分類器的剪枝技術(shù)，顯著提高了檢索效率和減少了計算量，性能提升最高達(dá)90%。后續(xù)會更加廣泛的支持業(yè)界的RAG方案，如LLama Index、LangChain等等。

螞蟻及社區(qū)應(yīng)用實(shí)踐

在螞蟻集團(tuán)，我們采用了兩種智能輔助模式：Copilots和Agents。

Copilots作為一個編程輔助工具，能夠給開發(fā)者提供智能的建議和風(fēng)險評估，幫助編寫更安全的代碼，提升BI、分析、ETL等工作的效率。Agents有很多有意思的應(yīng)用，例如它們能夠主動分析并預(yù)測潛在的系統(tǒng)問題，提前防范系統(tǒng)故障。

我們還提供了一個用戶友好的自助分析工具，用戶可以用自然語言提出需求，比如詢問如何快速到達(dá)某個地點(diǎn)，工具會自動生成詳細(xì)的分析。

DB-GPT應(yīng)用框架目前已在政企、出行、新零售、金融、互娛領(lǐng)域有廣泛引用，典型的解決方案范式如數(shù)據(jù)助手、智能管家和AI/BI、Copilots等多種應(yīng)用場景的創(chuàng)新。

應(yīng)用案例廣泛分布千行百業(yè)：通過DB-GPT構(gòu)建的水務(wù)智能管家、水務(wù)行業(yè)通用知識庫、水務(wù)企業(yè)專有知識庫，方便普通用戶通過QA問答獲取水務(wù)行業(yè)的專業(yè)知識，并提供客戶服務(wù)、管網(wǎng)運(yùn)行、水廠生產(chǎn)等各種應(yīng)用場景的數(shù)據(jù)查詢和數(shù)據(jù)分析能力。同時，在出行領(lǐng)域，某大型機(jī)場集團(tuán)通過DB-GPT搭建的人資管理助手、人資招聘助手、知識庫問答等，通過自動化技術(shù)，覆蓋從人力資源管理到報告生成的各個業(yè)務(wù)環(huán)節(jié)。另外，DB-GPT在京東、唯品會等頭部互聯(lián)網(wǎng)公司均有應(yīng)用。

未來展望：構(gòu)建全面的數(shù)據(jù)智能應(yīng)用生態(tài)

今天，我們正式宣布發(fā)布 DB-GBT 0.6的版本，該版本支持AI原生應(yīng)用的全生命周期管理，能夠?qū)崿F(xiàn)完整的GraphRAG能力支持，同時在Data Agent方面支持Graph，Text2GQL等能力。同時，我們基于GPT-Vis構(gòu)建了應(yīng)用生態(tài)倉庫，任何開發(fā)者都可以在這個倉庫里共享各自的應(yīng)用。未來，社區(qū)還計劃發(fā)布面向數(shù)據(jù)基礎(chǔ)設(shè)施的新應(yīng)用，以及面向ChatBI的全新應(yīng)用。

星辰智能社區(qū)目標(biāo)是構(gòu)建全面的數(shù)據(jù)智能應(yīng)用生態(tài)，覆蓋從數(shù)據(jù)收集、ETL處理、RAG技術(shù)到原生應(yīng)用框架的完整生命周期。我們始終與生態(tài)伙伴、社區(qū)伙伴緊密合作，從去年開始開源DB-GPT，到最近開源了RAG的核心向量索引庫VSAG，以及孵化出更多像GPT-Vis的優(yōu)秀工具。未來，我們還計劃與更多產(chǎn)品、社區(qū)開放合作，讓基于AI構(gòu)建原生應(yīng)用更簡單更便捷。