無論是“海納百川，有容乃大”的開源環(huán)境，還是“群英薈萃，百家爭鳴”的技術(shù)氛圍，屬于國產(chǎn)數(shù)據(jù)庫的時代大幕已經(jīng)在每一位開發(fā)者的眼前緩緩展開。

近期，【國產(chǎn)數(shù)據(jù)庫·共話未來趨勢】線下沙龍在西湖畔落下帷幕，國產(chǎn)數(shù)據(jù)庫領(lǐng)域資深專家匯聚一堂，共同交流探討數(shù)據(jù)庫技術(shù)。本次內(nèi)容涵蓋 AI 時代的向量數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫與 Serverless 等前沿技術(shù)分享，以及如何在 K8s上管理數(shù)據(jù)基礎(chǔ)設(shè)施等議題。

Zilliz 合伙人和技術(shù)總監(jiān) 欒小凡 帶來《當 AI-Native 遇到 Cloud-Native，向量數(shù)據(jù)庫到底應(yīng)該如何做》，分享 Zilliz 在 AI 時代做了哪些事情，以及從 Zilliz 的角度出發(fā)怎么看待向量數(shù)據(jù)庫或者非傳統(tǒng)數(shù)據(jù)庫未來的發(fā)展。

欒小凡首先提出， AI-Native 時代的到來對于數(shù)據(jù)庫提出了更多要求，相應(yīng)地開發(fā)者對其需求也發(fā)生了變化，具體包括以下四個方面：

非結(jié)構(gòu)化數(shù)據(jù)理解困難。非結(jié)構(gòu)化數(shù)據(jù)（長文本、視頻、圖片、音頻、生成分子式、推薦信息）無法通過簡單的機器學(xué)習(xí)算法進行 Zero Shot 的理解，大模型的出現(xiàn)給非結(jié)構(gòu)化數(shù)據(jù)理解和處理提供了新的思路，通過更加通用的方式處理非結(jié)構(gòu)化數(shù)據(jù)成為了可能。

語意正確。AIGC 時代，查詢不再是準確 100% 的“正確性”，相關(guān)和上下文更加重要，基于向量檢索的方案成為主流。

數(shù)據(jù)體量龐大。未來超過80% 的數(shù)據(jù)屬于非結(jié)構(gòu)化數(shù)據(jù)，AIGC 時代數(shù)據(jù)的生成速度遠超過去，系統(tǒng)擴展性性能至關(guān)重要。

缺乏工具。雖然傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)處理并不簡單，但由于 ETL、數(shù)據(jù)庫、數(shù)據(jù)倉庫等工具在過去 30 年的發(fā)展，已經(jīng)變得相對成熟。然而，非結(jié)構(gòu)化數(shù)據(jù)處理的工具鏈才剛剛開始構(gòu)建，這就使得結(jié)構(gòu)化數(shù)據(jù)的處理變得更具挑戰(zhàn)性（相較結(jié)構(gòu)化數(shù)據(jù)）。

隨后，欒小凡深度剖析了向量數(shù)據(jù)庫在 AI 時代的變化過程。AI 1.0 時代，向量數(shù)據(jù)已經(jīng)被廣泛應(yīng)用于機器學(xué)習(xí)應(yīng)用中，包括推薦、搜索、翻譯、圖搜、風(fēng)控、安防等；大模型時代的到來，使得向量數(shù)據(jù)涌現(xiàn)出維度更高、體量更大、用途更廣泛的特征。在此過程中，全球領(lǐng)先的向量數(shù)據(jù)庫 Milvus 也經(jīng)歷從了 1.0 架構(gòu)向 2.0 架構(gòu)演進的過程。

提及當時重新搭建 Milvus 2.0 的決定，欒小凡感慨頗深。彼時，隨著用戶數(shù)據(jù)體量的增長，老的架構(gòu)擴展性逐漸成為瓶頸；其次，隨著 AI+大模型的快速發(fā)展，對向量數(shù)據(jù)庫的功能要求越來越高，需要更加靈活的數(shù)據(jù)模型和 API；K8s 和云原生逐漸成熟，搭建分布式系統(tǒng)的難度逐漸降低……多種因素加持下，Milvus——這個集結(jié)了諸多優(yōu)秀技術(shù)人的團隊堅持向【做出世界最先進向量數(shù)據(jù)庫系統(tǒng)】的理想靠近。最終，一個擁有 AI Native + Cloud Native 的 Milvus 2.0 誕生。

Milvus 2.0 架構(gòu)

不過，欒小凡提到，向量數(shù)據(jù)庫絕不僅僅是用來進行簡單的向量檢索，要想真正提升開發(fā)者的開發(fā)效率和使用成本，需要系統(tǒng)開發(fā)者深入理解硬件、存儲、數(shù)據(jù)庫、AI、高性能計算、分布式系統(tǒng)、編譯原理、云原生等方方面面，以確保其穩(wěn)定性、性能和易用性。一個理想的向量數(shù)據(jù)庫應(yīng)該具備以下特性：數(shù)據(jù)持久化和低成本存儲、高性能查詢、數(shù)據(jù)分布、易于使用、穩(wěn)定可用。向量數(shù)據(jù)庫是典型的 Big Data Serving 系統(tǒng)，可運維可觀測、智能化。