經(jīng)過多年在混合云環(huán)境下的耕耘，云杉網(wǎng)絡(luò)自主研發(fā)的DeepFlow可觀測性平臺得到了多家企業(yè)客戶的認(rèn)可，并在金融、電信、能源等行業(yè)得到了廣泛的應(yīng)用。今天正式宣布開源DeepFlow核心的可觀測性數(shù)據(jù)流引擎，希望將高度自動化的可觀測性能力、自動追蹤和自動標(biāo)簽?zāi)芰﹂_放到整個行業(yè)，幫助企業(yè)客戶優(yōu)化云原生運(yùn)維工作運(yùn)行的效率、穩(wěn)定性和計(jì)算成本。

一、為什么需要可觀測性？

大量云原生技術(shù)的采用，導(dǎo)致IT系統(tǒng)越來越復(fù)雜，快速排障變得越來越難。傳統(tǒng)的應(yīng)用監(jiān)控（APM）和網(wǎng)絡(luò)監(jiān)控（NPM）工具，可以發(fā)現(xiàn)某個函數(shù)調(diào)用失敗或者某個鏈路性能下降，卻難以在復(fù)雜的云環(huán)境下找到故障發(fā)生的根本原因。Epsagon的一項(xiàng)調(diào)查表明，應(yīng)用開發(fā)者有高達(dá)30%的時(shí)間花在可觀測性能力建設(shè)上，另有20%的時(shí)間花在代碼Debug上，而Debug花費(fèi)的大部分時(shí)間又恰好是可觀測性建設(shè)不足導(dǎo)致。

可觀測性建設(shè)的難點(diǎn)包括兩個方面：

埋點(diǎn)插碼難

開發(fā)者需要考慮為每一種語言、每一種框架進(jìn)行埋點(diǎn)和插碼。一些公司的業(yè)務(wù)開發(fā)團(tuán)隊(duì)很幸運(yùn)，會有類似IDP（Internal Developer Platform）的團(tuán)隊(duì)負(fù)責(zé)整個公司的可觀測性能力建設(shè)，提供埋點(diǎn)和插碼的SDK。但大部分語言缺乏類似JVM的字節(jié)碼注入機(jī)制，IDP團(tuán)隊(duì)每一次的SDK升級都需要業(yè)務(wù)開發(fā)團(tuán)隊(duì)同步發(fā)版、上線。

開發(fā)者需要考慮在微服務(wù)之間如何傳遞追蹤上下文。同樣需要為每一種語言、每一種框架進(jìn)行埋點(diǎn)和插碼，另一方面像MQTT 3.X、MySQL、Redis等缺乏Header Option字段的協(xié)議經(jīng)常成為追蹤的噩夢。

開發(fā)者需要為每一個指標(biāo)、追蹤、日志數(shù)據(jù)注入大量的屬性標(biāo)簽，以便于后續(xù)能夠?qū)τ^測數(shù)據(jù)進(jìn)行靈活的過濾、分組及關(guān)聯(lián)。然而這些標(biāo)簽已經(jīng)存在于K8s apiserver、服務(wù)注冊中心、應(yīng)用協(xié)議Header中，開發(fā)者不得不重復(fù)這份工作將他們搬遷到觀測數(shù)據(jù)中。平臺運(yùn)維難

開發(fā)者需要考慮如何避免指標(biāo)數(shù)據(jù)中攜帶高基標(biāo)簽，有些時(shí)候因?yàn)楹蠖薚SDB（Time Series Database）性能的不足，無奈將高基Tag字段轉(zhuǎn)換為Metrics，甚至丟棄；限制觀測數(shù)據(jù)的猖獗增長，在復(fù)雜的采樣策略之間權(quán)衡選擇以降低數(shù)據(jù)量，但通常會在某次問題排查時(shí)發(fā)現(xiàn)數(shù)據(jù)不全而無法進(jìn)行；維護(hù)復(fù)雜的可觀測平臺，他們通常有著負(fù)載均衡、消息隊(duì)列依賴。隨著復(fù)雜度的增長，可觀測性平臺本身的可觀測性能力同樣也成為問題。

二、DeepFlow可觀測性平臺

云杉網(wǎng)絡(luò)在SDN及云網(wǎng)絡(luò)領(lǐng)域深耕近十年，逐步從SDN核心技術(shù)走向IT系統(tǒng)的自動化和可觀測性，率先推出了DeepFlow云原生可觀測性平臺，面向混合云、容器、微服務(wù)的全棧虛擬化環(huán)境，實(shí)現(xiàn)對網(wǎng)絡(luò)、系統(tǒng)、應(yīng)用的全棧指標(biāo)和全鏈路追蹤，結(jié)合云資源知識圖譜實(shí)現(xiàn)100+維度指標(biāo)數(shù)據(jù)的動態(tài)標(biāo)注，擁有零侵?jǐn)_部署的特性。獲得眾多大型銀行的青睞和認(rèn)可，成為商用的云原生監(jiān)控產(chǎn)品，并在近百家重點(diǎn)行業(yè)的企業(yè)云數(shù)據(jù)中心得到廣泛應(yīng)用。

隨著云時(shí)代為了讓業(yè)務(wù)運(yùn)行更加穩(wěn)定、業(yè)務(wù)創(chuàng)新更加高效，開發(fā)、運(yùn)維、SRE團(tuán)隊(duì)對可觀測性的需求空前高漲，但不同的團(tuán)隊(duì)所選擇的可觀測性方案和實(shí)踐路徑又各有不同，從應(yīng)用開發(fā)團(tuán)隊(duì)看來可觀測性建設(shè)已成為一項(xiàng)必要工作。

為幫助大家有效應(yīng)對以上困境，正式將DeepFlow核心的可觀測性數(shù)據(jù)流引擎開源，這一個為云原生應(yīng)用開發(fā)者建設(shè)可觀測性能力而量身打造的全棧、全鏈路、高性能數(shù)據(jù)引擎，能夠顯著降低開發(fā)者的埋點(diǎn)、插碼、維護(hù)負(fù)擔(dān)，通過AutoTagging機(jī)制打破數(shù)據(jù)孤島，解鎖數(shù)據(jù)下鉆能力；基于創(chuàng)新的高性能SmartEncoding機(jī)制告別高基煩惱和資源焦慮；利用DeepFlow的可編程能力和開放接口，開發(fā)者可以快速將其融入到自己的可觀測性技術(shù)棧中。

三、開源的DeepFlow（原名：MetaFlow）有什么優(yōu)勢？

全棧

DeepFlow開源版使用AF_PACKET、BPF、eBPF技術(shù)實(shí)現(xiàn)的AutoMetrics機(jī)制，可以自動采集任何應(yīng)用的RED性能指標(biāo)，精細(xì)至每一次應(yīng)用調(diào)用，覆蓋從應(yīng)用到基礎(chǔ)設(shè)施的所有軟件技術(shù)棧。在云原生環(huán)境中，DeepFlow開源版 的AutoTagging機(jī)制自動發(fā)現(xiàn)服務(wù)、實(shí)例、API的屬性信息，自動為每個觀測數(shù)據(jù)注入豐富的標(biāo)簽，從而消除數(shù)據(jù)孤島，并釋放數(shù)據(jù)的下鉆能力。

全鏈路

DeepFlow開源版使用eBPF技術(shù)創(chuàng)新的實(shí)現(xiàn)了AutoTracing機(jī)制，在云原生環(huán)境中自動追蹤任意微服務(wù)、基礎(chǔ)設(shè)施服務(wù)的分布式調(diào)用鏈。在此基礎(chǔ)上，通過與OpenTelemetry的數(shù)據(jù)集成，將eBPF Event與OTel Span自動關(guān)聯(lián)，實(shí)現(xiàn)完整的全棧、全鏈路追蹤，讓追蹤無盲點(diǎn)。

高性能

DeepFlow開源版創(chuàng)新的SmartEncoding標(biāo)簽注入機(jī)制，能夠?qū)?biāo)簽數(shù)據(jù)的存儲性能提升10倍，從此告別高基標(biāo)簽和數(shù)據(jù)采樣焦慮。使用Rust實(shí)現(xiàn)Agent，擁有極致處理性能的同時(shí)保證內(nèi)存安全。使用Golang實(shí)現(xiàn)Server，重寫了Golang的map、pool基礎(chǔ)庫，數(shù)據(jù)查詢和內(nèi)存申請均有近10倍的性能提升。

可編程

DeepFlow開源版目前支持了對HTTP、HTTPS、Dubbo、MySQL、Redis、Kafka、MQTT、DNS協(xié)議的解析，并將保持迭代增加更多的應(yīng)用協(xié)議支持。除此之外，DeepFlow開源版計(jì)劃基于WASM技術(shù)提供了可編程接口，讓開發(fā)者可以快速具備對私有協(xié)議的解析能力，并可用于構(gòu)建特定場景的業(yè)務(wù)分析能力，例如5GC信令分析、金融交易分析、車機(jī)通信分析等。

開放接口

DeepFlow開源版支持接收廣泛的可觀測數(shù)據(jù)源，并利用AutoTagging和SmartEncoding提供高性能、統(tǒng)一的標(biāo)簽注入能力。支持插件式的數(shù)據(jù)庫接口，開發(fā)者可自由增加和替換最合適的數(shù)據(jù)庫。向上為所有觀測數(shù)據(jù)提供統(tǒng)一的標(biāo)準(zhǔn)SQL查詢能力，便于使用者快速集成到自己的可觀測性平臺中，也提供了在此基礎(chǔ)上繼續(xù)開發(fā)方言QL的可能性。

易于維護(hù)

DeepFlow開源版僅由Agent、Server兩個組件構(gòu)成，將復(fù)雜度隱藏在進(jìn)程內(nèi)部，將維護(hù)難度降低至極致。DeepFlow Server集群可對多資源池、異構(gòu)資源池、跨Region/AZ資源池中的Agent進(jìn)行統(tǒng)一管理，且無需依賴任何外部組件即可實(shí)現(xiàn)水平擴(kuò)展與負(fù)載均衡。

四、為什么要開源？

建設(shè)可觀測性已經(jīng)成為云原生應(yīng)用開發(fā)者的必要工作，然而現(xiàn)有的解決方案正悄無聲息的消耗著開發(fā)者越來越多的時(shí)間。開發(fā)者需要考慮如何為新的框架插入追蹤代碼？如何為新的語言增加打樁點(diǎn)？如何為每條日志和指標(biāo)注入上百個標(biāo)簽？如何維護(hù)越來越復(fù)雜的可觀測性數(shù)據(jù)平臺？這些工作嚴(yán)重?cái)D占了業(yè)務(wù)開發(fā)工作的時(shí)間。

開源DeepFlow是云杉網(wǎng)絡(luò)送給新時(shí)代開發(fā)人員、運(yùn)維人員的一份禮物。希望開發(fā)人員能有更多的時(shí)間聚焦在業(yè)務(wù)上，將可觀測性更多的交給自動化的DeepFlow，讓自己的代碼更清晰整潔。通過DeepFlow，希望讓觀測更自動，讓開發(fā)者更自由。

五、擁抱DeepFlow！

你是否正在規(guī)劃或者實(shí)施云原生可觀測性、提升網(wǎng)絡(luò)故障定位效率的項(xiàng)目？

你是否正在頭痛數(shù)據(jù)孤島、資源開銷的問題？Metrics、Tracing、Logging三類數(shù)據(jù)無法關(guān)聯(lián)、無法流通，使用困難？

你是否正在經(jīng)歷追蹤和日志數(shù)據(jù)體量大，經(jīng)常需要削足適履，做采樣抹掉高基數(shù)字段？

非常歡迎你通過GitHub/微信 的方式聯(lián)系我們體驗(yàn)DeepFlow：

官網(wǎng)鏈接：https://deepflow.yunshan.net/community.html

GitHub地址：https://github.com/deepflowys/deepflow

DeepFlow文檔：https://deepflow.yunshan.net/docs/about/overview/