USDP是優(yōu)刻得推出的智能化、輕量級(jí)大數(shù)據(jù)基礎(chǔ)服務(wù)平臺(tái)，可幫助企業(yè)用戶快速構(gòu)建大數(shù)據(jù)分析處理和服務(wù)管理運(yùn)維的能力。

在過(guò)去的半年，優(yōu)刻得積極傾聽并收集老客戶的反饋和新客戶的試用意見，這讓我們更加理解用戶應(yīng)用需求和更好地支持客戶業(yè)務(wù)。USDP不斷進(jìn)行功能迭代，近日迎來(lái)了全新的v3.2版本。新版本提供更加豐富的管理功能、擴(kuò)展了更為廣泛的生態(tài)技術(shù)，通過(guò)全面便捷的工具和服務(wù)，幫助企業(yè)用戶更高效地進(jìn)行數(shù)據(jù)管理和分析，進(jìn)一步提升平臺(tái)體驗(yàn)和生產(chǎn)管理效率。

USDP v3.2 新增以下核心能力：

1）集群計(jì)算任務(wù)實(shí)時(shí)監(jiān)控，提高整體計(jì)算效率

支持對(duì) YARN 和 Impala 算力集群中運(yùn)行的應(yīng)用任務(wù)進(jìn)行實(shí)時(shí)監(jiān)控。用戶可通過(guò)監(jiān)控便捷地查看任務(wù)所屬類型、資源池、執(zhí)行用戶、資源消耗、運(yùn)行時(shí)長(zhǎng)以及累計(jì)占用 CPU 和內(nèi)存資源等信息。此外，還可以查閱集群任務(wù)的執(zhí)行歷史，為管理員提供了更全面的整個(gè)系統(tǒng)監(jiān)控能力。實(shí)際上，任何需要對(duì)計(jì)算資源進(jìn)行動(dòng)態(tài)分配和管理的大數(shù)據(jù)環(huán)境中，算力集群任務(wù)監(jiān)控均發(fā)揮著關(guān)鍵作用。例如在批處理作業(yè)性能優(yōu)化、實(shí)時(shí)流處理資源管理等使用場(chǎng)景中，集群計(jì)算任務(wù)監(jiān)控十分重要。

批處理作業(yè)場(chǎng)景中，企業(yè)運(yùn)行了大量的批處理作業(yè)（數(shù)據(jù)清洗、轉(zhuǎn)換和分析等），通過(guò)監(jiān)控可以實(shí)時(shí)追蹤每個(gè)作業(yè)的執(zhí)行情況，包括資源利用、任務(wù)進(jìn)度、任務(wù)執(zhí)行時(shí)間等；可以發(fā)現(xiàn)哪些作業(yè)占用了大量資源、哪些作業(yè)運(yùn)行較慢，進(jìn)而進(jìn)行針對(duì)性的優(yōu)化資源分配，提高整體計(jì)算效率。比如通過(guò)調(diào)整任務(wù)的優(yōu)先級(jí)、調(diào)度策略，可以更合理地利用計(jì)算資源，減少等待時(shí)間。

實(shí)時(shí)流處理場(chǎng)景下，用戶基于Flink或Spark Streaming的應(yīng)用，任務(wù)的資源需求可能會(huì)在短時(shí)間內(nèi)快速波動(dòng)。對(duì)于需要快速響應(yīng)和實(shí)時(shí)計(jì)算的場(chǎng)景，任務(wù)監(jiān)控可以實(shí)時(shí)了解每個(gè)流處理任務(wù)的資源占用情況，及時(shí)發(fā)現(xiàn)異常和瓶頸。當(dāng)某個(gè)任務(wù)突然消耗了過(guò)多的內(nèi)存，可能是由于數(shù)據(jù)傾斜或其他問(wèn)題引起的，監(jiān)控可以幫助迅速定位問(wèn)題并采取相應(yīng)的調(diào)整措施，以保證實(shí)時(shí)流處理系統(tǒng)的穩(wěn)定性和性能。

2）升級(jí)集群日志服務(wù)，企業(yè)智能監(jiān)控大數(shù)據(jù)環(huán)境

日志服務(wù)通過(guò)收集、存儲(chǔ)和分析大量的日志數(shù)據(jù)，可對(duì)整個(gè)集群所有運(yùn)行的大數(shù)據(jù)服務(wù)組件的日志進(jìn)行查看。用戶可以根據(jù)需要，按照主機(jī)名、服務(wù)組件、實(shí)例、日志等級(jí)、自定義時(shí)間區(qū)間、日志內(nèi)容關(guān)鍵字或 LogSql 等方式，靈活檢索集群的日志數(shù)據(jù)。日志服務(wù)能夠提供豐富的信息和洞察，在故障問(wèn)題排查診斷、性能監(jiān)控優(yōu)化、安全審計(jì)監(jiān)控等場(chǎng)景中很有用，可以很好地幫助企業(yè)提高系統(tǒng)穩(wěn)定性、優(yōu)化性能，對(duì)安全性、降低成本等提供重要支撐。

在大數(shù)據(jù)管理平臺(tái)持續(xù)維護(hù)中，通常需要通過(guò)日志服務(wù)排查定位服務(wù)組件的一些問(wèn)題，包括服務(wù)日志錯(cuò)誤與錯(cuò)誤監(jiān)控、服務(wù)異常分析、服務(wù)性能監(jiān)控優(yōu)化、用戶行為分析等，集中式的查詢分析日志，極大地加速了分析問(wèn)題、定位問(wèn)題、處理問(wèn)題的效率。

在大數(shù)據(jù)服務(wù)過(guò)程中，可能會(huì)面臨不同級(jí)別的警告和錯(cuò)誤，例如資源不足、連接超時(shí)等問(wèn)題，日志服務(wù)可以實(shí)時(shí)采集服務(wù)產(chǎn)生的警告和錯(cuò)誤日志，進(jìn)行分類和分級(jí)，幫助團(tuán)隊(duì)快速發(fā)現(xiàn)潛在問(wèn)題并采取及時(shí)措施，保障服務(wù)的穩(wěn)定性。服務(wù)也可能因?yàn)橐恍┪粗虍惓Ｍ顺?，并因此?dǎo)致服務(wù)中斷、數(shù)據(jù)處理異常。基于日志服務(wù)可以實(shí)時(shí)追蹤服務(wù)的異常退出情況、記錄退出的時(shí)間、原因以及可能造成的影響。通過(guò)分析這些異常退出日志，大數(shù)據(jù)運(yùn)維團(tuán)隊(duì)可以快速識(shí)別問(wèn)題并改進(jìn)服務(wù)，提高系統(tǒng)的可靠性。

3）負(fù)載均衡管理工具，助力大數(shù)據(jù)平臺(tái)高效運(yùn)行

支持基于 Nginx + Keepalived 實(shí)現(xiàn)四層/七層代理負(fù)載均衡配置管理服務(wù)。該功能提供一致性哈希和源地址哈希等六種負(fù)載均衡算法，確保流量能夠被有效地分散到多個(gè)服務(wù)器上；用戶可以根據(jù)實(shí)際需求，按照端口自定義負(fù)載配置。大數(shù)據(jù)分析計(jì)算任務(wù)涉及大量的數(shù)據(jù)傳輸和計(jì)算資源消耗，通過(guò)負(fù)載均衡可以避免單一節(jié)點(diǎn)負(fù)載過(guò)重的情況，提升集群資源整體利用率、為整個(gè)集群性能提供保障；此外，負(fù)載均衡可以幫助實(shí)現(xiàn)大數(shù)據(jù)服務(wù)請(qǐng)求吞吐的靈活擴(kuò)展，確保大數(shù)據(jù)服務(wù)具備高可用性和容錯(cuò)性。通過(guò)負(fù)載均衡器，用戶可以集中處理對(duì)外的請(qǐng)求，提高安全性。

某客戶的大數(shù)據(jù)應(yīng)用采用了多層次服務(wù)架構(gòu)，包括基于HUE服務(wù)的Web業(yè)務(wù)數(shù)據(jù)開發(fā)和基于 IMPALA的數(shù)據(jù)查詢分析服務(wù)。這些服務(wù)部署在集群中不同的服務(wù)器上，每種服務(wù)都有獨(dú)特的資源需求。為了更好地管理和優(yōu)化這些服務(wù)的性能，優(yōu)刻得為用戶推薦了負(fù)載均衡器的方案。

通過(guò)負(fù)載均衡器，業(yè)務(wù)數(shù)據(jù)開發(fā)用戶的請(qǐng)求被分發(fā)到不同的 HUE 服務(wù)器上，使每個(gè)用戶的Session 得到保持，此外，這種方法還為每個(gè)用戶提供了穩(wěn)定的數(shù)據(jù)處理能力和帶寬。對(duì)于IMPALA數(shù)據(jù)查詢分析服務(wù)需求，負(fù)載均衡器確保了每個(gè)任務(wù)可以獲得足夠的計(jì)算資源，保證了查詢分析的性能和效率。

4）技術(shù)生態(tài)再擴(kuò)展

USDP目前已支持30+豐富的生態(tài)服務(wù)技術(shù)，全面覆蓋數(shù)據(jù)分析需求場(chǎng)景。新版本升級(jí)擴(kuò)展3大技術(shù)：

●Alluxio：統(tǒng)一的數(shù)據(jù)編排與數(shù)據(jù)緩存加速層

為數(shù)據(jù)分析和AI提供統(tǒng)一的數(shù)據(jù)訪問(wèn)接口，上層計(jì)算框架（如Spark、Flink等）只需要連接Alluxio即可讀取和寫入存儲(chǔ)在底層任意存儲(chǔ)系統(tǒng)中的數(shù)據(jù)；Alluxio支持?jǐn)?shù)據(jù)策略制定，以及數(shù)據(jù)緩存和預(yù)取，提供完整的數(shù)據(jù)呈現(xiàn)、加速數(shù)據(jù)訪問(wèn)；通過(guò)統(tǒng)一的命名空間，實(shí)現(xiàn)跨存儲(chǔ)平臺(tái)、跨數(shù)據(jù)中心等異構(gòu)體系敏捷數(shù)據(jù)集成和編排能力

●StreamPark：一個(gè)簡(jiǎn)化流處理應(yīng)用程序開發(fā)構(gòu)建和管理框架。

StreamPark是大數(shù)據(jù)管理平臺(tái)擴(kuò)展的新服務(wù)組件，為大數(shù)據(jù)技術(shù)生態(tài)提供了實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)和流批一體的一站式解決方案，簡(jiǎn)化了Flink任務(wù)的日常操作和維護(hù)。StreamPark綜合了實(shí)時(shí)數(shù)據(jù)平臺(tái)和流式數(shù)倉(cāng)平臺(tái)的功能，支持低代碼的Flink&Spark任務(wù)托管，融合了諸多最佳實(shí)踐。此外，它還支持單點(diǎn)登錄和不同身份驗(yàn)證系統(tǒng)的集成，提供了集中式的身份驗(yàn)證機(jī)制，增強(qiáng)了可定制性和靈活性。

●Knox：一個(gè)開源的安全應(yīng)用程序網(wǎng)關(guān)

Knox是大數(shù)據(jù)安全代理的開源項(xiàng)目，提供全面的安全和訪問(wèn)控制方案。作為安全代理，它保護(hù)集群資源，支持單點(diǎn)登錄和身份驗(yàn)證集成，提高用戶體驗(yàn)和系統(tǒng)管理效率；而在 API 網(wǎng)關(guān)層面，它提供RESTful API和協(xié)議轉(zhuǎn)換功能，簡(jiǎn)化應(yīng)用程序開發(fā)和維護(hù)；同時(shí)還支持SSL加密和數(shù)據(jù)傳輸安全，保護(hù)數(shù)據(jù)在傳輸過(guò)程中的機(jī)密性和完整性；Web操作界面和管理控制臺(tái)方便管理員配置和監(jiān)控安全策略、用戶權(quán)限和集群訪問(wèn)情況；支持審計(jì)、日志記錄和多租戶配置，滿足不同安全需求和環(huán)境。

5）USDP信創(chuàng)版，解鎖國(guó)產(chǎn)大數(shù)據(jù)時(shí)代

USDP v3.2專業(yè)版、企業(yè)版，UDH（優(yōu)刻得大數(shù)據(jù)組件發(fā)行套件） v3.2均已全面完成與國(guó)產(chǎn)芯片、操作系統(tǒng)的兼容適配，企業(yè)大數(shù)據(jù)生態(tài)服務(wù)可在各信創(chuàng)平臺(tái)上良好運(yùn)行，讓數(shù)據(jù)流暢運(yùn)轉(zhuǎn)。截止當(dāng)前，USDP已取得包括鯤鵬、飛騰、海光在內(nèi)的多家CPU廠商以及銀河麒麟等OS廠商的互認(rèn)證書。

這都標(biāo)志著USDP v3.2 已具備基于信創(chuàng)環(huán)境構(gòu)建大規(guī)模大數(shù)據(jù)基礎(chǔ)平臺(tái)的能力，能夠?yàn)榭蛻籼峁└臃€(wěn)定、可靠的大數(shù)據(jù)服務(wù)。共享信創(chuàng)機(jī)遇，促進(jìn)合作共贏。

6）產(chǎn)品視覺(jué)升級(jí)，嶄新 UI 控制臺(tái)登場(chǎng)

在USDP v3.2版本中，為用戶帶來(lái)了全新的控制臺(tái)視覺(jué)UI提升，并對(duì)用戶體驗(yàn)和功能性進(jìn)行了全方位優(yōu)化。全新的UI 控制臺(tái)以清新、直觀的設(shè)計(jì)風(fēng)格為特色，每個(gè)元素都經(jīng)過(guò)精心設(shè)計(jì)，為用戶提供更便捷、更直觀、功能更強(qiáng)大的大數(shù)據(jù)管理平臺(tái)。

USDP新版本的UI控制臺(tái)更加注重易用性。新布局使得每個(gè)功能入口更為清晰，用戶可以更迅速地找到所需的功能。交互設(shè)計(jì)方面，新版本優(yōu)化了各類操作流程，簡(jiǎn)化了復(fù)雜任務(wù)的執(zhí)行步驟，讓用戶能夠更輕松地完成各項(xiàng)操作。

此外，控制臺(tái)還新增了豐富的集群核心指標(biāo)展示，用戶可以直觀地了解YARN集群的計(jì)算資源使用情況，包括集群CPU和內(nèi)存等重要指標(biāo)。用戶還可實(shí)時(shí)監(jiān)測(cè)YARN集群和HDFS集群的健康狀況，了解存儲(chǔ)使用情況以及YARN應(yīng)用程序的運(yùn)行統(tǒng)計(jì)等關(guān)鍵信息。這一切都集中在集群首頁(yè)，讓用戶一目了然，從而更好地制定管理策略和進(jìn)行性能優(yōu)化。

有對(duì)USDP智能大數(shù)據(jù)平臺(tái)感興趣的小伙伴，歡迎訪問(wèn)UCloud優(yōu)刻得官網(wǎng)，與我們進(jìn)行更多的產(chǎn)品咨詢和交流。