網(wǎng)絡(luò)世界，表面上歲月靜好，實(shí)則暗濤洶涌。

“450萬移動(dòng)端新增惡意程序樣本，1006億次釣魚網(wǎng)站攻擊，52.8億次惡意程序攻擊，224億個(gè)騷擾電話，177億個(gè)垃圾短信”。

沒有感知的人會(huì)產(chǎn)生一種錯(cuò)覺，似乎網(wǎng)路安全威脅已是上個(gè)時(shí)代的事情，網(wǎng)絡(luò)灰暗世界早已風(fēng)平浪靜。實(shí)際上，網(wǎng)絡(luò)攻擊不僅沒有消失，反而愈加猖獗，新型病毒木馬、攻擊手段層出不窮，無時(shí)無刻不在制造新的威脅。

上面這組數(shù)據(jù)是360公司(股票代碼：601360.SH，簡稱360)在2020年攔截或識(shí)別的網(wǎng)絡(luò)威脅數(shù)量，假設(shè)這些威脅沒有被“看見”和處理，后果將不堪設(shè)想。讓威脅能夠被看見的根源在于360有著全球排行前三的網(wǎng)絡(luò)安全大數(shù)據(jù)，包括290億樣本數(shù)據(jù)、22萬億安全日志、80億域名信息、2EB以上的安全大數(shù)據(jù)，量級(jí)比肩微軟、谷歌。

久負(fù)盛名的開源大會(huì)ApacheCon首次舉辦亞太會(huì)議

作為一家世界級(jí)的安全公司，360十分注重技術(shù)的領(lǐng)先性，與全球各大開源社區(qū)保持密切合作，是推動(dòng)新技術(shù)發(fā)展的重要力量。8月7日，久負(fù)盛名的開源大會(huì)ApacheCon舉辦首次亞太峰會(huì)，會(huì)議以線上的方式進(jìn)行，360、阿里巴巴、美團(tuán)、網(wǎng)易等中國科技公司參會(huì)，會(huì)上360公司技術(shù)專家范新普發(fā)表演講分享了360實(shí)時(shí)計(jì)算平臺(tái)的演進(jìn)史，進(jìn)而揭開了起著360安全大腦中樞作用的“奇麟大數(shù)據(jù)”平臺(tái)的神秘面紗。

業(yè)務(wù)需求+技術(shù)發(fā)展 奇麟大數(shù)據(jù)平臺(tái)應(yīng)運(yùn)而生

據(jù)悉，360安全大腦以安全大數(shù)據(jù)分析為基礎(chǔ)，具備感知、學(xué)習(xí)、推理、預(yù)測、決策的五大能力，當(dāng)威脅出現(xiàn)，大腦第一時(shí)間與底層安全大數(shù)據(jù)進(jìn)行比對(duì)，做出操作決策，保障用戶網(wǎng)絡(luò)安全。讓大腦對(duì)威脅及時(shí)做出反應(yīng)，需要一套強(qiáng)大的“中樞”系統(tǒng)作為支撐，這一系統(tǒng)需要通過分布式的實(shí)時(shí)大數(shù)據(jù)處理，來保障360安全大腦的反應(yīng)的及時(shí)性、穩(wěn)定性。在此背景下，“奇麟大數(shù)據(jù)”平臺(tái)應(yīng)運(yùn)而生。

由于存在高并發(fā)的海量數(shù)據(jù)處理需求，要求“中樞”具有足夠大的吞吐量，更為重要的是，在安全場景下，對(duì)數(shù)據(jù)處理的實(shí)時(shí)性要求極高，從發(fā)現(xiàn)病毒到攔截病毒的過程中，哪怕毫秒級(jí)的延遲都有可能讓病毒有可乘之機(jī)，造成不可挽回的損失。

從行業(yè)角度看，在如今的“快”時(shí)代中，越來越多的企業(yè)開始重視數(shù)據(jù)的實(shí)時(shí)性，曾經(jīng)主流的“批處理“已經(jīng)跟不上數(shù)據(jù)發(fā)展的腳步。隨著技術(shù)的升級(jí)以及大數(shù)據(jù)的發(fā)展，“流處理”思維應(yīng)運(yùn)而生，“實(shí)時(shí)性”已成為企業(yè)構(gòu)建技術(shù)架構(gòu)的第一考量。Apache Flink 是一個(gè)分布式處理引擎，用于離線和實(shí)時(shí)的計(jì)算。憑借其極致的流式處理性能和優(yōu)秀的框架設(shè)計(jì)吸引了眾多開發(fā)者加入，各大科技公司也都紛紛引入Flink作為其主要的流式開發(fā)引擎。

十余年間，360始終致力于實(shí)時(shí)大數(shù)據(jù)計(jì)算平臺(tái)的研發(fā)，時(shí)刻緊跟全球最前沿的技術(shù)發(fā)展。2020年，經(jīng)過技術(shù)的多次迭代，360結(jié)合最新一代“流處理”開源引擎ApacheFlink，正式推出了“奇麟大數(shù)據(jù)平臺(tái)”，向下對(duì)接底層網(wǎng)絡(luò)安全大數(shù)據(jù)，向上對(duì)接業(yè)務(wù)系統(tǒng)的算法、算力需求，作為360安全大腦的“中樞”發(fā)揮著至關(guān)重要的作用。

回溯360實(shí)時(shí)計(jì)算平臺(tái)的演進(jìn)史，范新普表示，360在實(shí)時(shí)計(jì)算方向有多年的積累，從十幾年前就開始利用Storm引擎搭建實(shí)時(shí)計(jì)算平臺(tái)，早期與Storm社區(qū)也有許多交流與貢獻(xiàn)，雖然Storm是一個(gè)很棒的開源引擎，但是Flink的出現(xiàn)讓360看到完全取代Storm的可能。據(jù)了解，Storm屬于初代實(shí)時(shí)計(jì)算引擎，直到為流式計(jì)算而生的Flink出現(xiàn)，從各方面實(shí)現(xiàn)了對(duì)Storm的超越，不僅性能的消耗低于Storm，數(shù)據(jù)的吞吐量高于Storm，延時(shí)也要低于Storm，甚至比Storm更易于編寫。

基于開源引擎優(yōu)化360打造網(wǎng)安特色大數(shù)據(jù)平臺(tái)

據(jù)悉，目前為止奇麟大數(shù)據(jù)平臺(tái)幾乎支撐了公司全部實(shí)時(shí)計(jì)算任務(wù)的運(yùn)行，目前超過50個(gè)內(nèi)部產(chǎn)品團(tuán)隊(duì)在使用，每天通過平臺(tái)處理的實(shí)時(shí)數(shù)據(jù)量超過1萬億條?！爸信_(tái)部門的永恒命題是降本增效”，范新普表示，奇麟大數(shù)據(jù)平臺(tái)完全重構(gòu)了任務(wù)診斷分析模塊，重新實(shí)現(xiàn)了一版任務(wù)分析系統(tǒng)，希望能夠在最快時(shí)間內(nèi)，在盡量多的維度上定位問題，提升任務(wù)運(yùn)行的效率。

作為一家安全公司，360在奇麟大數(shù)據(jù)平臺(tái)之上構(gòu)建了獨(dú)有的規(guī)則引擎解決方案，作為基礎(chǔ)設(shè)施支持360安全大腦解決了各種各樣的安全領(lǐng)域的問題。可在查殺云的樣本檢測場景下鑒別勒索軟件、木馬軟件、釣魚文檔等；在終端EDR場景下，判斷是否發(fā)生進(jìn)程劫持、高危域名訪問，以及惡意文件上傳等事件；在用戶中心的賬號(hào)風(fēng)控場景下判斷是否存在惡意注冊(cè)、撞庫攻擊或暴力破解等情況。

除此之外，360奇麟大數(shù)據(jù)平臺(tái)創(chuàng)新性的將Flink技術(shù)與正則匹配技術(shù)Hyperscan結(jié)合，形成了特定的規(guī)則數(shù)據(jù)庫，被廣泛應(yīng)用于網(wǎng)關(guān)數(shù)據(jù)中的安全檢測，每一條網(wǎng)關(guān)數(shù)據(jù)都要與海量的安全規(guī)則進(jìn)行匹配，以保證數(shù)據(jù)的安全性和及時(shí)性。

未來，奇麟大數(shù)據(jù)平臺(tái)還將從平臺(tái)優(yōu)化、流批一體、湖倉一體三個(gè)維度上做出進(jìn)一步優(yōu)化，讓接入更簡單、使用更方便、運(yùn)行更穩(wěn)定、產(chǎn)品更豐富、運(yùn)維更簡單，在為公司降本增效的同時(shí)反哺Flink社區(qū)，為推動(dòng)大數(shù)據(jù)開源技術(shù)的發(fā)展做出貢獻(xiàn)。同時(shí)，也將繼續(xù)承擔(dān)360安全大腦的中樞角色，守護(hù)政府、城市、企業(yè)、人民的網(wǎng)絡(luò)安全。