11月27日，在2022全球人工智能技術(shù)大會(huì)上，由CAAI智能傳媒專委會(huì)、中國(guó)傳媒大學(xué)媒體融合與傳播國(guó)家重點(diǎn)實(shí)驗(yàn)室、新浪AI媒體研究院聯(lián)合支持的“融合與發(fā)展”新智者·智能媒體專題論壇在線上舉行。微博機(jī)器學(xué)習(xí)總經(jīng)理、微博技術(shù)委員會(huì)委員王健民分享了題為《人工智能的技術(shù)創(chuàng)新 賦能微博內(nèi)容理解與分發(fā)》的演講，和與會(huì)嘉賓交流人工智能技術(shù)發(fā)展的趨勢(shì)，以及微博推薦系統(tǒng)面臨復(fù)雜多樣的業(yè)務(wù)場(chǎng)景中的創(chuàng)新理論和實(shí)踐成果，解讀智媒時(shí)代的發(fā)展現(xiàn)狀和未來方向。

圖注：微博王建民-“融合與發(fā)展”新智者·智能媒體專題論壇

以下是王建民分享實(shí)錄，內(nèi)容經(jīng)編輯略有刪減:

大家好，我是來自微博的王建民，非常高興和大家一起交流，我今天分享的主題是：《人工智能的技術(shù)創(chuàng)新，賦能微博內(nèi)容理解與分發(fā)》。

首先，我來看一看人工智能的總體發(fā)展趨勢(shì)。縱觀歷史，可以看出人工智能的發(fā)展，有三個(gè)明顯特征：分別是訓(xùn)練數(shù)據(jù)的海量化及多樣化；算法模型的復(fù)雜化及通用化以及算力的高效化及規(guī)?；?。

我們知道，數(shù)據(jù)、算法和算力是構(gòu)成人工智能的三大要素。在數(shù)據(jù)方面，訓(xùn)練數(shù)據(jù)，從早期的萬(wàn)級(jí)別規(guī)模，到達(dá)了目前的百億級(jí)別規(guī)模，并且，多種數(shù)據(jù)形態(tài)被融入進(jìn)來。而算法方面，模型的參數(shù) 從早期的萬(wàn)級(jí)別參數(shù)量發(fā)展到目前的萬(wàn)億級(jí)參數(shù)規(guī)模，而且，模型結(jié)構(gòu)有大一統(tǒng)的趨勢(shì)。數(shù)據(jù)和算法的規(guī)模和效率，都是建立在單機(jī)算力越來越強(qiáng)、機(jī)器越來越多的分布式計(jì)算架構(gòu)之上的。

我們?cè)诰唧w實(shí)際工作中看到的一些人工智能發(fā)展趨勢(shì)。首先，我們看到的一個(gè)明顯趨勢(shì)，就是模型的訓(xùn)練過程，逐步從有監(jiān)督為主，轉(zhuǎn)化為自監(jiān)督和無監(jiān)督為主。

我們?cè)瓉碛?xùn)練一個(gè)模型，往往是人工先標(biāo)注一批數(shù)據(jù)，然后訓(xùn)練模型。這種方法有很大的局限性，那就是人工標(biāo)注成本很高，所以很難獲得大量數(shù)據(jù)，數(shù)據(jù)量不夠，模型沒有得到充分訓(xùn)練。參數(shù)規(guī)模大的優(yōu)勢(shì)根本就發(fā)揮不出來。

為了緩解缺乏數(shù)據(jù)的問題，“自監(jiān)督”模式逐漸流行。“自監(jiān)督”機(jī)器學(xué)習(xí)，往往通過一些規(guī)則，自動(dòng)構(gòu)建訓(xùn)練數(shù)據(jù)，避免了人工標(biāo)注成本高、數(shù)量少的問題，我們就可以低成本地獲得海量的訓(xùn)練數(shù)據(jù)。

典型的自監(jiān)督學(xué)習(xí)代表，就是Bert模型，它隨機(jī)扣掉一句話中的部分單詞，讓模型根據(jù)剩下的單詞來預(yù)測(cè)被扣掉的單詞，通過這種方式，可以自動(dòng)獲得幾乎無限的訓(xùn)練數(shù)據(jù)。在自然語(yǔ)言領(lǐng)域，Bert是一個(gè)里程碑式的進(jìn)步。

在人工智能技術(shù)發(fā)展趨勢(shì)中，這些年圖像理解在各行各業(yè)應(yīng)用越來越廣泛。主要得益于兩方面：一方面是5G等通信技術(shù)的快速發(fā)展，另一方面由于手機(jī)終端的處理能力越來越強(qiáng)大，使得圖片、視頻類型的內(nèi)容生產(chǎn)成本越來越低，圖像內(nèi)容也就越來越多。

經(jīng)過這么多年的發(fā)展，人工智能在圖像理解領(lǐng)域取得的輝煌的成就，尤其是在一些細(xì)分領(lǐng)域，比如人臉檢測(cè)與人臉識(shí)別。而在自動(dòng)駕駛領(lǐng)域，雖然已經(jīng)取得很不錯(cuò)的進(jìn)展，要做到完全放心使用，我覺得還是有一定的路要走。

剛才提到過，除了文本內(nèi)容，圖片、視頻類型內(nèi)容在網(wǎng)絡(luò)內(nèi)容中占比越來越高，單從一個(gè)模態(tài)去理解內(nèi)容，總是有很大的局限性，應(yīng)用也會(huì)受到限制。所以綜合多個(gè)模態(tài)去理解內(nèi)容，是人工智能發(fā)展的一個(gè)必然趨勢(shì)。

人工智能的另外一個(gè)趨勢(shì)，是超大規(guī)模圖計(jì)算。這個(gè)主要得益于計(jì)算機(jī)算力越來越強(qiáng)悍。相對(duì)其他機(jī)器學(xué)習(xí)模型，超大規(guī)模圖計(jì)算有個(gè)特殊的優(yōu)勢(shì)：信息不再是一個(gè)一個(gè)的孤立點(diǎn)，信息在超大網(wǎng)絡(luò)中的傳遞，促進(jìn)信息的流動(dòng)、匯聚與集成，

這種算法，對(duì)信息量比較少的節(jié)點(diǎn)尤為重要，比如，對(duì)系統(tǒng)里面的新用戶，也就是我們常說的冷啟動(dòng)用戶，他本來的信息就非常少，不過可以通過網(wǎng)絡(luò)中臨近的用戶，來推導(dǎo)這個(gè)用戶的信息。這就是超大規(guī)模圖計(jì)算的魅力所在

人工智能還有一個(gè)明顯的技術(shù)趨勢(shì)，就是從專用模型走向通用模型。目前的AI模型絕大多數(shù)仍然是任務(wù)專用的，通常針對(duì)具體任務(wù)設(shè)計(jì)特定結(jié)構(gòu)的模型，一個(gè)模型專門做一件事，比如，自然語(yǔ)言處理 常常會(huì)使用Bert模型、圖像處理 經(jīng)常采用CNN模型。

從專用模型走向通用模型則是一個(gè)技術(shù)發(fā)展趨勢(shì)，谷歌在前些年提出這一構(gòu)想，希望通過構(gòu)造一個(gè)通用的大模型，達(dá)到“一個(gè)模型做多件事”的目標(biāo)。

不同任務(wù)數(shù)據(jù)輸入后，通過路由算法，選擇神經(jīng)網(wǎng)絡(luò)的部分路徑到達(dá)模型輸出層，不同任務(wù)既有參數(shù)共享，也有任務(wù)獨(dú)有的模型參數(shù)部分，通過這種方式來達(dá)成“一個(gè)模型做多件事”的目標(biāo)。

另外，強(qiáng)化學(xué)習(xí)是人工智能技術(shù)發(fā)展趨勢(shì)里面一個(gè)很重要的領(lǐng)域。大家提到強(qiáng)化學(xué)習(xí)，可能第一時(shí)間想到的是AlphaGo，確實(shí)，AlphaGo和李世石的“世紀(jì)之戰(zhàn)“，是人工智能的里程碑事件。其實(shí)，強(qiáng)化學(xué)習(xí)在其他領(lǐng)域也有很多的結(jié)合點(diǎn)：如自動(dòng)打游戲，自動(dòng)駕駛，機(jī)器人等領(lǐng)域。

個(gè)人覺得，只要我們深刻理解復(fù)雜的業(yè)務(wù)場(chǎng)景，找到一個(gè)合適的，容易量化的reward函數(shù)，強(qiáng)化學(xué)習(xí)技術(shù)就會(huì)在業(yè)務(wù)發(fā)揮重要的價(jià)值。

前面跟大家簡(jiǎn)單的介紹了人工智能的幾大發(fā)展趨勢(shì)。這些都是我們?cè)诰唧w實(shí)際工作中的一些感受，也是微博對(duì)人工智能工作理解的一個(gè)總結(jié)。

我們應(yīng)該感恩這個(gè)時(shí)代，人工智能的飛速發(fā)展，讓我們能做的事情越來越多，也讓我們的事情越做越好。微博和大部分互聯(lián)網(wǎng)公司一樣，正在享受著人工智能 給我們帶來的紅利。我們正在把人工智能方方面面的技術(shù)，與我們的核心業(yè)務(wù)深度結(jié)合，賦能各個(gè)應(yīng)用場(chǎng)景。

具體來說，我們的應(yīng)用場(chǎng)景，包括：關(guān)系分發(fā)，興趣推薦，push，超話，視頻，新聞等業(yè)務(wù)場(chǎng)景。

微博推薦系統(tǒng)面臨復(fù)雜多樣的業(yè)務(wù)場(chǎng)景，微博環(huán)境下做推薦系統(tǒng)，既具有鮮明的微博特色，同時(shí)又面臨著復(fù)雜的業(yè)務(wù)場(chǎng)景。主要體現(xiàn)在三個(gè)方面：首先是無處不在的社交關(guān)系。我們知道，微博作為國(guó)內(nèi)最大的社交媒體，目前月活用戶達(dá)到5個(gè)多億，而這些用戶通過關(guān)注關(guān)系、發(fā)博文、對(duì)博文的轉(zhuǎn)評(píng)贊等各種行為，建立起了一個(gè)龐大的社交網(wǎng)絡(luò)。其次，微博內(nèi)容具有時(shí)效性強(qiáng)、多樣性高的特色，很多社會(huì)熱點(diǎn)事件都是第一時(shí)間在微博引爆的，而且作為綜合媒體，微博涵蓋了幾十個(gè)高質(zhì)量的垂直領(lǐng)域。第三，是多元化場(chǎng)景的推薦需求。我們微博很多場(chǎng)景，比如關(guān)系流、熱點(diǎn)流、視頻流等，都有很強(qiáng)的推薦需求。

簡(jiǎn)單的說，微博推薦系統(tǒng)整體由三個(gè)部分構(gòu)成：第一部分是，微博內(nèi)容理解、也就是我們對(duì)微博文本，圖像，視頻的理解。第二部分是，微博用戶理解，也是我們常說的用戶畫像。第三部分是，基于我們對(duì)微博內(nèi)容的理解，對(duì)用戶的理解，把高質(zhì)量的微博內(nèi)容，分發(fā)給感興趣的用戶人群，這就是微博推薦系統(tǒng)要做的事情。

首先要分享的是微博內(nèi)容理解，微博內(nèi)容包含了文本、圖像、視頻三類不同類型的信息。其中，對(duì)文本的理解，是微博最重要也是最基礎(chǔ)的一項(xiàng)工作。對(duì)微博內(nèi)容打標(biāo)簽，是對(duì)文本理解的重要組成部分。

為此，我們構(gòu)建了一個(gè)三級(jí)的內(nèi)容標(biāo)簽體系。第一級(jí)是比較寬泛的類別定義，比如“體育”、“娛樂”等類別，目前包含56個(gè)類別；第二級(jí)是在第一級(jí)基礎(chǔ)上的細(xì)化，比如“體育”一級(jí)類別下就有：“足球”、“籃球”等細(xì)化類目；第三級(jí)標(biāo)簽是主要是實(shí)體識(shí)別，比如具體到的某一個(gè)球星，目前包含幾十萬(wàn)個(gè)這樣的三級(jí)標(biāo)簽。

有了標(biāo)簽體系后，打標(biāo)簽具體是怎么做的呢？簡(jiǎn)單的說，我們采用 FastText+Bert 結(jié)合的方案。

大家都知道FastText和Bert各自有各自優(yōu)勢(shì)，也有他們的缺點(diǎn)，F(xiàn)astText速度快但是效果不夠好，Bert效果好但是速度慢。

我們針對(duì)高質(zhì)量的博文直接使用 Bert，其他的博文先經(jīng)過 FastText，標(biāo)簽得分足夠高，則認(rèn)為結(jié)果已經(jīng)比較好了，不再使用 Bert進(jìn)行處理；若得分不夠高，則使用 Bert 再預(yù)測(cè)一次。這樣，可以利用FastText速度快和，又利用了Bert效果好的優(yōu)點(diǎn)，兼顧速度和效果。

除此以外，我們還會(huì)對(duì)微博的吸引力，實(shí)效性，質(zhì)量得分，是否是廣告，以及情感也會(huì)做進(jìn)一步的分析和建模等等

另外一項(xiàng)很重要的文本理解的工作是話題模型。用戶在發(fā)微博的時(shí)候，很多人喜歡用雙#號(hào)括起一句話來作為這條微博的主題，我們內(nèi)部把這個(gè)叫做“話題”。

盡管很多用戶在發(fā)微博的時(shí)候，會(huì)主動(dòng)加上某個(gè)話題，但是更多微博內(nèi)容其實(shí)是沒有“話題”信息的。所以我們希望通過技術(shù)手段，來自動(dòng)給那些不帶“話題”的微博自動(dòng)加上一個(gè)“話題“。這就是話題模型。

那怎么做的呢？我們?cè)谶@里就用到了”對(duì)比學(xué)習(xí)“，“對(duì)比學(xué)習(xí)”是最近幾年興起的自監(jiān)督學(xué)習(xí)方法，也就是說不需要人工標(biāo)注樣本，算法模型通過自動(dòng)構(gòu)造訓(xùn)練樣本來學(xué)習(xí)。

簡(jiǎn)單的說，我們把帶話題的微博拆分為微博正文和微博話題，把這兩個(gè)放一起，作為正例，隨機(jī)選取其它不同話題的微博正文作為負(fù)例，然后使用Bert分別對(duì)正文和話題進(jìn)行語(yǔ)義編碼，在編碼后的投影空間將正例距離拉近，負(fù)例距離推遠(yuǎn)，這樣我們就訓(xùn)練好一個(gè)模型。

當(dāng)訓(xùn)練好模型后，在推理的時(shí)候，對(duì)于不帶“話題”的微博內(nèi)容，輸入文本信息到Bert，模型對(duì)微博內(nèi)容進(jìn)行編碼，然后去匹配最相似的話題內(nèi)容，這樣就可以給這條新微博，加上了一個(gè)相對(duì)比較精準(zhǔn)的話題。

除了文本理解，微博在圖片理解方面所做的比較重要一項(xiàng)的是明星識(shí)別。 “明星-粉絲”關(guān)系是微博生態(tài)的重要組成部分，所以識(shí)別圖片中出現(xiàn)的是哪位明星，在微博應(yīng)用場(chǎng)景下就很有實(shí)用價(jià)值。

微博先人工標(biāo)注一批明星的圖片數(shù)據(jù)，構(gòu)建一個(gè)包含數(shù)百位微博流量明星的知識(shí)庫(kù)，輸入一張圖片后，首先進(jìn)行人臉檢測(cè)，之后使用比較成熟的人臉識(shí)別技術(shù)對(duì)明星進(jìn)行識(shí)別，人臉檢測(cè)和人臉識(shí)別技術(shù)相對(duì)比較成熟，所以相應(yīng)的識(shí)別準(zhǔn)確率比較高，性能也很不錯(cuò)。

對(duì)圖像理解另外一個(gè)很重要的應(yīng)用是智能裁剪。現(xiàn)在大家都是用手機(jī)刷微博，很多微博都帶多張圖片的，因?yàn)槭謾C(jī)的展示界面空間有限，往往會(huì)對(duì)圖片進(jìn)行一些裁剪，然后再展示給用戶。

我們?cè)缙诘膱D片裁剪方法比較簡(jiǎn)單，只是裁剪出圖片的中心區(qū)域，很多時(shí)候，這種簡(jiǎn)單策略效果不太好，像左邊這幾張圖，如果只裁剪出圖片的中心區(qū)域，常常會(huì)將人臉等重要區(qū)域給剪掉，給用戶的觀感很不好。

針對(duì)這個(gè)問題，我們開發(fā)了智能裁剪技術(shù)，通過人工智能識(shí)別出圖片中的重要區(qū)域，例如人臉區(qū)域，這樣在裁剪圖片的時(shí)候，盡量保留這些比較重要的區(qū)域。這項(xiàng)功能上線后，一些運(yùn)營(yíng)的關(guān)鍵指標(biāo)取得了很大提升。

微博的文本理解、圖像理解，這些都是內(nèi)容理解中最基礎(chǔ)的工作，內(nèi)容理解還有一項(xiàng)非常重要的工作就是-多模態(tài)預(yù)訓(xùn)練模型，這能促進(jìn)微博內(nèi)容深度融合。

微博內(nèi)容中包含了越來越多的圖像和視頻內(nèi)容。要想搞明白一個(gè)微博到底在說什么，僅僅理解文本內(nèi)容，或者僅僅理解圖片內(nèi)容是不夠的，我們需要采用多模態(tài)理解技術(shù)，融合文本、圖像、視頻等多種媒體信息。這里微博采用的是“對(duì)比學(xué)習(xí)”技術(shù)。

對(duì)比學(xué)習(xí)在前面的話題模型中已經(jīng)提到過，這里的對(duì)比學(xué)習(xí)和話題模型的對(duì)比學(xué)習(xí)非常類似。用bert對(duì)微博文本內(nèi)容進(jìn)行編碼，圖像和視頻內(nèi)容通過vision transformer進(jìn)行編碼，然后通過fusion子網(wǎng)絡(luò)進(jìn)行融合，形成微博的embedding編碼。

經(jīng)過預(yù)訓(xùn)練，學(xué)好的微博編碼器 可以拿來對(duì)新的微博內(nèi)容進(jìn)行編碼，embedding結(jié)果可以廣泛的用到下游的各種業(yè)務(wù)中。由于訓(xùn)練的數(shù)據(jù)來自微博，大家知道微博的內(nèi)容非常有特色，所以最終的embedding結(jié)果也很有微博特色的。

同樣，微博在用戶理解方面工作中，采取超大規(guī)模圖計(jì)算。微博是國(guó)內(nèi)最大的社交媒體。微博的社交媒體屬性天然匹配超大規(guī)模圖計(jì)算。

微博以用戶和博文作為圖中的節(jié)點(diǎn)，以用戶間的關(guān)注關(guān)系、用戶對(duì)博文轉(zhuǎn)、評(píng)、贊等互動(dòng)行為作為圖中的邊，這樣就可以構(gòu)建一個(gè)超大規(guī)模的圖，節(jié)點(diǎn)可以達(dá)到10億規(guī)模、邊可以達(dá)到100億規(guī)模。

通過對(duì)超大規(guī)模圖的傳播計(jì)算中，我們可以得到一個(gè)描述用戶興趣的embedding向量。這種做法尤其對(duì)系統(tǒng)的新用戶，也就是對(duì)冷啟動(dòng)用戶有很好的應(yīng)用價(jià)值。

當(dāng)我們做好了對(duì)微博內(nèi)容的理解，對(duì)微博用戶的理解，接下來要做的事就事怎么樣把高質(zhì)量的內(nèi)容分發(fā)給感興趣的用戶，這就是推薦系統(tǒng)要做的事情。

而當(dāng)一個(gè)推薦系統(tǒng)基本成型之后，我們還會(huì)遇到哪些問題，怎么去解決。首先我們遇到的是一個(gè)多場(chǎng)景問題，前面提到過，微博在多很多場(chǎng)景都有推薦需求，比如微博主頁(yè)的關(guān)系流，推薦流，微博發(fā)現(xiàn)頁(yè)的熱點(diǎn)流。還有視頻流，視頻后推薦流等

這些場(chǎng)景到底是什么關(guān)系呢？我們分析認(rèn)為，這些場(chǎng)景之間有共性，也有個(gè)性：不同場(chǎng)景有很大的用戶重疊度，同一個(gè)用戶雖然在不同從場(chǎng)景下，他的基本興趣是一致的；與此同時(shí)，場(chǎng)景之間也有很多差異，比如有的用戶偏向社交型，有的用戶偏向社會(huì)熱點(diǎn)型，有的用戶喜歡刷視頻。

所以，怎么面對(duì)這個(gè)問題，對(duì)我們來說是一個(gè)很有意思的挑戰(zhàn)。傳統(tǒng)方式是各業(yè)務(wù)場(chǎng)景獨(dú)立建模，各做各的，這樣帶來的問題是什么呢？

諸如：各模型無法很好抓住用戶的共性；有些小場(chǎng)景流量少，缺乏訓(xùn)練數(shù)據(jù)，無法得到充分訓(xùn)練；維護(hù)多場(chǎng)景多個(gè)模型系統(tǒng)資源開銷大

解決辦法就是一個(gè)模型服務(wù)多個(gè)場(chǎng)景，這樣做的好處是打通了各場(chǎng)景數(shù)據(jù)，更好的解決各場(chǎng)景冷啟動(dòng)問題；多場(chǎng)景共享訓(xùn)練，抓住微博用戶共性；抓住共性的同時(shí)，也學(xué)習(xí)不同場(chǎng)景的差異；以及降低系統(tǒng)資源開銷；

既然一個(gè)模型服務(wù)多個(gè)場(chǎng)景有著諸多的優(yōu)勢(shì)，微博具體怎么做呢？解決的核心問題是怎么通過網(wǎng)絡(luò)結(jié)構(gòu)表示場(chǎng)景間的共性和個(gè)性？

首先，在模型的底層輸入，無論是用戶特征，還是內(nèi)容特征，大家都是共享的，一致的。中間的一部分“專家子網(wǎng)絡(luò)”，這些網(wǎng)絡(luò)參數(shù)是各個(gè)場(chǎng)景共享的；而邊上子網(wǎng)絡(luò)參數(shù)則是各個(gè)場(chǎng)景所獨(dú)有的。通過這種方式，就可以兼顧場(chǎng)景的共性與個(gè)性，能夠通過一個(gè)模型服務(wù)多個(gè)場(chǎng)景，這樣同時(shí)也節(jié)省了資源。

除了多場(chǎng)景模型外，我們還對(duì)推薦系統(tǒng)做了很多技術(shù)研究，這里介紹下我們利用知識(shí)蒸餾技術(shù) 來解決推薦鏈路一致性問題。

在推薦系統(tǒng)內(nèi)部，一般會(huì)分為召回、粗排、精排等環(huán)節(jié)。召回環(huán)節(jié)要從海量微博中，篩選出幾千條用戶可能感興趣的內(nèi)容，因?yàn)橐幚淼奈⒉?shù)量多，所以要求速度快，同時(shí)精準(zhǔn)度要求就沒那么高了；在粗排的時(shí)候，需要利用少量特征和簡(jiǎn)單模型 對(duì)召回內(nèi)容初步排序；最后的精排，則是使用大量特征和復(fù)雜模型 對(duì)內(nèi)容進(jìn)行精準(zhǔn)排序。

這三個(gè)環(huán)節(jié)形成漏斗，越往后的環(huán)節(jié) 需要參與排序的內(nèi)容數(shù)量越少，精準(zhǔn)度越高。過程中難免產(chǎn)生不一致問題。具體來說，前面召回的物料并不是后續(xù)粗排和精排真正需要的。

在這里，微博采用“知識(shí)蒸餾”來解決鏈路一致性問題。如圖所示，我們讓精排模型作為“老師”，召回或者粗排模型作為“學(xué)生”，讓精排指導(dǎo)召回模型的訓(xùn)練，這樣召回模型就能學(xué)會(huì)精排模型的排序偏好，召回模型能和精排模型保持大體上一致，也就是說，召回模型召回的物料，基本上能滿足后續(xù)排序的期望。

知識(shí)蒸餾增強(qiáng)推薦鏈路一致性，我們做過相應(yīng)的實(shí)驗(yàn)，效果還不錯(cuò)。

在微博推薦系統(tǒng)中，強(qiáng)化學(xué)習(xí)增加推薦多目標(biāo)個(gè)性化融合很關(guān)鍵。

做人工智能，很重要的一個(gè)工作，就是找到一個(gè)可量化的優(yōu)化目標(biāo)，也就是loss函數(shù)。對(duì)于推薦系統(tǒng)來說，點(diǎn)擊率是大家很容易想到的優(yōu)化目標(biāo)。在具體的業(yè)務(wù)中，點(diǎn)擊率很重要，但僅僅是點(diǎn)擊率是不夠的。微博有個(gè)很有特色的指標(biāo)是，互動(dòng)率。也就是用戶轉(zhuǎn)、評(píng)、贊這條微博的概率。當(dāng)然還有用戶時(shí)長(zhǎng)目標(biāo)。這一點(diǎn)也很重要。幾乎所有的互聯(lián)網(wǎng)產(chǎn)品都在競(jìng)爭(zhēng)用戶時(shí)長(zhǎng)

所以，一個(gè)成熟的推薦系統(tǒng)需要解決一個(gè)多目標(biāo)問題

那么問題來了，這么多目標(biāo)怎么融合？我們一般會(huì)采用加法融合、乘法融合，或者既有加法，也有乘法。當(dāng)然我們肯定不是簡(jiǎn)單的相加或者相乘。這些融合是有參數(shù)的。

接下來的問題就是怎么調(diào)參了。最簡(jiǎn)單粗暴的方法是指定參數(shù)，比如都是1。還有一些做法就是，固定其他參數(shù)，一次只調(diào)一個(gè)參數(shù)，達(dá)到最優(yōu)后，再用同樣的方法調(diào)整另外的參數(shù)

這樣的方法雖然簡(jiǎn)單，但問題是效率低，需要做大量的實(shí)驗(yàn)，全憑人工經(jīng)驗(yàn)，所以，有人調(diào)侃算法工程師為調(diào)參工程師。

微博的最新做法就是用強(qiáng)化學(xué)習(xí)來調(diào)參。具體來說的話，首先把推薦的流量用正交的方法分成很多小流量，然后每組實(shí)驗(yàn)帶來的收益作為強(qiáng)化學(xué)習(xí)的reward，來訓(xùn)練強(qiáng)化學(xué)習(xí)模型。這樣經(jīng)過多輪多次小流量實(shí)驗(yàn)，agent基本上能學(xué)到一個(gè)比較好的參數(shù)。

當(dāng)然這種做法也有不足之處，最大的問題是，互聯(lián)網(wǎng)產(chǎn)品講究小步快跑，沒有那么多時(shí)間和資源給我們大量的實(shí)驗(yàn)，因此強(qiáng)化學(xué)習(xí)的樣本不會(huì)太多。

所以，我們面對(duì)的很大的挑戰(zhàn)就是怎么用有限的資源，有限的時(shí)間來高效的學(xué)習(xí)一個(gè)更好的參數(shù)。這個(gè)問題希望有機(jī)會(huì)和大家進(jìn)一步探討。

以上就是我分享的全部?jī)?nèi)容，感謝大家的觀看，謝謝大家！