原標(biāo)題：紅豆Live推薦算法中召回和排序的應(yīng)用和策略

有人曾說“語音直播產(chǎn)品紅豆 Live 的突然出現(xiàn)，讓沉寂了一段時(shí)間的語音知識(shí)付費(fèi)市場(chǎng)又重新燃起了生機(jī)”，讓語音直播這個(gè)小眾市場(chǎng)重新吸引了大眾的注意力，讓聲音愛好者找到知音和志同道合之友。但紅豆 Live 也用了 AI 這個(gè)事實(shí)，你知道嗎？用到了哪些 AI 技術(shù)？推薦算法如何幫助它在眾多語音直播產(chǎn)品中脫穎而出？對(duì)有意采用 AI 技術(shù)的公司有何啟示？InfoQ 將在這篇文章中揭開這些問題的答案。

InfoQ 編輯對(duì)微博機(jī)器學(xué)習(xí)計(jì)算和服務(wù)平臺(tái)負(fù)責(zé)人胡南煒進(jìn)行了采訪，詢問了關(guān)于微博旗下的語音直播平臺(tái)——紅豆 Live 應(yīng)用 AI 技術(shù)的詳細(xì)情況，以及他對(duì) AI 的深入了解和趨勢(shì)預(yù)測(cè)。

據(jù)該產(chǎn)品官網(wǎng)數(shù)據(jù)顯示，2017 年 1 月，紅豆 Live 面向大眾全面開放，KOL 入駐量達(dá) 5000+，主播總數(shù)量 4 萬人，開啟了一個(gè)全民語音直播的時(shí)代。而這款產(chǎn)品的成功，按照該公司的說法，是“AI 發(fā)揮的作用不可忽略”。那么，紅豆 Live 中究竟采用了哪些 AI 技術(shù)？這家公司在 AI 技術(shù)方面是否有著深遠(yuǎn)的布局呢？

從技術(shù)層面講，紅豆 Live 在 AI 領(lǐng)域使用了語音識(shí)別、推薦排序等深度學(xué)習(xí)技術(shù)；其中在推薦排序中紅豆 Live 經(jīng)歷了三次算法迭代，從協(xié)同過濾到基于內(nèi)容的推薦，最后到基于音頻譜圖隱藏特征的深度學(xué)習(xí)預(yù)測(cè)模型的演進(jìn)。“每次的算法迭代都是為了解決用戶發(fā)現(xiàn)更多優(yōu)質(zhì)主播以及提高語音直播內(nèi)容傳播的目標(biāo)。”胡南煒說道。

眾所周知，企業(yè)采用 AI 技術(shù)需要高昂的成本，在采用這些技術(shù)后究竟能產(chǎn)生多大的效果，這是人們非常關(guān)心的問題。胡南煒表示，紅豆 Live 的推薦模型目標(biāo)是發(fā)現(xiàn)更多主播、用戶留存、平均收聽時(shí)長(zhǎng) 3 項(xiàng)。在應(yīng)用深度學(xué)習(xí)預(yù)測(cè)模型后，從數(shù)據(jù)表現(xiàn)上，該平臺(tái)的主播發(fā)現(xiàn)率較人工運(yùn)營(yíng)時(shí)提高了 135%，用戶留存率提升 20%，平均收聽時(shí)長(zhǎng)增長(zhǎng) 80%。這款產(chǎn)品在應(yīng)用 AI 后三個(gè)重要指標(biāo)均有較大上漲，因此可以說，深度學(xué)習(xí)模型對(duì)于其業(yè)務(wù)是有著明顯影響的。

語音直播相對(duì)來說受眾數(shù)量較小，那這類產(chǎn)品靠什么來吸引用戶呢？胡南煒認(rèn)為，雖然語音直播受眾數(shù)量較小，但確實(shí)有效解決了一部分垂直用戶的痛點(diǎn)需求。在他看來，直播主要可以滿足用戶兩個(gè)方面的需求：娛樂需求和價(jià)值需求。顧名思義，娛樂需求是指人們對(duì)于娛樂的追求以獲得精神滿足，直播等視聽感受結(jié)合的形式可以滿足大眾的娛樂需求；而滿足價(jià)值需求，是指直播能給用戶帶來專業(yè)的知識(shí)、實(shí)用的技能、思路的啟發(fā)等具有實(shí)際意義的東西，解決現(xiàn)實(shí)問題。在這方面，他認(rèn)為語音直播更具優(yōu)勢(shì)。另外，音頻直播可以更好的將用戶的注意力聚焦在內(nèi)容本身上并降低直播成本，AI 可以幫助忠粉和垂直用戶更便利、更有針對(duì)性的獲取到自己所喜歡的語音內(nèi)容，從而解決內(nèi)容獲取的痛點(diǎn)。

推薦系統(tǒng)的技術(shù)支持詳情

推薦系統(tǒng)的成功離不開背后的技術(shù)支持，而部署 AI 更需要強(qiáng)大的技術(shù)來做支撐。

紅豆 live 推薦系統(tǒng)中使用 CNN+LSTM 用在標(biāo)簽服務(wù)里面，把直播間中一些隱藏特征自動(dòng)化的提取、關(guān)聯(lián)、抽象出來，準(zhǔn)備率比起傳統(tǒng)機(jī)器學(xué)習(xí)算法大大提高。在 Wide & Deep 排序中，使用寬深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)合 LR，不僅僅使特征工程的工作量工程量大為降低，而且排序模型的記憶能力和泛化能力比單獨(dú)使用 LR 提高不少。”從中我們可以看到，推薦系統(tǒng)的算法支持使得紅豆 Live 的業(yè)務(wù)能力顯著提高。

然而，沒有任何算法是完美無缺的。“紅豆 Live 推薦系統(tǒng)主要的缺陷是，推薦系統(tǒng)中的冷啟動(dòng)問題。對(duì)于新用戶，我們無法獲取他們的行為日志和 query 日志。“而針對(duì)這個(gè)問題，他們有彌補(bǔ)的方法，”因?yàn)榧t豆 live 用戶和微博用戶重合度為 90%，可以利用該用戶的微博興趣標(biāo)簽，解決用戶的冷啟動(dòng)問題。”胡南煒說道。

關(guān)鍵技術(shù)召回和排序的作用和策略

紅豆 Live 推薦系統(tǒng)中的兩個(gè)關(guān)鍵技術(shù)分別是召回和排序，其中在召回層用到的策略，是基于 item 的協(xié)同過濾，基于用戶 query 的 CTR 進(jìn)行召回，和基于用長(zhǎng)短期興趣的進(jìn)行召回。而在排序?qū)樱瑒t使用 Wide & Deep 網(wǎng)絡(luò)，主要基于召回層的 item 進(jìn)行融合、排序，最終選出 top N 個(gè) item 推薦用戶。

召回層的作用在于根據(jù)用戶的不同興趣，從海量 item 中選出數(shù)百個(gè)用戶感興趣的 item。而排序?qū)拥淖饔脛t是基于用戶的一些特征，對(duì)召回層的 item 再次進(jìn)行打分排序，更精準(zhǔn)地選出用戶感興趣的 item。

此外，胡南煒還為我們揭示了紅豆 Live 推薦算法的具體工作流程：

第一，對(duì)用戶的行為日志進(jìn)行利用 JStorm 實(shí)時(shí)收集，并定時(shí)更新基于 item 的協(xié)同過濾內(nèi)容。

第二，對(duì)直播間內(nèi)容進(jìn)行利用 JStorm 實(shí)時(shí)收集，實(shí)時(shí)為直播間打上分類標(biāo)簽、topic、主題詞等標(biāo)簽，并定時(shí)更新用戶畫像內(nèi)容。

最后，當(dāng)用戶進(jìn)行刷新時(shí)，利用召回策略進(jìn)行召回，再根據(jù)排序策略選擇 top N 呈現(xiàn)給用戶。

AI 識(shí)別“少兒不宜”內(nèi)容準(zhǔn)確率提高

“三俗”內(nèi)容識(shí)別一直是正規(guī)內(nèi)容平臺(tái)嚴(yán)格把關(guān)的方面，AI 能夠在這一方面發(fā)揮更大的作用。紅豆 Live 由于采用了可以提取更豐富特征的新算法，對(duì)\