（文/張睿佳 編輯/張廣凱）

上月，百度團(tuán)隊(duì)于arXiv上發(fā)表論文，介紹了一種名為COBRA（Cascaded Organized Bi-Represented generAtive Retrieval）的新算法框架，該框架被應(yīng)用于提升生成式模型在廣告推薦系統(tǒng)中的使用效果。

根據(jù)文章介紹，工程師把COBRA投放到真實(shí)環(huán)境，在 A/B 測(cè)試中增加了3.6%的轉(zhuǎn)化率，ARPU（平均每用戶收入）增加4.15%，目前該框架已經(jīng)被應(yīng)用在百度廣告推薦業(yè)務(wù)上。

利用生成式大模型來(lái)提高廣告推薦的準(zhǔn)確性，是很多企業(yè)都在做的嘗試。早在去年，谷歌就提出了一種生成式檢索推薦系統(tǒng)范式TIGER。

百度團(tuán)隊(duì)的論文提到，谷歌的TIGER是利用 Transformer 編碼器-解碼器架構(gòu)中的一系列稀疏 ID 作為輸入，直接預(yù)測(cè)下一個(gè)項(xiàng)目的稀疏 ID。而百度這篇論文的標(biāo)題就是“當(dāng)稀疏遇到稠密”，相較TIGER做出了進(jìn)一步改進(jìn)。

據(jù)悉，COBRA是一個(gè)融合生成式和密集檢索的框架。

在生成式推薦中，模型需要預(yù)測(cè)的目標(biāo)對(duì)象（item)是一個(gè)個(gè)綜合體，并非簡(jiǎn)單的token。所以在技術(shù)上，需要明確如何表征，并進(jìn)行序列建模。

百度最先采用的是純文本表征和LLM建模策略。該策略提升了對(duì)用戶意圖的理解能力但是運(yùn)行成本較高，同時(shí)在表征和建模中存在不匹配的問(wèn)題。

為解決該問(wèn)題，百度團(tuán)隊(duì)又使用了稠密學(xué)習(xí)和對(duì)比學(xué)習(xí)度量，但這個(gè)方案缺少興趣探索過(guò)程，建模復(fù)雜度較高。

在受到谷歌推出的推薦系統(tǒng)生成檢索的TIGER方法啟發(fā)后，團(tuán)隊(duì)又嘗試了稀疏表征和稀疏ID生成。

這個(gè)過(guò)程中運(yùn)用到一個(gè)名為“殘差量化變分自編碼器（RQ-VAE）”的技術(shù)。顧名思義，該技術(shù)綜合了殘差學(xué)習(xí)、量化技術(shù)和變分自編碼器三種方法。可以減少信息損失、提高模型的泛化能力，并通過(guò)優(yōu)化模型參數(shù)，改善重構(gòu)效果。

但是稀疏表征帶來(lái)的信息缺失，使得該方案在捕捉用戶偏好的精細(xì)變化時(shí)效果較差。

最后，團(tuán)隊(duì)提出了COBRA框架，稀疏稠密級(jí)聯(lián)表征和?成度量?體化方案，并達(dá)到了SOTA 級(jí)別的推薦性能。

在該框架中，稀疏ID負(fù)責(zé)提供穩(wěn)定的類別基礎(chǔ)信息，稠密向量確保模型捕獲高級(jí)語(yǔ)義和細(xì)粒度細(xì)節(jié)。模型在稀疏ID的指導(dǎo)下動(dòng)態(tài)地細(xì)化稠密向量，可以獲得更加全面的目標(biāo)對(duì)象（item) 特征。同時(shí)端到端的訓(xùn)練方法，可以捕獲高級(jí)語(yǔ)義和協(xié)同信息。

實(shí)測(cè)效果上，在利用公開(kāi)數(shù)據(jù)集（Amazon Product Reviews: Beauty, Sports and Outdoors,Toys and Games) 和工業(yè)數(shù)據(jù)集(Baidu Industrial)，以及離線和在線評(píng)估后，證明COBRA 優(yōu)于目前業(yè)內(nèi)最先進(jìn)的方法。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。