-
小紅書(shū)技術(shù)副總裁王曉博:大模型讓AI越來(lái)越像人,更懂小紅書(shū)的內(nèi)容與用戶
(觀察者網(wǎng) 訊)2024世界人工智能大會(huì)暨人工智能全球治理高級(jí)別會(huì)議7月4日-6日在上海舉行。
7月5日下午,由中國(guó)信息通信研究院承辦的WAIC 2024 “邁向AGI:大模型煥新與產(chǎn)業(yè)賦能”論壇在上海徐匯西岸拉開(kāi)帷幕。小紅書(shū)技術(shù)副總裁王曉博在論壇上發(fā)表主題演講,分享了小紅書(shū)在大模型領(lǐng)域的最新布局與探索。
目前小紅書(shū)社區(qū)擁有超過(guò)三億的月活用戶,越來(lái)越多新一代年輕人因?yàn)楣餐呐d趣愛(ài)好在這里相聚,小紅書(shū)上海量的UGC構(gòu)成了一部豐富的生活指南。
在演講中,王曉博從“搜”、“推”、“創(chuàng)”、“美”、“伴”等多個(gè)技術(shù)應(yīng)用場(chǎng)景闡述了大模型將如何助力小紅書(shū)這本“生活指南”更便捷、更鮮活、更美好。
王曉博指出:”我們希望通過(guò)多模大模型的能力增強(qiáng),讓AI能夠越來(lái)越像人一樣,能夠理解小紅書(shū)的內(nèi)容,不僅僅可以看懂筆記,看懂圖片和文字,能夠進(jìn)行內(nèi)容的整理和問(wèn)答,也能夠輔助用戶進(jìn)行更便捷的內(nèi)容創(chuàng)作,同時(shí)通過(guò)對(duì)內(nèi)容和用戶的深度理解,更好地建立內(nèi)容和用戶之間的關(guān)聯(lián)和匹配效率。“
搜索一直是用戶在小紅書(shū)上高頻使用的功能,70%的小紅書(shū)活躍用戶有主動(dòng)搜索行為。小紅書(shū)目前正在探索將大模型引入搜索的技術(shù)鏈路,未來(lái)能夠給用戶帶來(lái)更便捷的搜索體驗(yàn)。
據(jù)王曉博介紹,在日常使用中,用戶查詢一些復(fù)雜問(wèn)題時(shí),往往需要多步搜索才能獲得想要的答案。而有了大模型的加持之后,小紅書(shū)將使用Search Agent來(lái)模擬用戶的多次搜索過(guò)程,通過(guò)大模型代理用戶的查詢過(guò)程,直接交付答案給用戶,大大提升了搜索效率。
在推薦上,大模型則可以幫助小紅書(shū)更好地理解內(nèi)容和用戶興趣。王曉博表示,傳統(tǒng)推薦系統(tǒng)依賴行為數(shù)據(jù)對(duì)用戶和內(nèi)容進(jìn)行建模,會(huì)導(dǎo)致新筆記分發(fā)難,缺乏推理能力導(dǎo)致信息繭房等問(wèn)題。
在小紅書(shū)的推薦系統(tǒng)中,率先將大模型作為筆記的語(yǔ)義編碼器來(lái)使用,通過(guò)語(yǔ)義壓縮提示詞(prompt)結(jié)合對(duì)比學(xué)習(xí)技術(shù),讓大模型能夠把筆記轉(zhuǎn)化為推薦系統(tǒng)可理解的向量表征,在新筆記分發(fā)上取得了非常大的提升。同時(shí),大語(yǔ)言模型(LLM)的推理能力能夠更好地建模用戶興趣,小紅書(shū)通過(guò)讓大模型從歷史行為中推理用戶潛在的新興趣,有效的緩解了信息繭房問(wèn)題,提升了用戶留存。
AI智能創(chuàng)作同樣是小紅書(shū)與大模型擦出火花的重要探索領(lǐng)域。今年小紅書(shū)內(nèi)部孵化的創(chuàng)新項(xiàng)目InstantID,通過(guò)人臉I(yè)D注入方式,成功在技術(shù)上兼顧了風(fēng)格的保持和人臉I(yè)D的一致性,它不僅風(fēng)格多樣,同時(shí)無(wú)需模型訓(xùn)練,實(shí)現(xiàn)秒級(jí)出圖,為用戶提供了“發(fā)現(xiàn)不一樣的自己”的創(chuàng)作方式。
目前,該項(xiàng)目已向業(yè)界開(kāi)源,為商業(yè)應(yīng)用如電子商務(wù)、廣告和娛樂(lè)產(chǎn)業(yè)創(chuàng)造了新的可能性。
此外,王曉博還認(rèn)為,大模型不僅可以為用戶提供信息和創(chuàng)意,也可以提供很多情緒價(jià)值。為此,小紅書(shū)在寵物世界、社區(qū)群聊、官號(hào)私信這幾個(gè)主要場(chǎng)景下,分別搭建了AI寵物、AI群聊、AI助手這一類聊天BOT產(chǎn)品,為用戶提供泛娛樂(lè)功能。
以AI寵物為例,每位用戶都可以領(lǐng)養(yǎng)一個(gè)虛擬寵物,通過(guò)對(duì)話的方式與它交互,在線上互動(dòng)中獲得樂(lè)趣與情感陪伴。在群聊場(chǎng)景,AI 通過(guò)角色扮演的方式將自有性格生動(dòng)的表達(dá),AI助手也可以將生硬的官方活動(dòng)信息幽默有趣的傳遞給用戶。
“針對(duì)陪伴類聊天應(yīng)用里記憶、人格情緒等技術(shù)難點(diǎn),小紅書(shū)采取了基于記憶網(wǎng)絡(luò)、世界體系和驅(qū)動(dòng)飛輪等技術(shù)相結(jié)合的解決方案。通過(guò)精細(xì)化記憶建模,對(duì)歷史對(duì)話進(jìn)行語(yǔ)義分析、重要性判斷、節(jié)點(diǎn)因子建模,從而深入理解用戶行為,構(gòu)建個(gè)性化互動(dòng),實(shí)現(xiàn)越交互越聰明,越聰明越交互的良性循環(huán)?!蓖鯐圆┱f(shuō)道。
在演講中,王曉博也指出,應(yīng)用場(chǎng)景的落地離不開(kāi)基礎(chǔ)能力的建設(shè)。
目前,小紅書(shū)技術(shù)團(tuán)隊(duì)同時(shí)針對(duì)語(yǔ)言模型和多模態(tài)能力進(jìn)行了綜合研發(fā),結(jié)合小紅書(shū)自身的業(yè)務(wù)場(chǎng)景和需求,更早做了視覺(jué)理解大模型方向的技術(shù)攻關(guān):在多模模型架構(gòu)、多模態(tài)alignment和整個(gè)數(shù)據(jù)體系和視覺(jué)感知能力上,都做了一定的探索和優(yōu)化;并基于多種類型的圖文數(shù)據(jù),通過(guò)端到端多模態(tài)訓(xùn)練和優(yōu)化,訓(xùn)練了對(duì)業(yè)務(wù)場(chǎng)景跟友好的視覺(jué)理解大模型,兼顧了圖像分辨率、OCR、長(zhǎng)尾語(yǔ)義識(shí)別等能力。
目前小紅書(shū)在引擎技術(shù)上逐步完備布局,在訓(xùn)練方面對(duì)于大模型的工程體系做了完備建設(shè),包括預(yù)訓(xùn)練、SFT、RLHF都做了針對(duì)模型和硬件的改造加速,自研了推理框架,對(duì)量化壓縮、投機(jī)采樣等技術(shù)都做了進(jìn)一步優(yōu)化?!?
其中,比較有亮點(diǎn)的前沿技術(shù),一是在MoE框架下,做了5D并行的高效率訓(xùn)練,同時(shí)自研了RLHF框架,相較于開(kāi)源框架性能和收斂穩(wěn)定性都有提升。推理上我們做了W4A8模型壓縮,結(jié)合算子優(yōu)化整體性能超過(guò)開(kāi)源框架20%左右。“王曉博介紹道。
最后,王曉博表示:“人工智能技術(shù)在多模態(tài)、Agent、算力層都有望持續(xù)進(jìn)步,小紅書(shū)也將借助大模型的能力,進(jìn)一步拉近社區(qū)鏈接的距離,更好賦能小紅書(shū)之城的用戶們。”
小紅書(shū)于2013年在上海創(chuàng)立,以“Inspire Lives”為使命,形成了內(nèi)容社區(qū)、商業(yè)廣告和電商交易三大業(yè)務(wù)板塊。截至2023年底,小紅書(shū)月活用戶數(shù)量超過(guò)3億,超50%用戶為95后;同時(shí),小紅書(shū)社區(qū)擁有超過(guò)1億分享者,他們?cè)谛〖t書(shū)上分享經(jīng)驗(yàn)、記錄生活。自成立以來(lái),小紅書(shū)一直以技術(shù)為驅(qū)動(dòng)力,目前持有和申請(qǐng)中的專利、商標(biāo)、版權(quán)超過(guò)4000項(xiàng),自研的“珠璣”大模型也已通過(guò)算法備案。
標(biāo)簽 小紅書(shū)- 責(zé)任編輯: 周毅 
-
多地住建局更名,有何深意?
2024-07-06 21:21 觀網(wǎng)財(cái)經(jīng)-房產(chǎn) -
-
-
科大訊飛董事長(zhǎng):對(duì)中美大模型差距不能盲目樂(lè)觀
2024-07-05 20:23 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
證監(jiān)會(huì)召開(kāi)資本市場(chǎng)做好金融“五篇大文章”專題座談會(huì)
2024-07-05 19:34 金融觀察 -
證監(jiān)會(huì):將違規(guī)披露的刑期上限由3年提高至10年
2024-07-05 17:34 金融觀察 -
“全國(guó)房?jī)r(jià)最貴縣”松綁樓市
2024-07-05 16:17 觀網(wǎng)財(cái)經(jīng)-房產(chǎn) -
總規(guī)模300億元!國(guó)有企業(yè)土地資產(chǎn)盤活專項(xiàng)基金成立
2024-07-05 16:05 金融觀察 -
“游戲積累的AI技術(shù)賦能實(shí)體”,網(wǎng)易秀了臺(tái)挖掘機(jī)
2024-07-05 10:13 2024世界人工智能大會(huì) -
-
特斯拉亮相世界人工智能大會(huì),二代人形機(jī)器人迎首秀
2024-07-05 09:57 2024世界人工智能大會(huì) -
T3出行崔大勇:2027年將是自動(dòng)駕駛商業(yè)化運(yùn)營(yíng)拐點(diǎn)
2024-07-05 09:52 2024世界人工智能大會(huì) -
31省份曬前5個(gè)月財(cái)政收入賬單:粵蘇浙居前三
2024-07-05 07:33 觀網(wǎng)財(cái)經(jīng)-宏觀 -
李彥宏這番話,再度掀起大模型開(kāi)源閉源之爭(zhēng)?
2024-07-05 07:26 觀網(wǎng)財(cái)經(jīng)-科創(chuàng) -
-
阿里王堅(jiān):中國(guó)是現(xiàn)階段最不需要擔(dān)心能源的國(guó)家
2024-07-04 17:09 2024世界人工智能大會(huì) -
紅豆股份凈利潤(rùn)倍增背后:“經(jīng)典舒適男裝”是怎樣破圈的?
2024-07-04 11:06 -
特斯拉Model Y進(jìn)入江蘇省政府用車采購(gòu)目錄
2024-07-04 10:28 -
相關(guān)推薦 -
“夾在中美兩頭大象中間”,加拿大農(nóng)民“喊疼” 評(píng)論 0美股暴跌,華爾街被特朗普嚇壞了… 評(píng)論 187“閉嘴、說(shuō)謝謝”,馬斯克和魯比奧聯(lián)手欺凌美關(guān)鍵盟友 評(píng)論 161羅馬尼亞將重選總統(tǒng),首輪第一的“極右”候選人被禁 評(píng)論 181最新聞 Hot
-
“夾在中美兩頭大象中間”,加拿大農(nóng)民“喊疼”
-
美方今日將舉行聽(tīng)證會(huì),炒作中國(guó)“成熟”芯片
-
馬斯克:這事兒,烏克蘭干的
-
魯比奧直說(shuō)了:烏克蘭必須割讓領(lǐng)土
-
急赴美“求放過(guò)”,日本談了個(gè)寂寞…
-
特斯拉市值一夜蒸發(fā)近萬(wàn)億元,馬斯克:好難啊
-
杜特爾特回應(yīng):接受命運(yùn),但我無(wú)罪
-
特朗普:這只是開(kāi)始
-
“對(duì)嘍,每個(gè)科技領(lǐng)域都輸給中國(guó),就照著特朗普來(lái)”
-
美股暴跌,華爾街被特朗普嚇壞了…
-
“存5年不如存1年”,多家大中型銀行存款利率倒掛
-
又一位!核物理學(xué)家從美回國(guó)
-
特朗普撤銷拜登獲取每日簡(jiǎn)報(bào)權(quán)限
-
“澤連斯基向特朗普道歉了,這是重要一步”
-
“我想與中國(guó)合作,搭上勢(shì)不可擋的電車?yán)顺薄?/a>
-
“閉嘴、說(shuō)謝謝”,馬斯克和魯比奧聯(lián)手欺凌美關(guān)鍵盟友
快訊- 特斯拉市值一夜蒸發(fā)近萬(wàn)億元,馬斯克:好難啊
- 廣東出臺(tái)12項(xiàng)措施支持人工智能與機(jī)器人產(chǎn)業(yè)創(chuàng)新發(fā)展
- 杭州:組織類腦智能未來(lái)產(chǎn)業(yè)基礎(chǔ)情況摸排
- 拉長(zhǎng)“白名單”話音剛落,這家民營(yíng)房企就成功發(fā)債募資4.1億
- 國(guó)產(chǎn)首艘大型郵輪“愛(ài)達(dá)·魔都號(hào)”完成第100個(gè)商業(yè)運(yùn)營(yíng)航次
- 馬英九發(fā)聲:希望賴清德當(dāng)局“高抬貴手”
- 美方今日將舉行聽(tīng)證會(huì),炒作中國(guó)“成熟”芯片
- 國(guó)產(chǎn)CPU生態(tài)突圍需要“競(jìng)合”,而非“內(nèi)耗”
-