3月6日，騰訊混元保持此前的高強(qiáng)度更新，又正式推出了開(kāi)源的圖生視頻模型，同步開(kāi)放視頻生成、對(duì)口型及動(dòng)作驅(qū)動(dòng)等趣味功能，并支持2K高清視頻與智能背景音效生成。用戶現(xiàn)可通過(guò)官網(wǎng)或API接口快速體驗(yàn)這一創(chuàng)新技術(shù)。

本次更新的核心功能亮點(diǎn)是靜態(tài)圖轉(zhuǎn)動(dòng)態(tài)視頻。在上傳任意圖片后，通過(guò)簡(jiǎn)單文字描述畫(huà)面運(yùn)動(dòng)方式（如物體移動(dòng)軌跡或鏡頭運(yùn)鏡），模型即可生成5秒動(dòng)態(tài)短視頻，并自動(dòng)匹配契合場(chǎng)景的背景音效。智能口型同步。

上傳人物肖像后，輸入文字內(nèi)容或音頻文件，AI將精準(zhǔn)驅(qū)動(dòng)人物口型，實(shí)現(xiàn)說(shuō)話或歌唱效果。結(jié)合預(yù)設(shè)舞蹈模板，靜態(tài)圖片人物還能一鍵生成流暢的舞蹈視頻。開(kāi)發(fā)者生態(tài)支持：

本次開(kāi)源的130億參數(shù)模型覆蓋寫(xiě)實(shí)、動(dòng)漫及CGI角色生成場(chǎng)景，提供完整模型權(quán)重、推理代碼及LoRA訓(xùn)練代碼。開(kāi)發(fā)者可通過(guò)騰訊云API接入服務(wù)，或在GitHub、HuggingFace社區(qū)下載資源，基于基礎(chǔ)模型訓(xùn)練定制化衍生模型（如專屬LoRA），拓展多元視頻創(chuàng)作可能性。

目前，個(gè)人用戶可訪問(wèn)混元AI視頻官網(wǎng)直接體驗(yàn)，企業(yè)級(jí)用戶可通過(guò)騰訊云申請(qǐng)API集成服務(wù)。

在觀察者網(wǎng)體驗(yàn)中，發(fā)現(xiàn)混元圖生視頻模型的人氣火爆，實(shí)測(cè)中圖生視頻功能的任務(wù)已經(jīng)“排起長(zhǎng)隊(duì)”，需要等待接近兩個(gè)小時(shí)才能進(jìn)行使用。

混元圖生視頻功能排起長(zhǎng)隊(duì) 混元官網(wǎng)

具體的實(shí)際操作中，可以通過(guò)上傳高達(dá)的靜態(tài)圖片，讓高達(dá)跳起“魔性”的舞步。

混元開(kāi)源技術(shù)報(bào)告顯示，混元視頻生成模型具備靈活的擴(kuò)展性，圖生視頻和文生視頻在相同的數(shù)據(jù)集上開(kāi)展預(yù)訓(xùn)練工作。在保持超寫(xiě)實(shí)畫(huà)質(zhì)、流暢演繹大幅度動(dòng)作、原生鏡頭切換等特性的基礎(chǔ)上，讓模型能夠捕捉到豐富的視覺(jué)和語(yǔ)義信息，并結(jié)合圖像、文本、音頻和姿態(tài)等多種輸入條件，實(shí)現(xiàn)對(duì)生成視頻的多維度控制。

混元視頻生成模型開(kāi)源以來(lái)，一直保持較高的熱度，去年12月登頂huggingface（知名AI社區(qū)）全站趨榜第一，目前Github（知名程序平臺(tái)）平臺(tái)上Star數(shù)超過(guò)8.9K。多位開(kāi)發(fā)者自發(fā)制作基于社區(qū)Hunyuanvideo的插件與衍生模型，積累超過(guò)900個(gè)衍生版本。更早開(kāi)源的混元DiT文生圖模型，在國(guó)內(nèi)外衍生模型數(shù)量多達(dá)1600多個(gè)。

目前，混元開(kāi)源系列模型已經(jīng)完整覆蓋文本、圖像、視頻和3D生成等多個(gè)模態(tài)，在Github累計(jì)獲得超2.3萬(wàn)開(kāi)發(fā)者關(guān)注和star。

本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。