首頁>科技>資訊
可靈2.0大師版正式發布,視頻及圖像可控生成與編輯能力再升級
4月15日,快手可靈AI在北京中關村國際創新中心舉行“靈感成真”2.0模型發布會,宣布基座模型再次升級,面向全球正式發布可靈2.0視頻生成模型及可圖2.0圖像生成模型。
數據顯示,自去年6月發布以來,可靈AI已累計完成超20次迭代,截至目前,全球用戶規模突破2200萬,累計生成1.68億個視頻及3.44億張圖片素材。來自世界各地的超1.5萬開發者和企業客戶,將可靈的API應用于不同的行業場景中。
快手高級副總裁、社區科學線負責人蓋坤表示,可靈希望讓每個人都能用AI講出好故事,實現更加精準的復雜創意表達。
可靈AI全系模型進入2.0時代
3月27日,全球知名AI基準測試機構Artificial Analysis發布了最新的全球視頻生成大模型榜單,快手可靈1.6pro(高品質模式)以1000分的Arena ELO基準測試評分登陸圖生視頻(Image to Video)賽道榜首。
蓋坤認為,AI在輔助創意表達上擁有巨大潛力,但當前的行業發展現狀還遠遠無法滿足用戶需求,在AI生成內容的穩定性,以及用戶復雜創意的精確傳達上仍有“很多挑戰”。也因此,要真正實現“用AI講好每一個故事”的愿景,必須對基模型能力進行全方位提升,定義人和AI交互的“全新語言”。
在本次2.0模型的迭代中,可靈AI正式發布AI視頻生成的全新交互理念Multi-modal Visual Language(MVL),讓用戶能夠結合圖像參考、視頻片段等多模態信息,將腦海中包含身份、外觀、風格、場景、動作、表情、運鏡在內的多維度復雜創意,直接高效地傳達給AI。
“大家應該很自然地會感受到文字在表達影像信息時,是不完備的。我們需要有新的方式,能讓人真正精準地表達出心中所想。”蓋坤表示,MVL由TXT(Pure Text,語義骨架)和MMW(Multi-modal-document as a Word,多模態描述子)組成,能從視頻生成設定的基礎方向以及精細控制這兩個層面,精準實現AI創作者們的創意表達。
基于MVL理念,可靈AI正式推出多模態編輯功能。“從今天起,大家可以在可靈AI的平臺上體驗我們的多模態編輯能力。用戶可以非常直接地把自己的想法用圖像等方式作為輸入,生成符合自己想法的創意視頻。”蓋坤介紹,MMW(多模態描述子)將不只局限于圖片和視頻,也可以引入其他模態的信息,例如聲音、運動軌跡等,讓用戶實現更加豐富的表達。
“靈感成真”可靈AI2.0發布會現場
可靈2.0大師版正式發布,全新上線多模態視頻編輯功能
基于MVL這一全新交互方式,發布會現場,快手副總裁、可靈AI負責人張迪發布了全新的可靈2.0大師版,在語義響應、動態質量、畫面美學等方面顯著提升生成效果。“可靈2.0大師版不僅僅是一次簡單的技術升級,更是一次全方位的體驗躍升。”張迪介紹,可靈2.0大師版實現了技術、體驗、美學的三重突破。
值得一提的是,可靈2.0大師版全面升級視頻及圖像創作可控生成與編輯能力,上線全新的多模態視頻編輯功能,能靈活理解用戶意圖。支持在一段視頻的基礎之上,通過輸入圖片或文字,對生成的視頻內容實現元素的增加、刪減、替換,幫助創作者們實現更加靈活的二次編輯和處理。
可靈2.0大師版操作界面
張迪披露,當前,圖生視頻約占到可靈AI視頻創作量的85%,圖片質量也對視頻的生成效果產生重要作用。此次可圖2.0文生圖能力迎來全面升級,包括大幅提升指令遵循能力、顯著增強電影美學表現力以及更多元的藝術風格。在風格化響應上,可圖2.0可支持60多種風格化的效果轉繪,模型出圖創意和想象力實現大幅躍升。
同時,可圖2.0也上線了實用的圖像可控編輯功能——局部重繪和擴圖,支持圖片的增加、修改和修復。在圖像的多模態可控生成中,可圖2.0還上線了全新的風格轉繪功能,只需要上傳一張圖片加上風格描述,就能一鍵切換圖片的藝術風格,同時精準保留原圖的語義內容。
AIGC技術迅猛發展,為全行業發展注入全新活力
除了C端訂閱用戶,可靈AI也面向B端商家提供API接入等服務。目前,可靈AI已與包括小米、亞馬遜云科技、阿里云、Freepik、藍色光標等在內的數千家國內外企業客戶建立了合作關系。
蓋坤披露,來自世界各地的超1.5萬開發者,已將可靈的API應用于不同的行業場景中,累計生成的圖像數量約1200萬個,生成的視頻素材超過4000萬個。
如今,可靈正在成為AI時代視頻創作的新基礎設施。AIGC技術的迅猛發展,也正在重構包括廣告營銷、專業創作、影視、娛樂創意等在內的多個行業。
以二次元AI創作社區產品貍譜為例,其產品負責人一休介紹,可靈AI為貍譜帶來了創新突破。其1.6版本在人物運動流暢度、鏡頭移動等方面展現出卓越性能,助力貍譜成功接入“動態LIVE”和“新春萌偶搖”兩大功能。前者實現“圖 - 影 - 音”快速創作,后者在春節期間引發60萬用戶轉播。未來,雙方將基于貍譜的優質內容數據與可靈的算法能力,打造動畫模型,推動AI成為內容引擎,并共同孵化優質創作者,構建更活躍的創作生態,攜手開啟二次元內容產業的新篇章。
張迪在發布會現場還發起了“可靈AI NextGen 新影像創投計劃”。該計劃將加大對于AIGC創作者的扶持力度,通過千萬資金投入、全球宣發、IP打造和保障,以全資出品、聯合出品和技術支持等靈活多樣的合作方式,讓AI好故事走向世界。同時,可靈AI面向全球創作者發出征集邀約,邀請用戶共同打造全球首支用戶共創AI創意短片,讓創作者的靈感和創意登陸上海、香港、東京、巴黎、多倫多等世界多地廣告大屏。
編輯:馬嘉悅