Atlas Cloud 現已成為 Dreamina Seedance 2.5 與 Seedream 5.0 Pro 的美國授權經銷商。

OmniHuman 2.0:聲音聽起來很悲傷,為何臉卻在微笑?

有了 OmniHuman 2.0 的情緒語音與臉部表情匹配,首要調整往往是更仔細聆聽,而不是堆疊更多形容詞。音訊本身已承載詞語、節奏與語氣重音;簡短提示應引導能支持這些線索的可見表演。

這句台詞是關於想念某人。聲音是以悲傷情緒設定生成,但參考人像卻掛著燦爛笑容。這正是靜態分鏡無法回答的衝突。為了讓 OmniHuman 2.0 情感語音與臉部表情匹配 更具體,我們先固定同一張人像與同一段 9.68 秒語音,然後生成兩段臉部方向相反的影片。另外兩段影片則使用相互匹配的憤怒與悲傷人像、語音語氣和方向。無聲 GIF 讓你檢視可見表情。

有一個重要的版本界線。Atlas Cloud 現在列出 Avatar Omni Human 2.0。我們在 2026 年 10 月 20 日於 Atlas 測試環境執行的請求,在渲染前就回傳上游不支援模型錯誤。本文中四段完成的虛擬人像影片,都是在該環境使用 Avatar Omni Human 1.5 生成。它們展示的是相關的音訊驅動工作流程與實用診斷方法,並非實測的 OmniHuman 2.0 效能。

重點摘要

  • 先聆聽提供的音訊。在下方測試中,同一段悲傷錄音在方向改變時,產生了明顯不同的視線、嘴部與手勢選擇。
  • 微笑的來源人像可能把表情帶進開場影格,即使提示詞要求克制。
  • 第二組透過讓起始人像、語音語氣與方向各自配合情緒,使憤怒與悲傷明顯不同。這並未隔離單一輸入作為原因。
  • 在有聲與無聲下比較相同時間戳;描述實際改變了什麼,而不是假設提示詞完全照字面生效。
  • 在使用某個版本的結果來說明另一個版本之前,先檢查模型版本與完成的輸出。

音訊、人像與提示詞各自貢獻什麼

Atlas 將 Omni Human 2.0 描述為音訊驅動的虛擬人像模型,可接受參考圖像、WAV 或 MP3 音軌,以及可選的文字提示詞。其公開模型頁面列出 720p 輸出,以及 4 到 300 秒的輸入音訊。頁面表示提示詞可指示手勢、動作、場景細節與攝影機移動。這些是產品頁規格,並非聲稱每個要求的面部節拍都會出現在生成片段中(Atlas Omni Human 2.0 模型頁面)。

較早的 OmniHuman-1 論文將這個研究系列描述為以圖像、音訊、文字與其他訊號為條件的人類動畫。它並未確立後續產品版本的確切控制方式或結果(OmniHuman-1 論文,ICCV 2025)。對準備進行一次測試的創作者而言,更簡單的分工更有用:

輸入測試中的工作要檢查什麼
人像錨定人物身分與初始表情臉部是否可見,起始笑容是否與預期情緒衝突?
音訊提供實際詞語、時間、停頓與語氣錄音聽起來是否像腳本暗示的情緒?
提示詞要求錄音周圍的可見行為臉部、視線與手勢是否真的遵循那些方向?

嘴部動作與情緒表達是分開的檢查。一張臉可以看似在說話,但眼睛與笑容傳達錯誤意義。靜止畫面可以揭示表情,但只有帶原聲的影片能讓你判斷語音與臉部的關係。

真實測試輸入:悲傷台詞與微笑來源圖像

我們刻意使用 Atlas 的微笑範例人像,而不是已經悲傷的臉。臉部清晰且正面,讓生成表情容易檢視,但起始的咧嘴笑為悲傷台詞創造了嚴苛案例。

image.png兩段影片的固定輸入圖像。笑容是來源圖像的一部分,因此請將開場數秒與後續表演分開檢視。

音訊方面,我們使用 Atlas 測試環境的 MiniMax Speech 2.6 HD Playground,搭配英文「Upset Girl」聲音與 sad 情緒設定。確切台詞是:「我以為你今天會在這裡。我一直盯著門口,即使大家都走了。我比我能說的更想念你。」產生的 MP3 長 9.68 秒。兩次虛擬人像執行都使用同一個音訊檔與同一張人像;只有可選的方向提示詞改變。兩者都回傳帶有音軌的 9.8 秒 MP4。這是小型實用比較,不是正式模型基準測試。

這項輸入選擇很重要。腳本給說話者理由往下看或忍住笑容,而參考照片則暗示相反。如果臉部一直微笑,先問來源圖像或方向在那次生成中哪個影響更大。不要假設加入更多情感形容詞就能解決衝突。

兩段真實影片結果:相同聲音,不同臉部方向

執行 A:要求克制表情

以下是第一次完成的 Omni Human 1.5 執行所用的方向:

女子安靜而悲傷地對鏡頭說話。她一開始的燦爛笑容在第一個字之前消退。眉毛保持輕微皺起,眼睛濕潤且低垂,嘴部克制。在最後一句時,她回頭看鏡頭但不微笑。頭部與手部動作極少;穩定中近景。

02-sad-voice-restrained-face.gif

執行 A,Atlas 測試環境,Avatar Omni Human 1.5。此 GIF 無聲。開場影格仍帶有來源笑容;約 2 到 4 秒時視線下垂、嘴部放鬆,接近 6 到 8 秒時眼睛低垂或閉上。提示詞並未完全如要求在第一個字之前移除笑容。

執行 B:要求與台詞衝突的笑容

人像與悲傷 MP3 保持不變。我們只改變方向:

女子開朗地對鏡頭說話,整段音訊都帶著燦爛愉快的笑容。眼睛保持有神,眉毛放鬆;說話時加入輕快的小點頭。不要讓笑容消退,即使在最後一句也一樣。手部動作極少;穩定中近景。

05-same-script-sad-voice.gif

執行 B,Atlas 測試環境,Avatar Omni Human 1.5。在 2 到 6 秒時,她更常看向鏡頭並保持淺笑。笑容在接近結尾時緩和,因此「從頭到尾」並未照字面遵循。與提供的悲傷台詞相比,視覺提示仍比執行 A 更不一致。

這兩個結果比一般「要有情緒」提示詞更清楚回答了標題的實務問題。單靠音訊並未在兩次生成中強制產生相同的可見情緒。文字方向影響了生成的視線與表情,而強烈微笑的輸入在開場仍保持可見。這些觀察適用於這兩次 1.5 執行。它們並未量化 Omni Human 2.0 的表情準確度。

檢查相同時刻,然後做一個改變

下方影格對照來自兩段真實影片約六秒處。左側結果往下看並將雙手靠攏;右側結果面向觀眾並帶著淺笑。這是輸出的視覺比較,不能取代以原聲播放片段。

image.png同一人像與悲傷音訊,約 00:06。左:克制方向。右:微笑方向。兩張影格皆來自實際 Omni Human 1.5 輸出。

為自己的片段進行三輪檢查:

  1. 不觀看,只聆聽。 標記帶有情感的詞語與停頓。在此測試中,關於看著門口與想念某人的台詞,就是需要保護的意義。
  2. 在那些時刻靜音觀看。 檢查眼睛、嘴角、頭部角度與手勢。說話者可以動嘴唇,卻仍顯得愉快或疏離。
  3. 同時播放聲音與畫面。 判斷臉部是支持台詞、削弱台詞,還是改變其意義。若失敗,改變一個輸入或指示,然後再次檢視相同時間戳。
這兩段片段中的時刻執行 A,克制方向執行 B,微笑方向比較支持什麼
開場兩者都繼承來源人像的燦爛笑容兩者都繼承來源人像的燦爛笑容在要求改變生效之前,來源表情就可見
約 00:04視線下垂,嘴部相對中性視線較靠近攝影機,表情較輕方向改變的不只是嘴部動作
約 00:06眼睛保持低垂;雙手交握眼睛面向攝影機;仍留有淺笑相同音訊可伴隨明顯不同的可見情感提示
約 00:08眼睛閉上,表情保持克制直視目光回來,但笑容已緩和兩個提示詞都未從頭到尾逐字遵循

這是有用的檢視表,不是數值品質分數。我們執行的樣本不足以將提示詞效果與模型的隨機變異分開。這些影片讓創作者判斷這個特定生成結果是否服務於預期句子。

更廣泛的對比:同一句台詞的憤怒與悲傷

執行 A 與 B 固定人像與錄音,以檢視一次方向變更。為了更明顯的情感對比,我們用同一位說話者與同一份台詞製作了兩段新短片。這次來源表情、語音語氣與影片方向都各自配合預期情緒。目的是展示兩個實用最終結果,而非聲稱單一參數造成差異。

共用的台詞是:你答應過你會在這裡。我等了一整晚,盯著門口。發生這件事後,我不知道該怎麼信任你。 在 Atlas 測試環境中,MiniMax Speech 2.6 HD 以相同的 English_captivating_female1 聲音、英文語言、速度 1、音量 1、音高 0 讀了兩次。我們將第一段錄音的情緒設為 angry(6.73 秒),第二段設為 sad(7.34 秒)。本文未嵌入任何音訊檔;GIF 為無聲。

從上方使用的同一張微笑照片開始,我們用 Seedream v4.7 Edit 製作了兩張參考人像。這些是實際輸入至虛擬人像模型的圖像:

image.png

左:眉毛低垂、皺起,嘴巴緊閉。右:內側眉毛上揚、眼睛濕潤、嘴角下彎。兩者都從原始微笑人像編輯而來;編輯也改變了細微臉部細節,因此兩個來源除了表情外並非像素完全相同。

憤怒人像的完整 Seedream 編輯指示為:

將女子的臉編輯成明顯憤怒但克制的表情:眉毛降低並皺在一起,眼睛瞇起成嚴厲直視,下顎緊繃,雙唇緊閉。保留同一位女子的身分、髮型、米色毛衣、橘色背景、光線、攝影風格、攝影角度與中景人像構圖。不要微笑,不要流淚,不要額外人物或物件。

悲傷人像則使用:

將女子的臉編輯成明顯悲傷:內側眉毛上揚並皺在一起,眼睛濕潤且低垂,嘴角向下,雙唇輕閉,肩膀略微下垂。保留同一位女子的身分、髮型、米色毛衣、橘色背景、光線、攝影風格、攝影角度與中景人像構圖。不要微笑,不要憤怒瞪視,不要額外人物或物件。

兩段完成的虛擬人像片段都使用 Avatar Omni Human 1.5、1080p 輸出與種子 20261021。長度為 6.76 與 7.40 秒,接近對應錄音。

執行 C:承諾被打破後的憤怒

憤怒人像與 angry 錄音搭配以下完整影片方向:

她以克制的憤怒直接對鏡頭說話。她的眉毛保持低垂並皺在一起,眼睛瞇起,下顎緊繃,片語之間嘴唇緊閉。在「promised」時,她微微前傾,短暫舉起一隻手指向;最後一句時,她保持強烈直視。不要微笑,不要流淚。保持攝影機穩定,中近景,橘色背景不變。

08-angry-betrayal.gif

執行 C,Atlas 測試環境,Avatar Omni Human 1.5。開場與中段左右,她以瞇眼與皺眉說話。表情在接近結尾時緩和;要求的指向手勢並不清楚可見。此 GIF 無聲。

執行 D:同一段承諾被打破後的悲傷

悲傷人像與 sad 錄音搭配不同方向:

她帶著悲傷對鏡頭說話。她的內側眉毛上揚並皺在一起,眼睛泛淚且低垂,肩膀下垂,嘴巴放鬆成微微下彎。在「waited all night」時,她往下看並停頓;接近最後一句時,她抬頭但不笑。不要憤怒瞪視或指向手勢。保持攝影機穩定,中近景,橘色背景不變。

09-sad-betrayal.gif

執行 D,Atlas 測試環境,Avatar Omni Human 1.5。濕潤的眼睛、淚水與上揚的內側眉毛在片段中保持可見。她大多面向攝影機,而非在要求的片語處清楚往下看。此 GIF 無聲。

在相同時刻,C 看起來緊張且帶對抗感,而 D 看起來悲痛。差異在完成影片中可見,不只是編輯後的起始影格。由於人像、錄音與方向全都一起改變,這些範例展示的是輸入互相匹配的工作流程,而非僅針對語音情感的受控測試。若要判斷任一張臉是否精確跟隨語氣,請以原聲檢視其原始影片;無聲 GIF 無法建立語音與表情的時間關係。

為說話或歌唱撰寫提示詞,不要與音軌相衝突

先從你希望觀眾注意到的音訊事件開始,然後寫出最小的可見動作。對於安靜台詞,要求視線低垂或嘴部克制,而不是「最大程度的悲傷」。若語氣要真正改變,請在聽得見的停頓之後放置微笑或點頭。如果錄音從頭到尾都悲傷,從頭到尾的愉快表情就是像執行 B 那樣刻意的不匹配。

唱歌也使用相同檢視原則,不過我們並未為本文生成唱歌片段。可測試的方向會是:中近景。歌手看起來專注,在持續音期間短暫閉眼,然後在樂句結束時下壓下巴。保持攝影機穩定。 提供的歌曲仍決定歌詞、音符長度與時間。以開著音樂的方式判斷真實唱歌輸出;靜態分鏡無法確認臉部是否跟隨持續音。

只有在錄音有明確節拍時,才保留「然後」或「最後」等時間詞。避免堆疊衝突方向,例如「固定攝影機」與「環繞攝影機」。如果提示詞漏掉一個節拍,簡化或移動一個提示,而不是同時重寫人像、音訊與方向。

疑難排解平淡或不匹配的表情

你注意到什麼可能需檢查的地方下一個最小測試
悲傷台詞以咧嘴笑開場人像本身在微笑在保持音訊與提示詞固定的情況下,嘗試使用開場表情適合場景的來源人像
臉部在嚴肅句子中保持愉快提示詞要求微笑或輕快語氣移除該指示,並要求一個具體的克制動作
臉部改變了,但嘴部時間點感覺不對來源錄音、剪輯或生成的結果使用更乾淨、更短的音訊剪輯,並比較相同詞語
提示詞要求一個從未出現的節拍錄音沒有聽得見的停頓或轉變將方向移到實際停頓處,或移除它
兩個輸出差異比預期小模型可能未遵循每個表情提示再嘗試生成一次,然後判斷此限制是否對使用案例重要

執行 A 與 B 也顯示為什麼「更多提示詞細節」不是萬用修正。兩者都未遵循其方向中的每個字。有用結果是更具體的診斷:來源笑容在開場持續,而後續視線與表情可以不同。這告訴你下一步該改變哪個部分。

OmniHuman 2.0 在 Atlas Cloud 上可用嗎?

是的,目前的英文 Atlas 模型頁面 列出了 Avatar Omni Human 2.0。這更正了本文先前的版本,該版本稱此模型未列於目錄中。列出並不等同於在每個環境都能成功生成。在 2026 年 10 月 20 日,我們透過 Atlas 開發 Playground 提出的 2.0 請求因上游訊息 req_key <realman_avatar_picture_omni20_cv> not supported 而停止;其頁面表示失敗的請求未被收費。該次嘗試未產生 2.0 影片。上方成功片段因此標示為 1.5。

對於實際專案,請開啟確切模型頁面,並用自己的輸入確認一次完成的執行。2.0 頁面列出圖像、4 到 300 秒的 MP3 或 WAV、可選提示詞方向,以及 720p 輸出。1.5 文件有不同限制與解析度選項,因此不要將本文的 1.5 片段視為 2.0 基準測試。請查看目前 Atlas 模型目錄以了解即時可用性與定價。

發布前檢查權利與情境

在分享動畫人物之前,請確認已取得將該人像與聲音用於預期目的的許可。也要針對情境檢視音樂、肖像、聲音與發行權。當觀眾可能誤以為是紀錄片素材或真人當前聲明時,請標示合成或編輯過的影片。將來源圖像、音訊、提示詞與輸出保存在一起,讓協作者能了解實際生成了什麼。

對 OmniHuman 2.0 情感語音與臉部表情匹配 而言,下一個有用步驟是使用完成的 2.0 輸出進行受控測試:選擇起始表情適合錄音的人像,標記一個情感節拍,撰寫一個可見方向,然後在有聲與無聲下比較相同時間戳。上方四段 1.5 影片展示如何進行該檢查,以及衝突笑容可能長什麼樣子。

常見問題

OmniHuman 2.0 會在此工作流程中生成聲音嗎?

Atlas 模型頁面將上傳的音軌描述為必要輸入。在本文中,另一個 MiniMax 語音模型先製作了語音錄音;虛擬人像模型再根據該 MP3 驅動人像。不要將虛擬人像輸出視為它發明口說台詞的證據。

為什麼悲傷聲音仍有笑臉?

起始圖像與可選的輕快提示詞可能傾向笑容,即使詞語是悲傷的。執行 A 與 B 從同一張微笑照片開始,但當方向改變時,後續視線與表情不同。在決定哪個提示主導之前,先以有聲方式檢視自己的片段。

OmniHuman 2.0 能製作唱歌動畫嗎?

Atlas 將唱歌列為 2.0 的使用案例,並由音訊提供表演。我們並未在此完成 2.0 唱歌執行。使用一段簡短、以人聲為主的段落,並在有聲的真實影片中檢查持續音與樂句結尾。

提示詞應重複對白或歌詞嗎?

通常不需要。音訊已提供詞語與時間。請以與錄音一致的用語來指示可見表情、手勢、取景或場景。

本文有生成 OmniHuman 2.0 影片嗎?

沒有。Atlas 測試環境中的 2.0 請求在渲染前失敗。本文以 GIF 顯示的兩個結果是在該環境中使用 Avatar Omni Human 1.5 生成,並已據此標示。

最新模型

一個 API,暢享全模態 AI。

探索全部模型