Một giọng nói có thể nghe như thể ai đó đang cố nén nước mắt trong khi khuôn mặt hoạt họa vẫn trung tính. Với khớp giọng nói cảm xúc và biểu cảm khuôn mặt OmniHuman 2.0, cách khắc phục đầu tiên thường là nghe kỹ hơn, chứ không phải thêm nhiều tính từ. Âm thanh đã mang theo từ ngữ, nhịp điệu và nhấn giọng; một prompt ngắn nên hướng dẫn phần trình diễn hiển thị hỗ trợ những tín hiệu đó.
Hướng dẫn này cung cấp cho nhà sáng tạo một cách làm có thể lặp lại để chuẩn bị ảnh chân dung và bản âm thanh, viết một prompt tập trung và xem xét kết quả để tìm ra những điểm không khớp có ý nghĩa. Nội dung bao gồm cả nói và hát, đồng thời tách biệt thông tin đã được ghi nhận khỏi hướng dẫn của bên thứ ba và các tuyên bố sản phẩm chưa được xác minh.
Những điểm chính
- Coi âm thanh là nền tảng của phần trình diễn và chỉ hướng dẫn các hành động hiển thị, khung hình và chi tiết bối cảnh.
- Đánh dấu các nhịp cảm xúc trước khi viết prompt, sau đó kiểm tra chính những khoảnh khắc đó khi tắt tiếng và bật tiếng.
- Mỗi lần thử lại chỉ thay đổi một biến; prompt không thể khắc phục mọi vấn đề của âm thanh nguồn hoặc quá trình tạo.
Cách OmniHuman 2.0 kết nối âm thanh, biểu cảm khuôn mặt và chuyển động
Một cách hữu ích để nghĩ về mô hình chân dung điều khiển bằng âm thanh là gán cho mỗi đầu vào một nhiệm vụ. Hình ảnh neo chủ thể hiển thị. Bản ghi cung cấp lời nói hoặc bài hát, bao gồm nhịp điệu và cách thể hiện. Chỉ dẫn văn bản tùy chọn có thể mô tả phần trình diễn hoặc bối cảnh. Hành vi và điều khiển chính xác có thể khác nhau tùy theo cách triển khai sản phẩm, vì vậy đừng coi nghiên cứu OmniHuman nói chung hoặc hướng dẫn của studio bên thứ ba là thông số kỹ thuật chính thức của OmniHuman 2.0.
Nghiên cứu OmniHuman-1 gốc mô tả hoạt họa người được điều kiện hóa trên sự kết hợp của hình ảnh, văn bản, âm thanh và tư thế. Bài báo đó thiết lập khung khái niệm rộng hơn của nhóm nghiên cứu, không phải giao diện, giới hạn hay chất lượng chính xác của OmniHuman 2.0 (ICCV 2025, bài báo OmniHuman-1).
| Đầu vào | Đóng góp có thể có | Những gì bạn có thể chuẩn bị |
|---|---|---|
| Ảnh chân dung tham chiếu | Ngoại hình chủ thể và tư thế bắt đầu | Chọn khuôn mặt rõ ràng và khung hình phù hợp với chuyển động dự định |
| Âm thanh nói hoặc hát | Từ ngữ, nhịp điệu, khoảng lặng, năng lượng giọng nói | Dùng bản âm thanh sạch với cách thể hiện có chủ đích và cắt bỏ khoảng lặng không liên quan |
| Prompt chỉ hướng tùy chọn | Hành động hiển thị, khung hình, bối cảnh hoặc tín hiệu tâm trạng | Đưa ra một vài chỉ dẫn cụ thể phù hợp với bản ghi |
Đồng bộ khẩu hình và phần trình diễn cảm xúc có liên quan với nhau, nhưng không phải là cùng một kiểm tra chất lượng. Miệng có thể bám theo âm tiết trong khi mắt, đầu hoặc cử chỉ lại không phù hợp với câu nói. Tương tự, khuôn mặt có thể trông biểu cảm trong khi nhịp điệu lệch khỏi giọng nói. Hãy xem xét cả hai.
Các hướng dẫn OmniHuman 2.0 của bên thứ ba mô tả quy trình làm việc hình ảnh cộng âm thanh với chỉ dẫn văn bản tùy chọn, nhưng những trang đó không phải là tài liệu kỹ thuật của BytePlus. Tài liệu Atlas Cloud được công khai đề cập đến mô hình Avatar Omni Human 1.5 của riêng mình, không phải OmniHuman 2.0. Do đó, giả định làm việc an toàn nhất là thực tế chứ không tuyệt đối: hãy để âm thanh gợi ý phần trình diễn cần gì, và dùng prompt để yêu cầu những lựa chọn hiển thị mà bạn có thể kiểm tra.
Chọn ảnh chân dung và bản âm thanh giúp cảm xúc dễ đọc được
Một mô hình không thể hành động dựa trên những tín hiệu khó nhìn hoặc khó nghe. Hãy bắt đầu với các đầu vào cho nó một nhiệm vụ đơn giản, công bằng, sau đó giữ chúng cố định trong khi bạn thử nghiệm cách diễn đạt prompt.
| Đầu vào ban đầu | Vì sao có thể hữu ích | Điều phức tạp cần lưu ý |
|---|---|---|
| Khuôn mặt sắc nét, không bị che khuất với ánh sáng đều | Giúp các đặc điểm khuôn mặt dễ đọc | Bóng đổ mạnh, tóc, tay hoặc đạo cụ có thể che các vùng quan trọng |
| Tư thế bắt đầu trung tính hoặc biểu cảm nhẹ | Chừa chỗ cho phần trình diễn thay đổi | Một biểu cảm cố định mạnh có thể xung đột với tâm trạng giọng nói khác |
| Một giọng nói nổi bật ở tiền cảnh | Giúp lời nói và khoảng lặng dễ theo dõi hơn | Nhạc, tiếng ồn phòng hoặc người nói chồng lấn có thể che tín hiệu |
| Cách diễn đạt có chủ đích với khoảng lặng nghe được | Cho bạn những khoảnh khắc để ánh xạ sang hành động hiển thị | Cách thể hiện đều đều có thể có ít thay đổi cảm xúc rõ ràng hơn |
| Bài hát chú trọng giọng hát với các câu rõ ràng | Giúp nhận diện từ được hát và sắc thái dễ hơn | Các đoạn nhạc nền cung cấp ít tín hiệu giọng hát cho chuyển động miệng |
So sánh chân dung minh họa: góc nhìn rõ ràng, hướng chính diện giúp kiểm tra tín hiệu khuôn mặt dễ hơn so với góc nhìn bị đổ bóng, che khuất một phần. Đây không phải là so sánh kết quả đầu ra của mô hình.
Đây là những kiểm tra sản xuất, không phải bảo đảm. Một đầu vào tốt vẫn có thể tạo ra bản dựng yếu, và một ảnh chân dung biểu cảm về mặt hình ảnh không bảo đảm một hoạt họa mạch lạc. Với lần thử đầu tiên, hãy dùng một ảnh chân dung, một đoạn âm thanh ngắn và một prompt duy nhất. Tránh thay đổi đồng thời phần cắt, bản ghi và chỉ dẫn; nếu không, bạn sẽ không biết điều chỉnh nào đã giúp ích.
Với phần hát, hãy lắng nghe phần kết câu, nốt ngân dài và những thay đổi về cường độ. Prompt có thể hướng dẫn động tác nghiêng đầu hoặc cử động tay quanh một nhịp nhạc, nhưng không nên lặp lại lời bài hát vốn đã có trong bản ghi. Với lời thoại nói, hãy đánh dấu khoảng lặng và từ nhấn mạnh. Một prompt yêu cầu thay đổi tâm trạng lớn trong một câu bình tĩnh liên tục có thể tạo ra phần trình diễn có cảm giác bị áp đặt.
Khung prompt để khớp giọng nói và biểu cảm khuôn mặt
Giữ chỉ dẫn đủ ngắn để có thể đánh giá. Một cấu trúc thực tế là:
Khung hình + người nói và cách thể hiện + cảm xúc nhất quán với bản âm thanh + một hoặc hai hành động hiển thị + chỉ dẫn máy quay tùy chọn.
Ví dụ, nếu một người nói nghe ấm áp và điềm tĩnh, bạn có thể viết:
Cận cảnh trung bình tĩnh. Người phụ nữ nói ấm áp với máy quay, bắt đầu điềm tĩnh và để một nụ cười nhẹ xuất hiện ở câu cuối. Cô ấy gật đầu nhẹ nhàng một lần sau khoảng lặng. Giữ khung hình ổn định.
Đây là một prompt minh họa, không phải kết quả chạy OmniHuman 2.0 được báo cáo. Điểm hữu ích của nó là mỗi chỉ dẫn ánh xạ tới một điều gì đó hiển thị: cảnh quay giữ ổn định, biểu cảm thay đổi gần cuối và cái gật đầu có tín hiệu. Bạn có thể so sánh kết quả với bản âm thanh thay vì đánh giá một yêu cầu chung chung như “hãy biểu cảm”.
Một hướng dẫn prompt của bên thứ ba khuyến nghị chỉ dẫn bằng ngôn ngữ tự nhiên ngắn gọn và khớp cảm xúc được yêu cầu với giọng nói. Hãy coi đó là một phương pháp thực tế, không phải bảo đảm hay quy tắc sản phẩm chính thức (hướng dẫn prompt KreatorFlow).
Trước khi dùng một prompt, hãy kiểm tra nó với bản ghi:
- Nếu giọng nói nhỏ và kìm nén, hãy yêu cầu biểu cảm tinh tế thay vì nụ cười rộng.
- Nếu cách thể hiện trở nên tự tin hơn, hãy đặt thay đổi hiển thị sau khi tín hiệu âm thanh chuyển biến.
- Nếu bản ghi có tiếng cười, khoảng lặng hoặc tiếng thở dài, hãy quyết định xem khuôn mặt nên giữ nguyên, phản ứng hay chuyển động tại thời điểm đó.
- Nếu ảnh chân dung ban đầu đã thể hiện biểu cảm mong muốn, tránh mô tả lại trừ khi bạn muốn biểu cảm thay đổi.
Chỉ dùng các từ chỉ thời gian như “đầu tiên”, “sau đó” và “cuối cùng” khi âm thanh có nhịp rõ ràng. Tránh xếp chồng các chỉ dẫn xung đột như “khung hình tĩnh” và “máy quay quay quanh”, hoặc “bình tĩnh” và “giận dữ”. Prompt là chỉ dẫn cho một phần trình diễn đã có, không phải bản âm thanh giọng nói thay thế.
Ba mẫu prompt cho nói, chuyển biến cảm xúc và hát
Chọn mẫu nhỏ nhất phù hợp với âm thanh của bạn. Những ví dụ này là mẫu để điều chỉnh, không phải tuyên bố đầu ra đã được xác minh.
Giải thích bình tĩnh
Cận cảnh trung bình ổn định. Người nói giải thích luận điểm một cách bình tĩnh, với biểu cảm điềm tĩnh và một cử chỉ nhấn mạnh nhỏ. Giữ máy quay cố định.
Dùng mẫu này khi bản âm thanh đều đặn và nhất quán. Một cử chỉ có thể làm nhấn mạnh trở nên hiển thị mà không biến một lời giải thích đơn giản thành phần trình diễn kịch tính.
Thay đổi cảm xúc
Cận cảnh tĩnh. Người nói bắt đầu nghiêm túc, sau đó dịu lại thành một nụ cười nhẹ sau khoảng lặng trước câu cuối. Giữ chuyển động kìm nén.
Chỉ dùng mẫu này khi bản ghi có khoảng lặng hoặc thay đổi nghe được hỗ trợ cho chuyển biến đó. Nếu không có tín hiệu, sự chuyển tiếp có thể trông tùy tiện.
Bảng phân cảnh khái niệm cho prompt nói: thể hiện nghiêm túc, một khoảng lặng, rồi một nụ cười kìm nén. Đây là những nhịp khuôn mặt được lên kế hoạch, không phải khung hình từ một lần tạo OmniHuman 2.0.
Hát
Cận cảnh trung bình. Ca sĩ biểu diễn với biểu cảm tập trung, nhắm mắt lại trong chốc lát ở nốt ngân dài, sau đó hạ cằm xuống khi câu kết thúc. Giữ khung hình ổn định.
Hãy hướng dẫn phần trình diễn quanh các sự kiện âm nhạc thay vì nhắc lại lời bài hát. Prompt có thể gợi ý hành động hiển thị; bản âm thanh được cung cấp vẫn là nguồn của từ được hát và nhịp điệu.
Bảng phân cảnh khái niệm cho prompt hát: bắt đầu câu, ngân một nốt, rồi ổn định ở cuối. Ảnh tĩnh không thể hiện đồng bộ âm thanh.
Hãy so sánh “hãy biểu cảm và điện ảnh” với “nói ấm áp, rồi mỉm cười sau khoảng lặng.” Câu đầu để cảm xúc, nhịp điệu và hành động hiển thị mở cho nhiều cách diễn giải. Câu thứ hai cho bạn một khoảnh khắc cụ thể để kiểm tra. Nếu kết quả bỏ lỡ khoảnh khắc đó, bạn có một phép thử tiếp theo có mục tiêu: di chuyển tín hiệu, làm dịu biểu cảm hoặc chọn một bản chỉnh âm thanh khác.
Kiểm tra ba lượt để căn chỉnh giọng nói và khuôn mặt
Một phương pháp xem xét nhanh có thể cho thấy vấn đề nằm ở âm thanh, chỉ dẫn hình ảnh hay bản dựng được tạo. Hãy dùng cùng mốc thời gian trong cả ba lượt.
Vòng lặp im lặng bên dưới cho bạn kiểm tra phần hiển thị của một màn trình diễn nói: chuyển động miệng, ánh nhìn và thay đổi khuôn mặt. Dùng clip gốc có tiếng để kiểm tra giọng nói với khuôn mặt.
GIF im lặng được chuyển đổi từ video avatar được cung cấp. Nó cho thấy chuyển động hiển thị nhưng tự nó không thể thiết lập đồng bộ âm thanh hay phần trình diễn OmniHuman 2.0.
- Nghe mà không xem. Đánh dấu các thay đổi cảm xúc, khoảng lặng, nhấn mạnh, tiếng cười, tiếng thì thầm và phần kết câu. Viết ra những gì người nghe có thể suy luận chỉ từ giọng nói.
- Xem ở chế độ tắt tiếng. Tại những mốc thời gian đó, ghi chú khuôn mặt, ánh nhìn, chuyển động đầu và cử chỉ. Ghi lại phần trình diễn dường như truyền đạt điều gì khi không có âm thanh.
- Phát cả hai cùng nhau. Chỉ đánh dấu những điểm không khớp làm thay đổi ý nghĩa hoặc gây xao nhãng khỏi câu nói. Một nụ cười nhẹ dưới một câu đau khổ có thể quan trọng; một cái chớp mắt nhỏ thường thì không.
Một bảng xem xét biến những quan sát đó thành một hành động tiếp theo:
| Thời gian | Tín hiệu giọng nói | Tín hiệu hiển thị | Khớp? | Phép thử tiếp theo nhỏ nhất |
|---|---|---|---|---|
| 00:04 | Câu nói nhỏ, căng thẳng | Nụ cười rộng | Không | Giảm cường độ nụ cười được yêu cầu |
| 00:09 | Khoảng lặng trước một câu trấn an | Khuôn mặt vẫn đứng yên | Có thể | Thêm một cái gật đầu tinh tế sau khoảng lặng |
| 00:13 | Tiếng cười trong bản ghi | Biểu cảm vẫn nghiêm túc | Không | Kiểm tra xem bản chỉnh âm thanh có giữ tiếng cười rõ ràng không |
Các mục ở trên là ví dụ giả định về cách dùng bảng, không phải quan sát từ một lần chạy mô hình. Ghi chú xem xét của bạn nên tham chiếu đến clip của chính bạn. Mỗi lần chỉ thay đổi một thứ: chỉnh sửa prompt, điều chỉnh bản chỉnh âm thanh hoặc thử một ảnh chân dung khác. Sau đó lặp lại các kiểm tra tương tự ở cùng những khoảnh khắc.
Nếu sự không khớp vẫn tiếp diễn dù có tín hiệu rõ ràng và chỉ dẫn tập trung, hãy coi đó là giới hạn tạo sinh cho bản dựng đó. Thêm nhiều tính từ có thể gây nhiễu mà không giải quyết vấn đề nhịp điệu hoặc trình diễn. Hãy quyết định xem có đáng thử một đầu vào hoặc quy trình khác không, hay bản dựng đã phù hợp với bối cảnh dự định.
Khắc phục biểu cảm đều đều hoặc không khớp
Dùng triệu chứng để chọn bước tiếp theo có kiểm soát. Đây là những giả thuyết khắc phục sự cố chung, không phải tuyên bố lỗi OmniHuman 2.0 đã được xác minh.
| Điều bạn nhận thấy | Nguyên nhân có thể | Một phép thử tiếp theo |
|---|---|---|
| Khuôn mặt trông trung tính suốt clip | Giọng nói ít tương phản hoặc chỉ dẫn không có tín hiệu hiển thị | Dùng một đoạn âm thanh biểu cảm hơn hoặc yêu cầu một hành động cụ thể ở nhịp rõ ràng |
| Khuôn mặt diễn quá đà với một câu tinh tế | Prompt yêu cầu cảm xúc mạnh hơn mức bản âm thanh hỗ trợ | Bỏ các hành động thừa và giảm cường độ cảm xúc |
| Miệng có vẻ sai thời điểm | Bản ghi có tiếng ồn, giọng chồng lấn, khoảng lặng dài hoặc đoạn cắt khó | Thử một bản chỉnh sạch hơn với thời gian khớp hơn trước khi viết lại prompt |
| Một người nghe có vẻ đang nói trong ảnh nhóm | Vai trò người nói và người nghe có thể mơ hồ trong quy trình được kiểm thử | Xác định từng người theo vị trí và chỉ rõ ai nói, nếu giao diện hỗ trợ |
| Danh tính hoặc chi tiết nhỏ thay đổi trong khi chuyển động | Khung hình nguồn hoặc chuyển động được yêu cầu có thể khiến việc đánh giá tính nhất quán khó hơn | Đơn giản hóa chuyển động và so sánh một bản dựng ngắn hơn, ổn định hơn |
Đừng mặc định rằng chỉ cần sửa prompt là giải quyết được vấn đề âm thanh. Trước tiên hãy kiểm tra xem từ ngữ có rõ ràng không và khoảng lặng hoặc các chỉnh sửa có làm gián đoạn nhịp điệu không. Nếu những điểm đó ổn, hãy đơn giản hóa chỉ dẫn hiển thị. Một lần thử lại tập trung cho bạn bằng chứng tốt hơn so với việc viết lại mọi đầu vào cùng lúc.
OmniHuman 2.0 có khả dụng trên Atlas Cloud không?
Các trang mô hình công khai hiện tại của Atlas Cloud liệt kê Avatar Omni Human 1.5 và ghi lại các đầu vào hình ảnh, âm thanh và prompt tùy chọn của mô hình này. Tôi không tìm thấy OmniHuman 2.0 trong danh sách mô hình Atlas trong lần kiểm tra này. Điều đó có nghĩa là mô hình 2.0 chính xác không nên được trình bày như có thể chạy qua Atlas Cloud.
Nếu bạn muốn khám phá một tác vụ avatar điều khiển bằng âm thanh liên quan trên Atlas, hãy xem trang mô hình Avatar Omni Human 1.5 và các đầu vào được ghi lại của nó. Tài liệu chỉ định một ảnh tham chiếu, một URL âm thanh và một prompt tùy chọn; họ mô tả âm thanh dài tối đa 60 giây và khuyến nghị 15 giây hoặc ít hơn để có chất lượng tốt nhất. Đó là chi tiết v1.5, không phải thông số kỹ thuật OmniHuman 2.0. Kiểm tra danh mục mô hình Atlas hiện tại để biết tình trạng khả dụng và giá trực tiếp trước khi chọn quy trình làm việc. Tôi không thể xác nhận giá công khai hiện tại cho mô hình này trong quá trình nghiên cứu, vì vậy bài viết này không đưa ra mức giá nào.
Kiểm tra quyền và bối cảnh trước khi xuất bản
Trước khi chia sẻ một người đã được hoạt họa, hãy xác nhận rằng bạn có quyền sử dụng ảnh chân dung và giọng nói cho mục đích dự định. Đồng thời xem xét quyền âm nhạc, hình ảnh cá nhân, giọng nói và phân phối cho bối cảnh cụ thể. Các yêu cầu có thể khác nhau tùy theo tài liệu nguồn và mục đích sử dụng; danh sách kiểm tra này là hướng dẫn thực tế, không phải kết luận pháp lý.
Hãy dán nhãn phương tiện tổng hợp hoặc đã chỉnh sửa khi người xem có thể nhầm nó với tư liệu phim tài liệu hoặc tuyên bố hiện tại của một người thật. Giữ ghi chú dự án về các tệp nguồn và chỉnh sửa, đặc biệt với công việc cho khách hàng hoặc chiến dịch. Một phần trình diễn khớp về mặt kỹ thuật vẫn cần bối cảnh xuất bản có trách nhiệm.
Đối với khớp giọng nói cảm xúc và biểu cảm khuôn mặt OmniHuman 2.0, bước hữu ích tiếp theo là một phép thử có kiểm soát: chọn một ảnh chân dung rõ ràng, đánh dấu các nhịp cảm xúc của âm thanh, viết một chỉ dẫn ngắn và xem xét cùng các mốc thời gian khi tắt và bật tiếng. Nếu bạn đang cân nhắc một tùy chọn do Atlas lưu trữ, hãy xác minh mô hình chính xác và giá hiện tại trước.
Câu hỏi thường gặp
OmniHuman 2.0 có tạo giọng nói không?
Quy trình làm việc được mô tả bởi các hướng dẫn của bên thứ ba bắt đầu với âm thanh được cung cấp và hoạt họa ảnh chân dung theo âm thanh đó. Đừng mặc định rằng mô hình tạo giọng nói trừ khi giao diện sản phẩm cụ thể ghi lại khả năng đó.
OmniHuman 2.0 có thể hoạt họa cả hát lẫn nói không?
Các hướng dẫn OmniHuman 2.0 của bên thứ ba mô tả việc dùng cả âm thanh nói và hát. Với một phép thử hát, hãy dùng một đoạn chú trọng giọng hát với cách ngắt câu rõ ràng, sau đó hướng dẫn các hành động hiển thị quanh một nốt ngân dài hoặc phần kết câu.
Prompt có nên lặp lại lời thoại hoặc lời bài hát không?
Thường thì không. Bản ghi đã cung cấp từ ngữ. Hãy dùng prompt cho chỉ dẫn hiển thị như biểu cảm, cử chỉ, khung hình hoặc tín hiệu bối cảnh, và tránh thêm từ ngữ xung đột với bản âm thanh.
Tôi nên thay đổi gì trước nếu biểu cảm có vẻ sai?
Dùng kiểm tra ba lượt để xác định điểm không khớp. Nếu bản thân âm thanh không rõ ràng hoặc cảm xúc đều đều, hãy thử chỉnh âm thanh trước. Nếu tín hiệu rõ ràng nhưng khuôn mặt bỏ lỡ nó, hãy đơn giản hóa và điều chỉnh lại thời gian của một chỉ dẫn prompt.
OmniHuman 2.0 có trên Atlas Cloud không?
Tôi không tìm thấy OmniHuman 2.0 trong danh mục mô hình công khai của Atlas Cloud trong quá trình nghiên cứu này. Atlas ghi lại Avatar Omni Human 1.5 như một tùy chọn liên quan; hãy xác minh danh sách hiện tại trước khi bạn chọn nó.
