[tt] AI VASA-1: tạo video chân dung người nói chỉ bằng 1 hình tĩnh + voice

Từ một tấm hình chân dung + một đoạn ghi âm giọng nói, model VASA-1 của nhóm nghiên cứu Microsoft châu Á có thể tạo ra một đoạn video lip sync với đầy đủ biểu cảm gương mặt, góc mặt, chuyển động đầu, mắt, miệng, các cơ trên mặt,... Tất cả đều được AI tạo ra real time.

Theo nhóm nghiên cứu, VASA là một framework không chỉ có khả năng tạo ra chuyển động của môi, miệng một cách đồng bộ với âm thanh mà nó còn tạo ra nhiều biến đổi khác trên gương mặt để cố "giống thật" nhất. Họ cho biết gen model đã xử lý toàn bộ các biến đổi trên gương mặt và cả các góc mặt trong không gian latent để tạo ra kết quả cuối cùng là một video 512 x 512, 40 fps với độ trễ của tiếng và hình là không đáng kể.



Về hiệu quả, VASA có thể chạy với phần cứng desktop 1 con GPU 4090, đoạn video tạo ra ở chế độ phát trực tiếp chỉ có độ trễ 170ms khi play.

Hiện nhóm vẫn chưa có kế hoạch phát hành API hay sản phẩm cụ thể của VASA. Bên dưới đây là một số thí dụ, họ tạo ra những chân dung người bên dưới bằng StyleGAN2 hoặc DALL.E-3. Mời anh em xem qua.

Clip trong nguồn:
https://tinhte.vn/thread/microsoft-....3779737/?ta_from_block=home_featured_threads

 

Lừa đảo bây giờ nó fake cả số điện thoại, giờ fake cả video call thì đỡ bằng nồi

 

Xin hướng dẫn tạo video buscu để áp hình crush vào

 

Giờ chắc chỉ nhận ck đúng stk người đang ngồi trước mặt

 

chuyển sang hết giao dịch bằng ngân lượng, kim nguyên bảo ... để tránh lừa đảo. Đi nhận tiền vác theo 1 ô tô tải. Vàng bạc trong nhà đúc thành chuông vài tấn ăn trộm bằng mắt