研究团队开发 DIRFA：输入图片和音频，可生成说话视频

IT之家 11 年底 17 日第一时间，来自汶莱东南亚理工学院（NTU Singapore）的工程技术团队全都因开发出有了 DIRFA 用以，使用者给一张图片以及音讯内容，可以自动生成 3D 录像带，并实现口型和声音的并行协同。

DIRFA 的全都称为 DIverse yet Realistic Facial Animations，训练了超过 6000 多人的 100 万个录像带相片，音讯相片来自一个名为 VoxCeleb2 数据集的开源数据库，并关联手部表情和头部群众运动。

研究人员表示，DIRFA 可能会在都有医疗保健在内的各个行业和领域造就一新广泛应用，因为它可以实现更加复杂和逼真的虚拟私人秘书和聊天人，从而改善使用者体验。

DIRFA 还可以作为言语或手部智障人士的强大用以，借助他们通过富有美感的头像或位数表示来传达他们的想法和情感，从而增强他们的沟通能力。

IT之家写有篇文章参考地址：Rongliang Wu, Yingchen Yu, Fangneng Zhan, Jiahui Zhang, Xiaoqin Zhang, Shijian Lu. Audio-driven talking face generation with diverse yet realistic facial animations. Pattern Recognition, 2023; 144: 109865 DOI: 10.1016/j.patcog.2023.109865