Dalam lingkungan yang kompleks, manusia dapat memahami arti ucapan lebih baik daripada AI, karena kita tidak hanya menggunakan telinga tetapi juga mata kita.
Misalnya, kita melihat mulut seseorang bergerak dan mungkin secara intuitif mengetahui bahwa suara yang kita dengar pasti berasal dari orang tersebut.
Meta AI tengah menggarap sistem dialog AI baru, yang dimaksudkan untuk mengajarkan AI agar juga belajar mengenali korelasi halus antara apa yang dilihat dan didengarnya dalam percakapan.
VisualVoice belajar dengan cara yang sama seperti bagaimana manusia belajar menguasai keterampilan baru, memungkinkan pemisahan ucapan audio-visual dengan mempelajari isyarat visual dan pendengaran dari video yang tidak berlabel.
Bagi mesin, ini menciptakan persepsi yang lebih baik, sementara persepsi manusia meningkat.
Bayangkan jika Anda dapat berpartisipasi dalam rapat kelompok di metaverse bersama rekan-rekan dari seluruh dunia, bergabung dalam rapat kelompok yang lebih kecil sembari mereka bergerak melalui ruang virtual, di mana gaung suara dan warna nada dalam suasana menyesuaikan diri dengan lingkungannya.
Artinya, ia dapat memperoleh informasi audio, video, dan teks pada saat yang sama, dan memiliki model pemahaman lingkungan yang lebih kaya, yang memungkinkan pengguna memperoleh pengalaman suara yang "sangat mengagumkan".
Waktu posting: 20-Jul-2022
