Dalam lingkungan yang kompleks, manusia dapat memahami makna ucapan lebih baik dibandingkan AI, karena kita tidak hanya menggunakan telinga, namun juga mata.
Misalnya, kita melihat mulut seseorang bergerak dan mungkin secara intuitif mengetahui bahwa suara yang kita dengar pasti berasal dari orang tersebut.
Meta AI sedang mengerjakan sistem dialog AI baru, yang mengajarkan AI untuk juga belajar mengenali korelasi halus antara apa yang dilihat dan didengarnya dalam percakapan.
VisualVoice belajar dengan cara yang mirip dengan cara manusia belajar menguasai keterampilan baru, memungkinkan pemisahan ucapan audio-visual dengan mempelajari isyarat visual dan pendengaran dari video tanpa label.
Bagi mesin, hal ini menciptakan persepsi yang lebih baik, sementara persepsi manusia meningkat.
Bayangkan bisa berpartisipasi dalam pertemuan kelompok di metaverse dengan rekan-rekan dari seluruh dunia, bergabung dalam pertemuan kelompok yang lebih kecil saat mereka bergerak melalui ruang virtual, di mana suara reverb dan warna nada dalam adegan akan menyesuaikan dengan lingkungan.
Artinya, ia dapat memperoleh informasi audio, video, dan teks secara bersamaan, serta memiliki model pemahaman lingkungan yang lebih kaya, memungkinkan pengguna mendapatkan pengalaman suara yang "sangat wow".
Waktu posting: 20 Juli-2022
