Çok modlu yapay zekâ; yazı, görsel ve ses gibi birden fazla bilgi türüyle, yani “mod” ile çalışabilir. Yalnızca metin kullanan sıradan bir araç çoğunlukla metin alıp verir; çok modlu bir araç fotoğrafı açıklayabilir veya konuşulan sözlere yanıt verebilir.
Örneğin, anlaşılması güç bir uygulama ekranının görselini yapay zekâya gösterip düğmelerin ne işe yaradığını sorabilirsiniz. Yapay zekâ, sorunuzla birlikte görseli de girdi olarak kullanır.
Yapay zekâ gördüklerini veya duyduklarını yine de yanlış anlayabilir. Özellikle bulanık bir görüntü veya anlaşılmayan kayıt yanıtı değiştirebilecekse önemli ayrıntıları kendiniz kontrol edin.