A IA multimodal pode trabalhar com mais de um tipo de informação, ou “modalidade”, como texto, imagens e áudio. Uma ferramenta somente de texto recebe e retorna principalmente texto; uma ferramenta multimodal também pode descrever uma foto ou responder a palavras faladas.
Por exemplo, você pode mostrar a uma IA a imagem de uma tela confusa de um app e perguntar o que os botões parecem fazer. Ela usa a imagem como parte da entrada, junto com sua pergunta.
A IA ainda pode interpretar mal o que vê ou ouve. Confira os detalhes importantes por conta própria, principalmente quando uma imagem borrada ou uma gravação pouco clara puder mudar a resposta.