マルチモーダルAIは、文章や画像、音声など、複数の種類の情報、つまり「モード」を扱えます。通常のテキスト専用ツールは主に文章を入力・出力しますが、マルチモーダルツールは写真を説明したり、話し言葉に応答したりすることもあります。
たとえば、分かりにくいアプリ画面の画像をAIに見せて、ボタンが何をするように見えるか尋ねられます。AIは質問とともに画像を入力として使います。
AIは見たり聞いたりした内容を誤解することがあります。特に、ぼやけた画像や不明瞭な録音で答えが変わりうる場合は、重要な点を自分で確認してください。