マルチモーダルモデルとは、画像、動画、テキストなど異なるモダリティからの情報を処理できる機械学習（ML）モデルである。例えばGoogleのマルチモーダルモデル「Gemini」は、クッキーの盛り合わせ写真を受け取るとレシピを文章で生成し、その逆も可能である。生成AIとは、単一タイプのプロンプトからテキスト、画像、音楽、音声、動画などの新規コンテンツを生成する機械学習モデルの総称である。マルチモーダルAIは、画像・動画・テキストなど複数のモダリティからの情報を処理することで、こうした生成能力を拡張します。マルチモーダリティとは、AIに異なる感覚モードを処理・理解する能力を与えるものと捉えられます。実用面では、ユーザーが単一の入力・出力タイプに制限されず、事実上あらゆる入力でモデルにプロンプトを与え、事実上あらゆるコンテンツタイプを生成できることを意味します。