マルチモーダルAIとは
ことばの意味
マルチモーダルAIとは
マルチモーダルAIとは、文章・画像・音声・数値など、種類の異なる複数のデータを同時に理解し、組み合わせて判断できるAIのことです。図面(画像)と帳票(文字)をまたいだ問いにも答えられます。
文章だけ、画像だけ、ではなく、複数の種類の情報をまとめて扱えるAIがマルチモーダルAIです。図面と帳票を同時に読むような、製造業の現場に近い使い方を可能にします。
製造業の情報は、一種類で完結しない
製造業の情報は、一種類では完結しません。たとえば一つの案件は、図面(画像)・仕様書(文章)・部品表(数値)が組み合わさってできています。従来のAIはこれらを別々にしか扱えませんでしたが、マルチモーダルAIは「図面に書かれた形状」と「帳票に書かれた指示」をひとまとめに読み取れます。
画像と文字をまたいで、問いに答える
これにより、「この図面に対応する見積はいくらだったか」のように、画像と文字をまたいだ問いにも答えられるようになります。図面と帳票を別々に管理していると、この横断はできません。種類の違う情報を同じ案件のもとで扱えることが、現場の問いに近づく鍵になります。
図面と帳票を、同じ案件で扱う
マルチモーダルAIが種類の異なる情報を同時に扱えるとして、図面(画像)と帳票(文字)を同じ案件のもとで扱う設計にしたのがARCHAIVEです。図面をAIが形状で読み取り、帳票から文字を抽出し、両方を案件ページにひもづけます。種類の違う情報を分断させずに使える位置づけになります。
よくある質問
Q.マルチモーダルAIは普通のAIと何が違いますか?
普通のAIが1種類のデータ(文章なら文章だけ)を扱うのに対し、マルチモーダルAIは画像と文章のように異なる種類を同時に扱える点が違います。
Q.製造業でマルチモーダルAIはどう役立ちますか?
図面・仕様書・帳票といった種類の異なる情報を横断して扱えるため、案件単位での検索や判断を一度に行えるようになります。