モルフォ、カメラ映像の「検知」を「対応」につなげるVLM活用ソリューション『Morpho VLM Fluid Action』を発表

株式会社モルフォのプレスリリース

エッジとクラウドを連携し、車載・建設・スマートシティ・施設運営・物流など多様な現場での活用可能性を検討

株式会社モルフォ（本社：東京都千代田区、代表取締役社長：平賀督基、東証グロース市場：3653、以下：モルフォ）は、カメラ映像の解析にVision-Language Model（VLM）を活用する新ソリューション『Morpho VLM Fluid Action』を発表しました。

本ソリューションは、VLMを用いることで、学習データを用意することなく、映像に映る状況を認識し、その結果に対するアクションまでを設定できるようにするものです。エッジ端末上での一次判断と、必要に応じたクラウド連携を組み合わせて動作します。

開発の背景

カメラ映像を活用する場面では、映像に何が映っているかを捉えるだけでなく、その情報を受けてどのような対応を行うかまで設計する必要があります。例えば、車内に荷物が残されている場合、荷物の存在を検知できても、乗員の乗降状況などを踏まえなければ、置き忘れとして通知すべきかを判断することは容易ではありません。

また、従来のディープラーニング技術では、学習データの収集が難しい場面や、状況をあらかじめ詳細に定義することが難しいシーンにおいて、目的に応じた認識技術の開発・活用が課題となっていました。例えば、人が倒れる、トラブルが起きるといった、まれにしか起きない場面のデータはほとんど集まらず、忘れ物のように対象の種類が多いものは、事前にすべてを想定できないといった困難がありました。

VLMとは／なぜ使うのか

LLM（Large Language Model：大規模言語モデル）が主に言葉を扱うAIモデルであるのに対し、VLM（Vision-Language Model）は、画像や映像と言葉を組み合わせて扱うAIモデルです。

モルフォは、学習データを十分に集めにくい場面や、あらかじめ状況を詳細に定義しにくい映像シーンに対し、VLMの活用を検討しています。カメラ映像から得られる情報を、用途に応じたアクションの設計へつなげる技術として、『Morpho VLM Fluid Action』を開発しています。

『Morpho VLM Fluid Action』の概要

『Morpho VLM Fluid Action』は、VLMを用いて高度かつ柔軟な画像認識を実現することを目指す技術です。シンプルな設定ファイルに「何を認識するか」と「認識した結果、どのようなアクションを行うか」を記述することで、認識対象と認識後のアクションを規定できます。VLMを自前で組み込む場合に必要となる、プロンプトの設計や、自然言語で返ってくる出力の解釈を製品側で引き受けます。

例えば、車載端末上で動作するエッジVLMは、低遅延での応答が求められる処理の一次判断を担います。エッジ側だけでは判断が難しい場面や、より高度な判断が必要な場合には、エッジ側の推論信頼度を踏まえてクラウド側へエスカレーションし、再判断することが可能です。これにより、応答性が求められる処理と、より詳細な判断を要する処理の役割分担を図ります。

https://www.morphoinc.com/technology/vlmfluid

『Morpho VLM Fluid Action』の主な特長

1. 認識対象とアクションを用途に応じて規定

認識したい対象と、認識結果に応じて実施するアクションを、用途に応じて設定できます。これにより、認識結果を通知や記録などの次のアクションへつなげることを目指します。

2. エッジでの一次判断と、必要時のクラウドエスカレーション

迅速な応答が求められる処理はエッジ側で一次判断を行い、エッジ側だけでは判断が難しい場面ではクラウド側へ処理を引き継ぐことが可能です。エッジとクラウドを組み合わせることで、さまざまな場面でのVLM活用を目指します。

3. エッジ活用に向けた高速化の研究

サーバー上の処理に限らず、エッジデバイス上でもVLMを活用するための高速化手法を研究しています。今後も、用途に応じた処理速度と認識性能の両立に向け、技術の高度化を進めてまいります。

想定する主な活用シーン

モルフォは、映像から得られる情報をもとに次に取るアクションを設計する技術の開発・検証を進めています。既存デモへの実装や、顧客・パートナーからの具体的な要望がある主な想定例は、車載領域では以下のとおりです。

乗員の状態・挙動の把握

運転者のよそ見、眠気、体調不良の兆候など、乗員の状態・挙動に関する情報を扱うことを想定しています。例えば、エッジ側でうつむき姿勢を捉えた後に、より詳しい判断が必要な場合はクラウド側へ処理を引き継ぎ、姿勢や表情などを総合して扱う流れを検討しています。

車室内での活用例：「よそ見運転」や「うつむき姿勢」などを検知する、
エッジLLM、クラウドLLMでのハイブリッド動作デモ

車内の忘れ物

乗客の忘れ物は、認識対象をあらかじめ種類ごとに列挙しにくい例の一つです。本技術の活用により、車内映像から得られる情報を、通知・記録などの次のアクションへつなげることを想定しています。

車外の特定シーン

路肩駐車、信号の変化、カーブや勾配の変化、路面状況など、車外映像における特定シーンを捉える技術開発を進めています。

様々な業界に広がる活用可能性

『Morpho VLM Fluid Action』は、まず車載領域での開発・検証を進めています。その一方で、映像から得られる情報を用途に応じたアクションへつなげるという技術の考え方は、建機・建設、スマートシティ、施設運営、物流・倉庫など、さまざまな現場への応用が期待されます。

例えば、建機・建設現場における安全設備や資材状態の確認、スマートシティや施設における人や物の状態把握、店舗・施設における売場や設備の状態把握、物流・倉庫における荷姿や通路周辺の状態把握などが考えられます。モルフォは今後、個別のユースケース、検証内容、運用上の留意点を確認しながら、各領域での活用可能性を検討してまいります。

車載以外での検証例として、住宅の玄関先を映すカメラ映像から不審な人物がうろついている様子や、置かれた荷物が持ち去られる場面を捉える検証を行っています。