Metaが動画内の物体を識別して切り抜けるAIモデル「SAM 3」を発表

Metaがテキストや視覚的なサンプルをプロンプトとして使用し、画像やビデオ内のオブジェクトを検出、分割、追跡するための統合モデル「Meta Segment Anything Model 3(SAM 3)」を発表しました。

Introducing Meta Segment Anything Model 3 and Segment Anything Playground
https://ai.meta.com/blog/segment-anything-model-3/

SAM 3: Segment Anything with Concepts | Research - AI at Meta
https://ai.meta.com/research/publications/sam-3-segment-anything-with-concepts/

SAM 3は、プロンプトに基づいて画像や動画内のオブジェクトを検出・セグメント化・追跡できる統合モデルです。例えば、「犬」や「黄色いスクールバス」のように短いテキストを入力したり、黄色いスクールバスの画像を認識させたりすることで、画像や動画内から指定したオブジェクトを切り抜くことができます。

また、範囲指定やクリックによって動画内のオブジェクトを指定することでも、オブジェクトを検出して追跡することができます。

SAM 1と2では、画面上のオブジェクトをクリックする視覚的なプロンプトに基づくセグメント化のみがサポートされていました。SAM 3では、セグメント化するオブジェクトをテキストで詳細に指定できるようになっています。

また、既存のモデルは固定のテキストラベルセットを持ち、「バス」や「車」といった単純な概念をセグメント化することはできますが、「黄色いスクールバス」といったより詳細な概念をセグメント化することは困難でした。SAM3はこの制限を克服し、より幅広いテキストプロンプトに対応しているそうです。

さらに、SAM 3の「詳細なテキストを理解する能力」を評価するために、新しいベンチマークデータセット「Segment Anything with Concepts(SA-Co)」も公開されています。SA-Coにより、「赤い野球帽」「青い窓」のような細かな記述に基づくセグメント化能力を測定できるようになっており、SAM 3はこのSA-Coベンチマークにおいて高いゼロショット性能を示し、従来モデルでは困難だった「細かな概念指定によるオブジェクト抽出」をより正確に実行できることが示されています。

SAM 3は動画編集などのメディアやクリエイティブ用途やAR/VRコンテンツ、ウェアラブル端末への搭載、研究や産業における応用のほか、ラベル付けツールとして使ってデータ解釈や学習支援に活用すること期待されています。SAM 3はオープンソースとしてGitHubで公開されています。

GitHub - facebookresearch/sam3: The repository provides code for running inference and finetuning with the Meta Segment Anything Model 3 (SAM 3), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.
https://github.com/facebookresearch/sam3

また、1枚の画像から物体や人物を3D再構成するモデル「SAM 3D」も公開されています。

1枚の写真から目的の人間や物体だけを切り抜いて3Dモデル化できるAI「SAM 3D Body」＆「SAM 3D Objects」をMetaが公開 - GIGAZINE

SAM 3とSAM 3Dは、専門知識がなくても誰でも最先端のモデルにアクセスできる新しいプラットフォーム「Segment Anything Playground」で試すことができます。Segment Anything Playgroundは研究用デモのため個人的な非商用目的のみの利用に限定されていますが、誰でも無料で利用することができます。

Meta AI Demos
https://aidemos.meta.com/segment-anything/gallery