オープンソースでアニメ動画を自動生成できるAIツール「AniSora」を中国・bilibiliの開発チームが発表

中国の動画共有サービス・bilibiliのチームが、1枚の画像からアニメーションを作成するAIツール「AniSora」を発表しました。

Try AniSora: The Ultimate Anime Video Generation Model
https://komiko.app/ja/video/AniSora

IndexTeam/Index-anisora · Hugging Face
https://huggingface.co/IndexTeam/Index-anisora

AniSora: Exploring the Frontiers of Animation Video Generation in the Sora Era
https://arxiv.org/html/2412.10255v2

AniSoraはbilibiliが開発したオープンソースアニメーション動画生成モデルで、公式サイトには「AniSoraはIndex-AniSoraプロジェクトの一環として、bilibiliがアニメ界に贈るオープンソースの贈り物です。AniSoraは、シリーズ作品、中国オリジナルアニメ、マンガ、VTuberコンテンツ、アニメPVなど、幅広いスタイルに対応してワンクリックのムービー作成を可能にします」と記載されています。

AniSoraのページは以下のような感じ。AniSoraはアニメ・マンガ系のAIプラットフォームであるKomikoに含まれています。なお、Komikoにはアカウント登録だけで無料で使えるAIツールもありますが、AniSoraの使用には有料プランの登録が必要です。

AniSoraを使うには、アニメーションにしたい画像をアップロードしてプロンプトを入力したら、AIモデルから「Anisora」を選択。これだけであっという間に画像からアニメを作成できます。

Komikoでは、AniSoraの使用例がいくつか示されています。例えば以下は、走って移動しているアニメの画像(左)から、「人物が高速で前方に走り、速度によってわずかにぼやけて見える」というプロンプトで、手足を振って走るキャラクターのムービーが生成されています。

また、以下の作例では3Dモデルのキャラクターたちの画像から、ダンスの続きを踊るムービーが生成されています。プロンプトでは「カメラがズームインする中、5人の女の子が左手を頭上に上げ、膝の高さまで下ろしながらダンスをしています」と指定しており、ムービーでは実際にキャラクターだけではなくカメラもゆっくり動いています。

そのほか、以下のようにマンガのコマから口パクやキャラクターの動きを作ることで、アニメーションコミックも生成可能。

Anisoraはオープンソースのプロジェクトで、Hugging FaceやGitHubで詳細が公開されています。

bilibiliチームによると、AI市場には既に自然な動画生成モデルが複数存在するものの、アニメーション分野では独自のスタイルや誇張された動き、物理法則を無視した表現など動画生成において大きな課題があり、依然として技術が不十分であるとのこと。AniSoraは1000万を超える高品質データサンプルをモデルトレーニングに使用した上で、制御可能な生成モデルを導入することで、画像から動画への生成、フレーム補間、ローカル画像ガイダンスなど、複数の主要なアニメーション制作機能をサポートしています。

bilibiliはオープンソースのプロジェクトですが、GitHubや論文で公開されているサンプルには日本のアニメ作品の切り抜きやキャラクターが使われているため、使用法には注意が必要です。