スマホやPCなど家の中の計算資源をかき集めて自分用AIクラスターを構築できる「exo」

大規模言語モデルの推論には強力な計算資源を備えたコンピューターが必要ですが、高性能なコンピューターは高価で入手難度が高めです。「exo」は複数のデバイスをネットワーク接続してAI処理用のクラスターを作れるシステムで、身近なデバイスをかき集めてAI処理に活用できるとアピールされています。

EXO Labs - Enterprise On-Premise AI
https://exolabs.net/

GitHub - exo-explore/exo: Run your own AI cluster at home with everyday devices 📱💻 🖥️⌚
https://github.com/exo-explore/exo

exoの動作例を示す画像が以下。処理能力10.6TFLOPSのMacBook Proや1544.OTFLOPSのGeForce RTX 4060 Tiを搭載したPCなどを組み合わせて1つのAIクラスターを構築しています。

exoのプロジェクトページによると、「iPhone」「iPad」「Androidデバイス」「Mac」「NVIDIA製GPU」「Raspberry Pi」といったデバイスをサポートしているとのこと。つまり、exoを用いれば「買い替えて使い道のなくなったスマートフォン」や「電子工作用に買ったけど使っていないRaspberry Pi」などをAI処理のために有効活用できるというわけです。

exoは「Llama」「Mistral」「LLaVA」「Qwen」「Deepseek」などのAIモデルシリーズに対応しています。例えば実行に16GBのメモリを必要とする「llama 3.1 8B (fp16)」の場合「メモリ容量8GBのM3チップ搭載MacBook Airを2台」「メモリ容量4GBのRaspberry Pi 400を2台とメモリ容量8GBのMac Miniを1台」といったように複数のデバイスを組み合わせて実行できます。

記事作成時点ではexoは開発初期の実験段階で、開発者を募集中とのこと。また、賞金付きの開発貢献プログラムも展開されています。賞金はタスクによって異なり、以下のリンク先でタスク内容と賞金額を確認できます。

exo bounties - Google スプレッドシート
https://docs.google.com/spreadsheets/d/1cTCpTIp48UnnIvHeLEUNg1iMy_Q6lRybgECSFCoVJpE/edit?gid=0#gid=0