Raspberry PiとChatGPTを使っていつでもどこでも中身を追跡できるスマート冷蔵庫を自作

シングルボードコンピューターのRaspberry Piはさまざまなコネクタや入出力インタフェースを備えており、プログラミングの実行環境として利用されているほか、端末制御によるちょっとした工作に使うことも可能です。オンライン掲示板サイトのRedditに、Raspberry PiとChatGPTを駆使して冷蔵庫の中身を追跡するというアイデアが投稿されています。

Upgrading my Pi4 Smart Fridge with GTP4 Vision : r/raspberry_pi
https://www.reddit.com/r/raspberry_pi/comments/19epwtn/upgrading_my_pi4_smart_fridge_with_gtp4_vision/

Raspberry Pi smart fridge uses Chat GPT4 to keep track of your food | Tom's Hardware
https://www.tomshardware.com/raspberry-pi/raspberry-pi-smart-fridge-uses-chat-gpt4-to-keep-track-of-your-food

Redditユーザーのmimobeano氏は、大学院修士課程のプロジェクトとして、「冷蔵庫の中にどんな食品があるのかを把握して、賞味期限が切れる前に使い切れるようにする研究」に取り組んでいたとのこと。当初は冷蔵庫内を撮影した写真2000枚以上で学習した物体検出モデルとカメラを駆使し、12個の食材に対してのみ機能するシステムを構築したとのこと。しかし、GPT4ベースのChatGPTを使うことでさらに改良が進んだそうです。

mimobeano氏が作ったシステムが以下。冷蔵庫の上に取り付けられているのがRaspberry Piに接続されたカメラで、冷蔵庫の扉を開けると内部が撮影できるようになっています。

カメラで撮影された写真がこんな感じ。野菜や果物、飲み物が写っています。

物体検出モデルがカメラで撮影された写真を分析し、食べ物があるかどうかを判断します。そして、Mimobeano氏がメッセージングアプリのTelegramを通じて「/ingredients」というコマンドでリクエストを送信すると、最後にカメラで撮影された時に写っていた食べ物のリストが送信されます。

そして、「/recipes」を使うと、ChatGPTが今冷蔵庫の中に入っているものを使って調理できる料理を提案してくれるそうです。mimobeano氏によれば、OpenAIのAPIをたたくのはTelegramでリクエストを送信した時のみなので、コストはかからないとのこと。

mimobeano氏は、3Dプリンターでカメラ用のマウントを作成し、さらにこのプロジェクトを進めるつもりだと述べています。また、食べ物の賞味期限が近づいているかどうかをチェックするという本来の目的も機能として追加する予定だと語っています。