無料で音声テキスト変換がオフラインで可能なオープンソースアプリ「Handy」

無料で音声入力をテキストに変換してくれるオープンソースのアプリ「Handy」が公開されています。マイクに向かって話しかけるだけで、ローカルで動作するAIモデルが自動で文字起こししてくれるので、キーボードを使わないテキスト入力が可能になります。

Handy
https://handy.computer/

上記のサイトにアクセスし、今回はWindows向けのインストーラーをダウンロードするため、「download handy for windows」をクリック。インストーラーはEXE形式で、ファイルサイズは12.6MBでした。なお、HandyはWindowsのほか、macOSとLinux(x64)に対応しています。

ダウンロードしたインストーラーを起動。「Next」をクリック。

「Next」をクリックします。

インストールが終わったら「Next」をクリック。

「Finish」をクリック。

Handyが起動します。文字起こしに使われるAIモデルは標準でNVIDIAのParakeet V3が使われています。ただし、Parakeet V3は、記事作成時点では日本語に対応していません。この「Parakeet V3」をクリック。

設定画面が表示されました。入力デバイスは「Microphone」で指定します。

あとは、CtrlキーとSpaceキーを同時押しするとマイク入力がアクティブになるので、入力したいアプリケーションにそのまま話せばOK。マイク入力がアクティブになると、画面下部にレイヤーが表示されます。

実際にHandyを使って入力するところが以下。かなり棒読みでたどたどしい発音ですが、ちゃんとテキストに変換されました。

無料で音声テキスト変換できるオープンソースアプリ「Handy」で英語を文字起こししてもらった - YouTube

モデルはParakeet V3のほか、OpenAIのWhisperを利用することも可能。左下にあるモデル名をクリックすると、モデルを変更可能。ただし、Whisperのモデルはダウンロードする必要があります。今回はWhisper Largeモデルを選択、「Download」をクリックします。

ダウンロードが終わると、Whisper Largeがアクティブになりました。

これで聞き取り言語が日本語に対応。Languageの欄で「Japanese」が選択できるようになりました。

日本語の文章を読み上げて文字起こししてもらっているところが以下。

無料で音声テキスト変換できるオープンソースアプリ「Handy」で日本語を文字起こししてもらった(モデル：Whipser Large) - YouTube

左側の「History」を選択すると、これまでに認識した音声と文字起こししたテキストを閲覧できます。

なお、開発者のCJ Pais氏はHandyを開発したきっかけについて、「指を骨折してギブスをまかれ、手が使えなくなったから」と語っており、オープンソースで拡張可能な音声テキスト変換アプリが存在しなかったために開発を決意したとコメントしています。