スイス独自の完全オープンソースLLM「Apertus」がリリースされる、1000言語以上にわたる15兆トークンで学習＆透明性とデジタル主権を重視

スイス連邦工科大学ローザンヌ校(EPFL)、スイス連邦工科大学チューリッヒ校(ETHZ)、スイス国立スーパーコンピューティングセンター(CSCS)が共同で開発した「Apertus」がリリースされました。Apertusは透明性とデジタル主権を重視し、学習データやコードがすべて公開された大規模言語モデル(LLM)で、1000種類以上の言語にわたる15兆トークンでトレーニングされています。

apertus-tech-report/Apertus_Tech_Report.pdf (メイン) · swiss-ai/apertus-tech-report · GitHub
https://github.com/swiss-ai/apertus-tech-report/blob/main/Apertus_Tech_Report.pdf

Apertus: a fully open, transparent, multilingual language model - EPFL
https://actu.epfl.ch/news/apertus-a-fully-open-transparent-multilingual-lang/

swiss-ai/Apertus-8B-Instruct-2509 · Hugging Face
https://huggingface.co/swiss-ai/Apertus-8B-Instruct-2509

APERTUS: A FULLY OPEN, TRANSPARENT, MULTILINGUAL LANGUAGE MODEL - YouTube

Apertusはラテン語で「開かれた」を意味する言葉で、「信頼性が高く、世界的に通用する完全にオープンなモデルの開発」を目指すスイスの国家プロジェクトの一環で開発されました。モデルの重みだけでなく、アーキテクチャ、学習データ、学習プロセス、さらには中間チェックポイントに至るまでが、Apatcheライセンス 2.0の下で公開されています。

ETHZの研究科学者でApertus開発プロジェクトのテクニカルリーダーであるイマノル・シュラーグ氏は「Apertusは公共の利益のために構築されています。この規模で完全にオープンなLLMは少なく、多言語対応、透明性、コンプライアンスを基本設計原則として体現した初めてのLLMです」と述べています。

Apertusは、15兆トークンという膨大なデータで学習されており、そのうち約40％が非英語のコンテンツです。学習データは1800以上の言語を網羅しており、スイスドイツ語やロマンシュ語といった、これまでLLMであまり扱われなかった言語も含まれているとのこと。この多言語性により、多様な言語や文化圏での応用が期待されています。なお、日本語での入出力に対応しているかは記事作成時点では不明です。

Apertusは、80億パラメータのモデル(8B)と700億パラメータのモデル(70B)の2種類が提供されています。学習には、CSCSが運用するスーパーコンピュータ「Alps」が活用されました。また、学習データの逐語的記憶(verbatim memorization)を抑制するために「Goldfish objective」と呼ばれる手法を採用し、大規模学習を安定させるための新しい活性化関数「xIELU」やオプティマイザ「AdEMAMix」など、技術的革新も取り入れられています。

また、Apertusの開発では、スイスのデータ保護法や著作権法、EUのAI法が定める透明性義務が考慮されているのがポイント。学習には、一般に公開されているデータのみが使用され、ウェブサイト運営者によるAIクローラーのオプトアウト要求を過去に遡って尊重する仕組みが導入されています。さらに、個人情報や有害なコンテンツは学習開始前に除去されるなど、データの完全性と倫理基準に細心の注意が払われています。

学習後のモデルは、対話形式での指示に従う能力を高めるための教師ありファインチューニング(SFT)と、人間の好みや価値観に沿った応答を生成するためのアライメント調整が行われます。

特に、物議を醸すような話題については、スイスの憲法上の価値観を反映した「スイスAI憲章」に基づいて応答を調整するアプローチが取られています。この憲章は、中立性やコンセンサス形成、連邦主義、多言語主義、文化的多様性の尊重といったスイスの憲法上の価値観をAIの原則としてまとめたもの。実際には、「LLM-as-judge(裁判官としてのLLM)」と呼ばれる別のLLMが、この憲章を評価基準として応答を1〜9のスケールで採点し、このスコアに基づいて憲章の原則に沿った応答を生成するようにモデルが調整されているそうです。

Apertusは単なる研究プロジェクトではなく、社会インフラを支える基板技術としても設計されています。戦略的パートナーであるスイスの通信大手・Swisscomは、法人顧客向けにApertusへのアクセスを提供しているほか、非営利のオープンソースサービスであるPublic AI Inference Utilityを通じて、グローバルな公共インフラとして誰でもApertusにアクセスできるようになっているとのこと。将来的には、法律、気候、健康、教育といった特定の専門分野に適応させたドメイン特化型モデルの開発が計画されています。

EPFL自然言語処理研究所のアントワーヌ・ボッセル所長は「Apertusのリリースは最終段階なのではなく、むしろ世界中の公共の利益のために、オープンで信頼でき、独立したAI基盤の構築に向けた長期的な取り組みの始まりなのです」と語りました。

Apertusは8Bモデルと70Bモデル、それぞれのInstructモデルの合計4種類が、Hugging Faceで提供されています。

swiss-ai/Apertus-8B-2509 · Hugging Face
https://huggingface.co/swiss-ai/Apertus-8B-2509

swiss-ai/Apertus-70B-2509 · Hugging Face
https://huggingface.co/swiss-ai/Apertus-70B-2509

swiss-ai/Apertus-8B-Instruct-2509 · Hugging Face
https://huggingface.co/swiss-ai/Apertus-8B-Instruct-2509

swiss-ai/Apertus-70B-Instruct-2509 · Hugging Face
https://huggingface.co/swiss-ai/Apertus-70B-Instruct-2509

また、各種ソースコードはGitHubで公開されています。

swiss-ai · GitHub
https://github.com/swiss-ai