楽天グループが、日本初の大規模言語モデル（LLM）「RakutenAI2.0」を公開しました。この画期的な発表は、日本の人工知能（AI）開発に大きな一歩を記すものとなりました。
RakutenAI2.0の最も注目すべき特徴は、日本語と英語のバイリンガルデータで学習されている点です。この特性により、日本語と英語の両言語に対して高度な理解と生成能力を持つモデルとなっています。
モデルのアーキテクチャは、専門家の混合（Mixture of Experts、MoE）方式を採用しています。具体的には、8つの「専門家」モデルで構成されており、各モデルは70億のパラメータを持っています。この構造により、合計で56億のパラメータを持つ強力なシステムとなっています。
入力トークンの処理方法も非常に洗練されています。システムは入力を受け取ると、ルーターと呼ばれる機能が最も関連性の高い2つの専門家モデルを選択します。選ばれた専門家モデルが協力して入力を処理することで、効率的かつ正確な結果を生み出します。
さらに興味深いのは、これらの専門家モデルとルーターが、大量の高品質な日本語-英語バイリンガルデータを用いて継続的に共同訓練されている点です。この継続的な学習プロセスにより、モデルは常に最新の言語使用や表現を学び、進化し続けることができます。
RakutenAI2.0は、指示微調整（instruction fine-tuning）と選好最適化（preference optimization）も行われています。これにより、モデルはユーザーの指示をより正確に理解し、望ましい出力を生成することができます。また、ベースモデルと指示モデルの両方が公開されており、企業や専門家がAIアプリケーションを開発する際の基盤として活用できるようになっています。
このモデルの公開は、オープンソースコミュニティにとっても朗報です。Apache 2.0ライセンスの下で公開されており、楽天グループの公式Hugging Faceリポジトリからアクセスできます。これにより、研究者や開発者は自由にモデルを利用し、さらなる改良や応用を行うことができます。
RakutenAI2.0の商業利用の可能性も広がっています。テキスト生成、コンテンツ要約、質問応答、テキスト理解、対話システムの構築など、様々な用途に活用できます。また、他のモデルやアプリケーションの基盤としても利用可能で、日本のAI開発エコシステム全体を活性化させる可能性を秘めています。
楽天グループのチーフAI・データオフィサーであるチャイ・ティン氏は、このモデルの公開について次のように述べています。「RakutenAI2.0の立ち上げにあたり、私たちのチームがデータ、エンジニアリング、科学を組み合わせた方法を非常に誇りに思います。この新しいAIモデルは、企業がスマートな意思決定を行い、価値実現を加速し、新たな可能性を開くのに役立つ、強力かつコスト効果の高いソリューションを提供します。これらのモデルをオープンソース化することで、日本のAI開発を加速し、すべての日本企業が構築、実験、成長することを奨励し、協調的でウィンウィンのコミュニティを育成することを望んでいます。」
RakutenAI2.0の公開は、日本のAI研究開発における重要なマイルストーンとなりました。日本語と英語のバイリンガルデータで学習された大規模言語モデルの登場により、日本企業や研究機関は、より高度で効率的なAIソリューションを開発することが可能になります。また、オープンソースでの公開は、日本のAIコミュニティ全体の成長と協力を促進し、グローバルなAI開発競争における日本の地位向上にも貢献することが期待されています。
