国内ニュース

 日本語特化の大規模言語モデル、処理能力も開発ピッチも高速

  国立情報学研究所（NII）の大規模言語モデル研究開発センター（LLMC）は、約1720億パラメータを持つ大規模言語モデル「LLM-jp-3 172B beta1」を公開した。このモデルは、学習データを含めすべてオープンにした世界最大のものである。プレビュー版は約2.1兆トークンの学習データの約1/3まで学習を行った段階であり、今後も学習を継続し、2024年12月頃に完全版を公開する。－－－LLMCは、これまでのデータ活用社会創成プラットフォームmdxでの130億パラメータ・モデルの学習や、AI橋渡しクラウド（ABCI）での1750億パラメータ・モデルの学習トライアルの成果を踏まえ、今回のモデルを開発した。今後は、LLMの透明性・信頼性の確保に向けた研究開発を進めるとともに、地球温暖化が生態系に与える影響の予測にも役立てる予定だ。