大規模言語モデル入門２

生成型ＬＬＭの実装と評価

技術評論社
山田育矢　鈴木正敏　西川荘介　藤井一喜　山田康輔　

• 価格: 3,300円（本体3,000円＋税）
• 発行年月: 2024年09月
• 判型: Ｂ５
• ISBN: 9784297143930

内容情報

[BOOKデータベースより]

第１０章　性能評価（モデルの性能評価とは；評価指標を用いた自動評価；ＬＬＭを用いた自動評価）
第１１章　指示チューニング（指示チューニングとは；指示チューニングの実装；指示チューニングしたモデルの評価）
第１２章　選好チューニング（選好チューニングとは；選好チューニングの実装；選好チューニングの評価）
第１３章　ＲＡＧ（ＲＡＧとは；基本的なＲＡＧのシステムの実装；ＲＡＧ向けにＬＬＭをチューニングする；ＲＡＧの性能評価）
第１４章　分散並列学習（分散並列学習とは；さまざまな分散並列学習手法；ＬＬＭの分散並列学習）

[日販商品データベースより]

「大規模言語モデル入門」の続編です。「大規模言語モデル入門」は理論と実装のバランスをとって構成しましたが、本書では実装部分で扱い切れなかった話題を取り上げ、特に大規模言語モデルの評価と生成LLMに関連する解説を充実させます。「大規模言語モデル入門」の9章に続き、10章から始まります。

10章では、後続する章で行う言語モデルの評価方法について解説します。自動評価と人手評価の2つの側面から、ベンチマーク、評価指標、具体的な評価ツールやデータセットなどを取り上げます。11から13章では、主に大規模言語モデルの性能を上げるためのトピックとして、指示チューニング、人間のフィードバックからの学習、RAGに焦点を当て、それぞれの実装方法、利用するデータセット、評価の方法について解説します。14章では大規模言語モデルの学習における並列・分散処理について詳しく解説します。大規模なデータを限られた計算資源で学習させるノウハウは多くのエンジニアにとって有益な情報となるでしょう。

大規模言語モデルの性能を高めるための各トピックの実装とともに、それぞれの評価について理解できる一冊です。