評価指標入門 データサイエンスとビジネスをつなぐ架け橋

技術評論社
高柳慎一　長田怜士　ホクソエム　

• 価格: 2,992円（本体2,720円＋税）
• 発行年月: 2023年03月
• 判型: Ａ５
• ISBN: 9784297133146

内容情報

[BOOKデータベースより]

「無自覚なモデル改善」ほど無駄なものはない。ビジネスの問題をいかにして機械学習の問題に落とし込むのか。データサイエンスに閉じた問題を解くだけのデータサイエンティストは生き残れない。

１章　評価指標とＫＰＩ（機械学習と評価指標；機械学習と最適化計算　ほか）
２章　回帰の評価指標（回帰とは；データセットと回帰モデルの準備　ほか）
３章　二値分類における評価指標（二値分類と評価指標；データセット　ほか）
４章　多クラス分類の評価指標（多クラス分類とは；データセット　ほか）
付録　ビジネス構造の数理モデリング

[日販商品データベースより]

「評価指標でXXXという最高のスコアが出た！」と喜び勇んで、機械学習モデルが出力してくる予測結果をもとにビジネスを運用したとします。 ところが、ビジネス上のKPIと相関が高い評価指標を選んでいなかったために、KPIの推移を見てみると大した変化がありませんでした。 あるいは「毎日夜遅くまで残業をして、特徴量生成とクロスバリデーションによって評価指標を改善しました！」というデータサイエンティストがいたとします。ところが、KPIの改善のためには そこまで高い評価指標の値を達成する必要ありませんでした。このようなケースでは、データサイエンティストが費やした工数がすべて水の泡となってしまいます。----------（はじめにより）----------

このような状況が起きてしまう背景にはさまざまな原因が考えられますが、あえて一言で言うと「データサイエンスの問題が解くべきビジネスの問題と乖離していた」ためです。

機械学習モデルの”良し悪し”を決めるときには、評価指標（Evaluation Metrics）を必要とします。本質的に評価指標の設計方法は自由であり、ビジネス上の価値を考慮して自ら作成することも可能です。RMSEやAUCといったスタンダードなものから、ドメインに特化した数値まで、あらゆる指標が評価指標になりえます。では評価指標はどのように決めるのが良いのでしょうか。また、どのように決めれば冒頭のような悲しい状況を生まずに済むのでしょうか。

本書はこれらの疑問に答えるため、機械学習の良し悪しを決める評価指標を軸に、解くべきビジネスの問題をどうやってデータサイエンスの問題に落とし込むのか、その原理を解説していきます。この原理が普遍的なものであれば、ビジネスがどんなものであっても応用できると考えることができます。

回帰、分類で使用するスタンダードな評価指標についても、基本から丁寧に解説します。本書を読むことで、どのようなケースでどの評価指標を選ぶべきかがわかり、評価指標の読み間違いを避けることができます。