FC2ブログ

Entries

本橋洋介『人工知能システムのプロジェクトがわかる本』


機械学習を用いたシステム(本書は人工知能システムとしているが、扱われているのは機械学習システム)を導入する上でのポイントについて。プロジェクト管理の観点から、うまく書かれている。機械学習システムの導入は、一般的なシステム導入と同じように考えられがち。しかし機械学習システムは、まず期待した通り精度が出るモデルができるか事前には分からない、分かっても解釈可能性が薄くて業務プロセスに適合するか分からない、そして導入後に精度が劣化していく、など他のITシステムにはない特徴がある。よって、機械学習システムの導入はそれらの違いを踏まえておかなければならない。本書はそのためのよいガイドとなっている。

通常のシステム導入プロセスとの違いは、三つに端的にまとめられている。企画フェーズの後にトライアルフェーズがあること、開発フェーズ内の要件定義時や納品前にデータ分析を行うこと、運用フェーズにおいて特有の保守・運用を行うことの三つ(p.32)。

企画したものが実行可能なのかどうかトライアルを行う。普通のシステム導入では、考えたビジネス要件が本当にシステム化可能かを別途検証することはほとんどない。トライアルフェーズでは期待した精度のモデルが構築できるかを試す。クライアントによくある、精度への過度な期待に対して、有益なコメント(p.53)。モデルは優秀な人の予測を超えることはできなくても、低スキルの人の底上げにはなる。異常検知などそもそも難度の高い問題に対しては、人よりも優れた精度であり、人と組み合わせて使えばもっと良くなる、等の考えが紹介されている。

また導入システムのサイジングについて、学習部分と予測部分の要求がまったく違うこともうまく書かれている。予測部分は学習部分より早く結果を出力することが求められるが、ストレージはさほどでもないこと、など(p.73-77)。

開発フェーズでは本番運用に合わせて、トライアルの時とは異なるデータ量や処理方法で再度分析する必要がある。要件定義で再度、データ分析を行うべきとのコメントに納得。PoCで検討したデータやモデルについて、精度、データ量の決定、更新方法の検討、少量データの場合の対策検討、外れ値の処理方法を決める。精度はPoCと違いデータ全量で評価する(p.176-206)。

精度の低下に対処するために運用フェーズで特別なタスクを設ける。トレンドが変わって予測精度か落ちているときはメッセージ表示するなど、ユーザに配慮したデプロイマネジメントの仕組みが必要(p.235, 241-243)。

機械学習システム導入プロジェクトの要点についてうまく書かれていて、関わる人は必読。データサイエンティスト向けの本だけでなく、最近こうした本が増えてきたのはとてもいいことだ。
スポンサーサイト
この記事にトラックバックする(FC2ブログユーザー)
http://exphenomenologist.blog100.fc2.com/tb.php/1000-e9e54f44

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する

Appendix

プロフィール

坂間 毅 (Sakama Tsuyoshi)

Author:坂間 毅 (Sakama Tsuyoshi)
数学の哲学を専攻して研究者を目指し、20代のほとんどを大学院で長々と過ごす。
しかし博士号は取らずPh.D. Candidateで進路変更。
哲学と特に関係なくIT業界に住んでいる。

別館:アマゾンのレビューページ

最新トラックバック

検索フォーム

QRコード

QRコード