統計的モデリング／情報理論と学習理論データと上手につきあう法

若山正人・編　小西貞則／竹内純一・著

統計的モデリング／情報理論と学習理論データと上手につきあう法

発行
2008/09/20
サイズ
Ａ５判
ページ数
126
ISBN
978-4-06-157800-5
定価
2,640円(税込)
在庫
在庫無し

内容紹介

いまや“データ”と聞いて，自分には無関係であると言い切れる人は少ないであろう．本書では「データと上手につきあう法」として，２つのテーマ「統計的モデリング」と「情報理論と学習理論」を取り上げる．両テーマとも多様なデータを研究の対象とする．たとえば後者も，データに鋭く立ち向かいその本質解明のための手法の確立を目指す統計学と切り離すことができない技術直結型の数学である．そしていずれも，計算機の高速化と大容量処理能力の飛躍的な進歩にともない脚光を浴び，日ごとに重要度が高まる一方である．
現代は，膨大なデータを適切な形で集め，さらにそれらを蓄積することが可能な時代である．そのようななか，両テーマが共有する関心は，データから本質をつかみ，さらにそれを活かすことである．つまり前者では，データの背後に潜む真実・法則の探求が出発点となる．また後者は，与えられたデータをいかに手なずけ利用するかに力点がある．実際，情報理論や統計科学と呼ばれる分野では，統計的な考察によりモデルを適切に選択することや，データを取り
扱いやすい形にまとめる作業などを通して，未知の情報源から来る出力系列から情報源モデルを推測するための方法論が発展してきた．それが人工知能の一分野である機械学習と呼ばれる理論の基礎となっている．さらにまた，このような機械学習において生まれた概念が，情報理論や統計科学に新しい刺激を与え，フィードバックをもたらしている．このような状況を踏まえながら，共通点をもちつつ相補的な2 つのテーマについて紹介してゆくことが本書の目的である．（本書　第0章より）
 

目次

はじめに
第0 章「統計的モデリング」と「情報理論と学習理論」

テーマ1 　統計的モデリング
第1 章　線形回帰モデル
1.1 2 変数間の関係を捉える
1.2 多変数間の関係を捉える
1.3 確率ベクトルに関する基本的事項
1.4 幾何学的考察
第2 章　非線形回帰モデル
2.1 回帰モデルとは
2.2 複雑な非線形構造を捉えるモデル
2.3 基底展開法
2.4 正則化法
2.5 モデルの評価と選択
第3 章ロジスティックモデル
3.1 2 値反応データとモデル
3.2 多重ロジスティックモデル
3.3 非線形ロジスティック回帰
第4 章　モデルの評価と選択47
4.1 情報量規準
4.2 ベイズ型モデル評価基準
第5 章　ベイズ判別
5.1 ベイズの定理
5.2 線形・2 次判別
5.3 ロジスティック判別
第6 章　文献ガイド62

テーマ2 　情報理論と学習理論
第1 章　情報源符号化
1.1 モールス符号
1.2 情報源符号化の枠組み
1.3 固定長符号化
1.4 可変長符号化
1.5 語頭符号
1.6 クラフト(Kraft) の不等式
1.7 情報源符号化定理
1.8 ブロック符号化
1.9 文献紹介
第2 章　算術符号とユニバーサル符号
2.1 算術符号の原型
2.2 ユニバーサル符号
2.3 文献紹介
第3 章　学習理論とMDL原理
3.1 基本的な機械学習問題
3.2 教師つき学習
3.3 MDL 原理
3.4 MDL 原理とオッカムの剃刀
3.5 MDL 基準の性質
3.6 教師なし学習
3.7 確率的コンプレキシティ
3.8 文献紹介
第4 章　情報理論と学習理論の他の接点
4.1 文献紹介

索　引

リンク

内容見本

ページトップへ