Kaggleに挑む深層学習プログラミングの極意

まえがき

第1章　機械学習コンテストの基礎知識
1.1　機械学習コンテストのおおまかな流れ
1.2　機械学習コンテストの歴史
　1.2.1　機械学習コンテストの変遷
　1.2.2　機械学習コンテストの貢献
　1.2.3　よりよい競争環境のための創意工夫
　1.2.4　教師あり学習以外が題材の機械学習コンテスト
1.3　機械学習コンテストの例
　1.3.1　画像
　1.3.2　自然言語
　1.3.3　音声
　1.3.4　マルチモーダル
　1.3.5　推薦
　1.3.6　時系列
　1.3.7　グラフ
　1.3.8　シミュレーション
　1.3.9　数理最適化
1.4　計算資源
　1.4.1　コンテストにおけるGPU・TPU
　1.4.2　利用できる環境

第2章　探索的データ分析とモデルの作成・検証・性能向上
2.1　探索的データ分析
2.2　モデルの作成
　2.2.1　ニューラルネットワーク
　2.2.2　ニューラルネットワーク以外のアルゴリズム
　2.2.3　利用するモデルと得意とするデータセットの種類・性質
　2.2.4　ニューラルネットワークの高速化・安定化
　2.2.5　ニューラルネットワークの実装における留意点
2.3　モデルの検証
　2.3.1　汎化性能
　2.3.2　検証セットが必要な理由
　2.3.3　交差検証
　2.3.4　多様な検証方法の使い分け
2.4　性能の向上
　2.4.1　モデルの複雑性（表現力）
　2.4.2　データの拡張
　2.4.3　過学習の抑制
　2.4.4　さまざまな学習方法
　2.4.5　アンサンブル

第3章　画像分類入門
3.1　畳み込みニューラルネットワークの基礎
3.2　コンテスト「Dogs vs. Cats Redux」の紹介
　3.2.1　コンテスト概要
　3.2.2　探索的データ分析
3.3　最初の学習：CNNアーキテクチャ
　3.3.1　CNNアーキテクチャ
　3.3.2　事前学習とファインチューニング
　3.3.3　目的関数
3.4　最初の学習：データセットの準備と学習ループ
　3.4.1　データセットの準備
　3.4.2　学習ループ
3.5　最適化アルゴリズムと学習率スケジューリング
　3.5.1　最適化アルゴリズム
　3.5.2　学習率・学習期間
3.6　データ拡張
　3.6.1　random flipとrandom crop
　3.6.2　mixup
3.7　アンサンブル
　3.7.1　交差検証とアンサンブル
　3.7.2　test time augmentation（TTA）
3.8　さらにスコアを伸ばすために
　3.8.1　試行錯誤の順番は？
　3.8.2　行き詰まった際に、何をする？
　3.8.3　論文はどこでどうやって調べる？

第4章　画像検索入門
4.1　画像検索タスク
　4.1.1　インスタンスレベル画像検索
　4.1.2　問題設定
　4.1.3　関連するタスク
　4.1.4　関連するコンテスト
　4.1.5　画像検索の評価指標
4.2　学習済みモデルを使ったベースライン手法
　4.2.1　一般的なプーリングとグローバルプーリング
　4.2.2　一般化平均プーリング
　4.2.3　ユークリッド距離とコサイン類似度
4.3　ベースラインを実装する
4.4　距離学習を学ぶ
　4.4.1　triplet loss：3つ組を使った学習
　4.4.2　hard-negative mininig
　4.4.3　ArcFace：角度にマージンをつける
　4.4.4　ArcFaceのハイパーパラメータを決める
　4.4.5　距離学習を実践する
4.5　画像マッチングによる検証
　4.5.1　局所特徴量のマッチング
　4.5.2　RANSACアルゴリズムによる検証
　4.5.3　画像マッチングを使用したリランキング
4.6　クエリ拡張を学ぶ
　4.6.1　クエリ拡張
　4.6.2　faissを用いたクエリ拡張を実装する
4.7　Kaggleコンテストでの実践
　4.7.1　効率的に実験する
　4.7.2　さらにスコアを伸ばすために

第5章　テキスト分類入門
5.1　Quora Question Pairs
　5.1.1　コンテストの概要
　5.1.2　データの確認
5.2　特徴量ベースのモデル
　5.2.1　最初のモデル
　5.2.2　単語とテキストの密ベクトル表現を活用する
　5.2.3　魔法の特徴量
　5.2.4　その他の特徴量
5.3　ニューラルネットワークベースのモデル
　5.3.1　リカレントニューラルネットワークの基礎知識
　5.3.2　LSTMで「Quora Question Pairs」に挑戦
　5.3.3　BERTの基礎知識
　5.3.4　BERTで「Quora Question Pairs」に挑戦
　5.3.5　アンサンブル
　5.3.6　さらにスコアを伸ばすために

参考文献
索引
著者紹介