Polarsとpandasで学ぶ データ処理アイデアレシピ55
内容紹介
大注目の高速ライブラリPolarsとpandasによるデータ
目次
準備1日目 pandas の概要
準備2日目 Polars の概要
特訓1日目 データの確認
Recipe01 データの表示
Recipe02 データの列名を確認
Recipe03 データの大きさの確認
Recipe04 各列のデータ型を確認
Recipe05 データの概要を確認
Recipe06 列ごとのユニークな要素数の確認
Recipe07 列ごとのユニークな要素を確認
Recipe08 ユニークな要素ごとに重複数のカウント
Recipe09 特定の列に対する統計量の確認
特訓2日目 データの操作
Recipe10 ファイルの読み込み
Recipe11 データフレームの特定ファイル形式への書き出し
Recipe12 データフレームのソート
Recipe13 データフレームの複製
Recipe14 データフレームの作成
特訓3日目 データの抽出
Recipe15 データフレームから複数列を抽出
Recipe16 データフレームから特定データ型の列抽出
Recipe17 データフレームの特定列の除外
Recipe18 データフレームの特定行の抽出
Recipe19 特定条件にマッチする行の抽出
Recipe20 複数条件にマッチする行の抽出①
Recipe21 複数条件にマッチする行の抽出②
Recipe22 特定列が欠損値でない行の抽出
Recipe23 欠損値を含む行の削除
Recipe24 値リストのどれかに合致する要素を持つ行の抽出
Recipe25 特定の文字列を含む行の抽出
Recipe26 指定された数だけランダムにデータをサンプリング
特訓4日目 データの加工
Recipe27 既存列へのデータ処理
Recipe28 特定列をデータ処理し、データ型を変更
Recipe29 既存列を用いて新規列を作成する
Recipe30 条件に応じた値の代入
Recipe31 列へのユーザー定義関数の適用
Recipe32 データフレームの列名を一括変更
Recipe33 データフレームの特定の列名を変更
Recipe34 欠損値の補完
Recipe35 NumPy 配列への変換
Recipe36 データのビニング
Recipe37 重複行の削除
Recipe38 データフレームの連結
Recipe39 データフレームの結合
特訓5日目 データの集計
Recipe40 列の集計結果を計算
Recipe41 列の集計結果を新規列として追加
Recipe42 累積和を計算
Recipe43 複数列の集計結果を計算
特訓6日目 時系列データの処理
Recipe44 日時データから年と月を取得する
Recipe45 時間軸に沿って値をシフトし、過去値の列を作る
Recipe46 行の差分を新規の列として追加する
Recipe47 時間に基づいた集約を行い、新規列を作成する
Recipe48 特定の期間ごとのデータの集計
特訓7日目 遅延評価
Recipe49 遅延評価の基礎（Python 編）
Recipe50 Polars の遅延評価機能lazy API
Recipe51 クエリ最適化とStreaming API
特訓8日目 実践パイプライン
Recipe52 EDA
Recipe53 前処理と特徴量エンジニアリング
Recipe54 機械学習モデルの学習
Recipe55 機械学習モデルの評価・推論