妊婦がプログラマーになるまで

プログラミング未経験ワーママが産休からPythonで機械学習を学ぶ記録を記します。

機械学習「クラス分類」とは?(学習メモ)

機械学習「クラス分類」について学んだことをメモします。
f:id:damion_n:20210921140308p:plain

クラス分類

クラス分類は、入力データが所属するカテゴリを予測するアルゴリズム

代表的なクラス分類の分析手法には、以下のようなものがある。

サポートベクターマシン
・決定木
ベイズ分類器



クラス分類の例

クラス分類の代表的な例としては、以下のようなものがある。

・顧客データによる与信審査
・メールの内容による迷惑メール判断
・がん検診によるがん診断
・手書き数字の認識
・画像の認識
など



アリゴリズム「サポートベクターマシンSVM)」

サポートベクターマシン(SVM, Support Vector Machine)は、カテゴリを識別する境界線を、マージンが最大になるように引く分析手法。

たとえば、つぎの図にある点を2つのグループに分類することを考える。グループのことをクラスという。
f:id:damion_n:20210921140745p:plain

2つのクラス、すなわち、グループに分けるときに、境界線の引き方はいくつかあるが、、 それぞれのクラスの中で、境界線に近い点(サポートベクターという)との距離(マージン)が最大になるように境界線を引く。
f:id:damion_n:20210921140823p:plain

境界線に近い点(サポートベクター)を計算すればよい、という考え方により、計算量を減らすことができる。



サポートベクターマシンでは、 ソフトマージンとハードマージンという考え方がある。
・ソフトマージン
 データがマージンの中に入る可能性がある。マージンの中に入ったら、ペナルティC を与える
f:id:damion_n:20210921141013p:plain

・ハードマージン
 データはマージンの中に入らないことを前提
f:id:damion_n:20210921141034p:plain

このペナルティ C は、正則化パラメーターともいい、ハイパーパラメーター(スラック変数ともいう)として定義する。
・C が小さい
 誤分類のペナルティが小さい → ソフトマージン志向 → 汎用化につながるが、誤分類の可能性が高くなる
・C が大きい
 誤分類のペナルティが大きい → ハードマージン志向 → 汎用化が失われ、過学習の可能性が高くなる



アリゴリズム「カーネル法

サポートベクターマシンアルゴリズムは、前記のように、直線を使って、クラスを分類する、というものだが、直線だけで分類できない点の配置も出てくる。そういった場合に有効なのが、カーネル法である。平たく言うと、カーネル法は2次元、3次元...など次元を変えて境界線を作り、分類する計算手法。
カーネル法では、説明変数(特徴量)を人が気にしなくても分類できるようになる。回帰分析のときは、相関係数を出して、相関の高いものを説明変数にしたが、サポートベクターマシンでは、説明変数になりえるすべての変数を使う。逆に、どの変数が分類に効いているのかは、わからない。

カーネル法を使った関数には、いくつかある。
・線形カーネル
多項式カーネル
・RBFカーネル(ガウスカーネル)
・双曲線カーネル

一般的には、RBFカーネルを使う場合が多い。scikit-learnの関数でも、デフォルトはRBFカーネルになっている。



RBF カーネルでは、前記の正則化パラメーター C とあわせて、カーネル係数 γ を決めることが必要。 カーネル係数γの値によって、どのような分類になるかが決まる。

・γ が小さい
 単純な境界 → 分類が粗くなる → ざっくりとした分類
・γ が大きい
 複雑な境界 → 分類が細かくなる → モデルが複雑

RBF カーネルでは、ちょうどよい 正則化パラメーター Cとカーネル係数γ を決めていく。このような、ハイパーパラメーターは、あらかじめ人間が決めてあげる必要がある。



クラス分類の分析手順

サポートベクターマシンによる分析は、scikit-learn ライブラリでは、sklearn.svm を使う。
インポートは、以下の通り。

from sklearn import svm

なお、NumPy, pandas, Matplotlib, Seaborn については、何も言わなくてもインポートするものとする。
分析の手順は、教師あり機械学習の手順通り。
f:id:damion_n:20210921143632p:plain



データの準備

分析の手順とAPI

サポートベクターマシンによる分析は、scikit-learn ライブラリでは、sklearn.svm を使います。
インポートは、
from sklearn import svm
です。

なお、NumPy, pandas, Matplotlib, Seaborn については、何も言わなくてもインポートするものとします。

分析の手順は、教師あり機械学習の手順通りです。



図 分析と手順

■ データの準備
分析すべきデータをCSVファイルで準備する。
必要に応じて、欠損値の処理、外れ値の処理などの前処理を行う。
なお、scikit-learn のサポートベクターマシンは、欠損値を許さないため、欠損値に対しては、何らかの処理が必要になる。
サポートベクターマシンを使った分類では、とくに相関係数をみる必要はない。すべての説明変数を使うことができる。
ただし、マシンのリソースなどの関係で、変数を減らしたいときには、主成分分析などを使って変数の数を減らす。または、目的変数が連続値の場合は、単純に、相関係数を見て、相関がなさそうなところから減らしていく。



クラス分類のためのモデル作成

まずは、クラス分類のためのモデルを作る。
サポートベクターマシンで、分類用のRBFカーネルを使い、 次のようなコードで作ることができる。

sklearn.svm.SVC(
    C=1.0, # 正則化パラメーター(>0)
    kernel='rbf',  # アルゴリズム['linear'|'poly'|'rbf'|'sigmoid'|'precomputed'|自作)
    degree=3, # kernel='poly' のときの次数
    gamma='scale',  # kernel=['rbf'|'poly'|'sigmoid'] のときのカーネル係数
    random_state=None # 確率推定のためにデータをシャッフルするときに使用される擬似乱数ジェネレーターのシード
)

クラス分類のための学習

学習は、モデルの fit() 関数を使う。

fit(
    X, # 説明変数
    y, # 目的変数 
    sample_weight=None # 重さ
)

なお、説明変数 X は、変数がひとつであったとしても、2次元の配列や、データフレームでなければならない。



クラス分類のための予測

予測は、モデルの predict() 関数を使う。

predict(
    X # 説明変数
)

predict() 関数で、説明変数X から、目的変数 y を計算してくれる。



クラス分類のための評価

モデルを評価する指標には以下のものがある。

・正解率
・混同行列(Confusion Matrix) から算出する指標
・クラス分類レポートにある指標



・正解率
 実測値と予測値をもとに、正しく分類された割合。

sklearn.metrics.accuracy_score(
    y_true, # 実測値 
    y_pred, # 予測値
    normalize=True, # 正規化
    sample_weight=None 
)

ただし、正解率だけでは、過学習の危険性があるため、モデルの精度は計れない。
したがって、評価の指標としては、つぎの混同行列に基づいた指標、適合率、精度 (Precision)、再現率 (Recall)、 F値 (F-measure, F-score, F1 Score) といったものを確認していく。
とくに、二値分類のときは、AUC と ROC 図 を使って、視覚的に確認することもできる。



・混同行列(Confusion Matrix)
 混同行列は、クラス分類の結果をまとめた行列(表)。
 モデルの予測結果に対して、正しく、または誤って分類した数の表。
f:id:damion_n:20210921144450p:plain

・TP(True Positive): Positive と予測して、実際に Positive だった数
・FN(False Negative): Negative と予測したが、実際は Positive だった数 (失報、見逃し)
・FP(False Positive): Positive と予測したが、実際は Negative だった数 (誤報)
・TN(True Negative): Negative と予測して、実際に Negative だった数

なお、Trueは、予測が正しかったことを意味する。Falseは、予測が正しくなかったことを意味する。
Positive や Negative は、予測すべき値。

混同行列は、以下の confusion_matrix() 関数で作成できる。

sklearn.metrics.confusion_matrix(
    y_true, # 実測値 
    y_pred, # 予測値
    labels=None, # ラベルのリスト
    normalize=True, # 正規化
    sample_weight=None 
)

よく使われる評価指標には、以下のものがある。

・正解率 (Accuracy) = (TP + TN) / (TP + FP + FN + TN)
  全体のデータ中に、TP を TP に、TN を TN に、正しく分類できた割合。高いほど、性能がよい。
  sklearn.metrics.accuracy_score() 関数で取得可

・適合率、精度 (Precision) = TP / (TP + FP)
  正と分類したものの中で実際に正だった割合。高いほど、間違った分類が少ない。

・再現率 (Recall) = 真陽性率 (TPR, True positive rate) = 感度 (Sensitivity) = TP / (TP + FN)
  本来、正と予測するデータが、どの程度、正と予測できたかの割合。高いほど、性能がよい。間違えて正と判断する割合が少ない。ただし、適合率と再現率とはトレードオフの関係にある。

F値 (F-measure, F-score, F1 Score) = 2 / (1 / Precision + 1 / Recall)
  適合率(Precision) と再現率(Recall) のバランスが保たれているかの指標。適合率(Precision) と再現率(Recall) の調和平均。高いほど、バランスが取れている。




・クラス分類レポート
混同行列は、目的変数が2値だけではなく、3つ、4つと、複数のクラスに分けることができる。
3つ以上のクラスに分けたときに、どの変数を正(True)とするのかで、前記の指標が違ってくる。
そこで、metrics.classification_report() 関数が用意されている。
これは、前記の混同行列から計算される指標のうち、以下の値を出力する。

・適合率, 精度 (Precision)
・再現率 (Recall) = 真陽性率 (TPR, True positive rate)
F値 (F-measure, F-score, F1 Score)

二値分類のときはもちろんのこと、三値以上の分類の評価指標も可能。

sklearn.metrics.classification_report(
    y_true, # 実測値
    y_pred, # 予測値
    labels=None,  # ラベルのリスト
    target_names=None, # ラベルの表示名
    sample_weight=None, # 
    digits=2, # 出力時に丸める桁数
    output_dict=False,  # 出力を辞書にする
    zero_division='warn'
)

f:id:damion_n:20210921144741p:plain






押していただけると励みになります!

にほんブログ村 資格ブログ スキルアップへ
にほんブログ村

Pythonライブラリ「scikit-learn」とは?関数一覧(学習メモ)

Pythonライブラリ「scikit-learn」について学んだことをメモします。
f:id:damion_n:20210921130300p:plain

scikit-learn (サイキットラーン)

f:id:damion_n:20210921130902p:plain
Python機械学習をする際によく使われるライブラリ。
回帰分析、クラス分類、クラスタリングなどの機械学習を行うことができる。
scikit-learnはオープンソースBSD license)で公開されており、個人/商用問わず、誰でも無料で利用することができる。



scikit-learn添付のデータセット

scikit-learn には、機械学習を試してみるためのデータセットがあらかじめ用意されており、初心者の練習に向いている。
あらかじめ学習データと研修データにわけてある。

・ボストン市の住宅価格データ(Boston house prices dataset)
 ・回帰向き
・アヤメの品種データ(Iris plants dataset)
 ・分類向き
・糖尿病患者の診療データ(Diabetes dataset)
 ・回帰向き
・数字の手書き文字データ (Optical recognition of handwritten digits dataset)
 ・分類向き
・生理学的特徴と運動能力の関係についてのデータ(Linnerrud dataset)
 ・回帰向き
 ・目的変数が3つある
・ワインの品質データ(Wine recognition dataset)
 ・分類向き
乳がんデータ(Breast cancer wisconsin (diagnostic) dataset)
 ・分類向き



scikit-learnの6つの機能

scikit-learnの6つの具体的な機能は以下のとおり。

①回帰
二種類ある教師あり学習のうちの一つで、データセットを学習して新たな入力に対する出力の数値を予測する手法のこと。例えば、過去の気象データと位置情報を学習し、その地点の翌日の気温を予測する際には回帰を行う。

②分類
分類はもう一つの教師あり学習で、データを学習して、新たな入力に対する出力のラベルを予測する手法のこと。回帰と同様に気象に関して例えるならば、過去の気象データと位置情報を学習し、その地点の翌日の天気(晴れ、曇り、雨、雪)を予測するのは、分類。

以下、分類や回帰に用いることができるscikit-learnのアルゴリズムの例。
・線形モデル
サポートベクターマシン
確率的勾配降下法
・最近傍
ガウス過程
・決定木
・アンサンブル学習
ニューラルネットワーク

クラスタリング
データの特徴から関連の深いデータや似通ったデータを見つけ、クラスターに分ける(=グルーピングする)手法。例えば、企業の購買データの分析などに応用されていて、クラスタリングの結果に基づいて顧客に商品をレコメンドできる。scikit-learnでは、クラスタリングもK-meansをはじめ数多くのアルゴリズムで実行可能。

④次元削減
次元削減は教師なし学習の一種。データセットの特徴量同士の関係を学習し、より簡潔かつ効率的に特徴量の情報を表現することなどを目的に、新たな特徴量を計算で導出して特徴量の数を削減する手法。例えば、近年盛んに様々なメディアで取り上げられているビッグデータを処理する際に、データセットのあまりの大きさにコンピュータの処理性能が不足することがあります。そういった場合に、次元削減をすることでコンピュータの性能不足を補うことができる。scikit-learnでは、主成分分析や因子分析などで次元削減を行うことができる。

⑤データの前処理
データの前処理といっても、pandasで行うようなデータの整形ではなく、機械学習が正しく実行されるためのデータの数値変換を行う。適切な前処理を行うことで、特定の特徴量が学習結果に過大な影響を与えることなどを防ぐことができる。例えば、データの平均を0、標準偏差を1にする標準化などを行う。なお、scikit-learnでは他にも、非線型変換や正規化、離散化などの処理を行うことができる。

⑥モデルの評価と選択
様々な手法・モデルを用いて機械学習を実装できるため、モデルを正しく評価して、どのモデルを使うのか選択する必要がある。そのために、scikit-learnには、各種評価指標を簡単に算出したり、ハイパーパラメータをチューニングしたりするための機能が備わっている。



Google Colabでscikit-learnを使う場合

Google Colabにはscikit-learnが元から用意されているため、ノートブックを作成したらすぐに利用可能。








押していただけると励みになります!

にほんブログ村 資格ブログ スキルアップへ
にほんブログ村

プログラミング、私のアウトプット学習法。

プログラミング初心者です。
プログラミング言語Pythonをもちいて、現在は機械学習に必要なライブラリの使用方法について学習を進めています。

インプット学習としては、ウェブ講習資料を読み、まとめサイトやブログ、Youtubeでわかりやすい解説を読んで理解しています。

本日はアウトプット学習方法について簡単に紹介します。
f:id:damion_n:20210917110047p:plain

学んだ事項をブログにまとめる

ただ読んだだけではわかったようなわからないような、あいまいな状態になるので、このブログで学んだことを書き込むことで頭の整理になっています。
ただし、コードのコピペだとやはり読んだだけ状態と変わらないので、なるべく理解できるように一文字一文字を打ち込むよう努力しています。

印刷物に書き込む

少し面倒ですが、代表的なプログラミングコードの羅列をどこからか引っ張ってきて、Google Coraboratoryに貼り付け、計算やグラフ描画を実行。そのコードの意味とアウトプットを照らし合わせるために、紙に印刷してペンでメモ書きしています。
どうしても、学校教育では紙とペンで書き込むことで頭に入れる習慣がついてしまっているので、こうしたアナログな方法は一番頭に入りやすいです。

Youtubeの出題番組で、応用例で実践

https://youtu.be/bsYJ3hTvx7c
こちらのサイトでは、「20本ノック」といって、Pythonライブラリに関するコードの初歩の練習問題を20題だしてくれます。この問題に従って、自分なりに調べてコードを書き、答え合わせすることで、スムーズに記憶されていっています。


以上、簡単ですが、プログラミング初心者の、Pythonライブラリアウトプット学習法を紹介いたしました。
参考になれば幸いです。


押していただけると励みになります!

にほんブログ村 資格ブログ スキルアップへ
にほんブログ村

Pythonライブラリ「Matplotlib」とは?関数一覧(学習メモ)

ライブラリ「Matplotlib」について学んだことをメモします。
f:id:damion_n:20210912220105p:plain

Matplotlib(マットプロットリブ)

f:id:damion_n:20210915111205p:plain
データの可視化(グラフ化)ができるコードを揃えたライブラリ。

Matplotlibで出力できるグラフ例:
・折れ線グラフ
・棒グラフ
ヒストグラム
・散布図
・散布図行列
・ヒートマップ
クラスターマップ
・箱ひげ図

インポート方法は以下のとおり。

import matplotlib.pyplot as plt

似てるけど違うseaborn(シーボーン)

f:id:damion_n:20210915111224p:plain
可視化ライブラリにはもう一つ、seabornが知られる。単純に言うと、Matplotlibよりも使い勝手を良くしてグラフをかっこよくしたものがseabornらしい。

インポート方法は以下のとおり。

import seaborn as sns


seaborn内でmatplotlibを使えることから、以下のようにパッケージとしてインポートすると楽。

# ビジュアル化関係のパッケージ
import matplotlib.pyplot as plt
import seaborn as sns
sns.set() # seaborn使用の設定

グラフを描く基本的な手順

1.グラフを書く「軸」と、それを配置する「図」のインスタンスを取得する。
2.「軸」単位にグラフを描画する。

fig, ax = plt.subplots() # 図と軸インスタンス取得
ax.plot([y[0], y[1]], …) # 軸単位のグラフの設定
ax.set_title(‘Line graph’) # タイトル設定
ax.legend()  # 凡例表示
plt.show() # 描画


・図と軸を1x1で取得したい場合

fig, ax = plt.subplots() # 図と軸(1x1)インスタンス取得

f:id:damion_n:20210915111748p:plain


・図と軸を1x2で取得したい場合

fig, ax = plt.subplots(1, 2) # 図と軸(1x2)インスタンス取得

f:id:damion_n:20210915111834p:plain


・図と軸を2x1で取得したい場合

fig, ax = plt.subplots(2, 1) # 図と軸(2x1)インスタンス取得

f:id:damion_n:20210915111914p:plain


・図と軸を2x2で取得したい場合

fig, ax = plt.subplots(2, 2) # 図と軸(2x2)インスタンス取得

f:id:damion_n:20210915112102p:plain



レイアウトの設定

画像を大きくしたり小さくしたり、 タイトルとグラフが重なってしまうので、余白を大きくしたいなど、デフォルトのデザインを変更する場合は、matplotlib.pyplot.rcParams に設定する。

matplotlib.pyplot.rcParams['設定したいキー'] = 値

例えば、画像サイズを変える場合は以下のとおり。

plt.rcParams['figure.figsize'] = (16.0, 16.0) # 画像サイズの設定

折れ線グラフ

matplotlib.lines.Line2D(xdata, ydata, linewidth=None, linestyle=None, color=None,
                        marker=None, markersize=None, markeredgewidth=None,
                        markeredgecolor=None, markerfacecolor=None,
                        markerfacecoloralt='none',fillstyle=None, antialiased=None,
                        dash_capstyle=None, solid_capstyle=None,
                        dash_joinstyle=None, solid_joinstyle=None, pickradius=5,
                        drawstyle=None, markevery=None, **kwargs)

・xdata (必須) X 軸方向の数値
・ydata (必須) Y 軸方向の数値
・linewidth 線の太さ
・linestyle 線のスタイル。
      ‘solid’ (実線), ‘dashed’ (破線), ‘dashdot’ (破線&点線), ‘dotted’ (点線) から指定。
      (デフォルト値:”solid”)
・color 線の色
・marker マーカーの種類。参考: matplotlib.markers (デフォルト値:”None”)
・markersize  マーカーの大きさ
・markeredgewidth マーカーの枠線の太さ
・markeredgecolor マーカーの枠線の色
・markerfacecolor  マーカーの塗りつぶしの色
・markerfacecoloralt マーカーの塗りつぶしの色 2。
          fillstyle で left, right, bottom, top を指定した際、
          塗りつぶされない領域が ‘markerfacecoloralt’ で指定された色となる。
           (デフォルト値: ‘none’)
・fillstyle  マーカーの塗りつぶしのスタイル。
      ‘full’ (全体), ‘left’ (左半分), ‘right’ (右半分), ‘bottom’ (下半分),
       ‘top’ (上半分), ‘none’ (塗りつぶしなし) から選択。
・antialiased アンチエイリアス (線を滑らかに描画する処理) を適用するかどうか。
       False または True から選択。

データフレームに2列あれば、その2列分が折れ線として表示される。
以下は、weatherというデータファイルの「ave_temp」「ave_vapor_pressure」を2軸として折れ線グラフを描く場合。

weather[['avg_temp', 'avg_vapor_pressure']].plot.line()

f:id:damion_n:20210917101425p:plain


直線グラフ

Axes.plot([x0, x1], [y0, y1]) と記述すると、点(x0, y0) から 点(x1, y1) まで直線が引かれる。

fig, ax = plt.subplots() # 図と軸を取得
ax.plot([0, 12], [0, 12]) # 45度線

f:id:damion_n:20210917101442p:plain



棒グラフ

以下は、weatherというデータファイルの「ave_temp」「ave_vapor_pressure」を棒グラフを描く場合。

weather[['avg_temp', 'avg_vapor_pressure']].plot.bar()

f:id:damion_n:20210917101658p:plain


plot引数をつかうと、軸を指定できる。

fig, ax = plt.subplots(1, 2) # 図と軸(1x2)を取得
weather[['avg_temp']].plot.barh(ax=ax[0])
weather[['avg_vapor_pressure']].plot.bar(ax=ax[1])

f:id:damion_n:20210917101810p:plain


subplots=True で、列ごとに軸を分割することもできる。

weather[['avg_temp', 'avg_vapor_pressure']].plot.bar(subplots=True) # subplots=True で、列ごとに軸を分割

f:id:damion_n:20210917102125p:plain



ヒストグラム

以下は、weatherというデータファイルの「ave_temp」のヒストグラムを描く場合。

weather['avg_temp'].plot.hist()

f:id:damion_n:20210917102313p:plain



散布図

以下は、weatherというデータファイルで、x軸に「平均気温: avg_temp」、y軸に「平均蒸気圧: avg_vapor_pressure」を指定して、散布図を描く場合。

weather.plot.scatter(x='avg_temp', y='avg_vapor_pressure')

f:id:damion_n:20210917102450p:plain



散布図行列

変数が2変数のときは、散布図でよいが、3変数以上になると、いちいち、変数の組み合わせを作り、散布図を描く必要があり面倒なので、散布図行列にすると楽。

以下は、weatherというデータファイルのすべての変数の散布図行列を描く場合。

sns.pairplot(weather.drop('pref_code', axis=1))

f:id:damion_n:20210917103255p:plain



箱ひげ図

matplotlibの箱ひげ図は、外れ値の確認をするのに便利

箱ひげ図のグラフの見方。
・25パーセンタイル=第一四分位数
・50パーセンタイル=第二四分位数
・75パーセンタイル=第三四分位数
f:id:damion_n:20210917103436p:plain

以下は、weatherというデータファイルのすべての変数の箱ひげ図を描く場合。

weather.drop('pref_code', axis=1).boxplot(rot=90) # ID列以外を指定
plt.show()

f:id:damion_n:20210917103742p:plain



ヒートマップ / クラスターマップ

多変数の相関係数を比較するのに、わかりやすくビジュアル化する際使う。

ヒートマップは、データフレームの行の順番通りに出力するが、クラスターマップは、樹形図を追加するため、樹形図が見やすくなるように、変数の順番が入れ替わる。

r = weather.drop('pref_code', axis=1).corr()

sns.heatmap(r.round(1), annot=True)  # ヒートマップ
plt.title('heatmap')
plt.show()

sns.clustermap(r.round(1), annot=True)  # クラスターマップ
plt.title('clustermap')
plt.show()

f:id:damion_n:20210917104507p:plain
f:id:damion_n:20210917104531p:plain



画像や2次元配列の表示

画像や2次元配列を表示する。3次元目は、RGB値やRGBA値を指定。省略したときは、グレースケール。

X については、以下のような2次元または3次元の配列になる。
・(M, N):スカラーデータを含む画像。データはカラーマップを使用して視覚化。
・(M, N, 3):RGB値(0-1 floatまたは0-255 int)の画像。
・(M, N, 4):RGBA値(0-1 floatまたは0-255 int)の画像、つまり透明度を含む。

img = np.linspace(0, 1.0, 25).reshape(5, 5) # 5x5 の配列
print(img)
plt.imshow(img)
plt.gca().grid(False)

f:id:damion_n:20210917104818p:plain





押していただけると励みになります!

にほんブログ村 資格ブログ スキルアップへ
にほんブログ村

Pythonライブラリ「pandas」とは?関数一覧(学習メモ)

Pythonライブラリ「pandas」について学んだことをメモします。
f:id:damion_n:20210913210948p:plain

pandas(パンダス)

csvファイルやExcelファイルデータの読み込み、並び替え、欠損値補完などができるPythonのライブラリ。数表および時系列データを操作するためのデータ構造と演算を提供する。

pandasのライブラリのインポートは、以下のように記述するのが一般的。
別名として、「pd」とする慣習がある。

import pandas as pd

pandasの2つのデータ構造、「Series」「DataFrame」とは

Pandas(パンダス)には2つの主要なデータ構造があり、Series(シリーズ)が1次元のデータDataFrame(データフレーム)が2次元のデータに対応する。



Seriesを定義する

基本的には以下のコードで定義する。

pd.Series (data=データの配列, index=インデックスの配列, name=列名)

Seriesの情報(形状、インデックス、値、要素の値)などは、次のコードで取得できる。
In[0]:

s1 = pd.Series([1, 2, 3])

print('s1:', s1, sep='\n') # s1自体
print('s1.shape:', s1.shape) # s1の形状
print('s1.index:', s1.index) # s1のインデックス
print('s1.values:', s1.values) # s1の値
print('s1[1]:', s1[1]) # s1の値

Out[0]:
s1:
0 1
1 2
2 3
dtype: int64
s1.shape: (3,)
s1.index: RangeIndex(start=0, stop=3, step=1)
s1.values: [1 2 3]
s1[1]: 2



変数の中には、値そのものではなく、値に対して、整数を割り当てたものもある。
例えば、男性が 0 で、女性が 1 や、 天気で、晴は 0、曇は 1、雨は 2 など。

こうした記号化した変数の値に対して、人間が分かりやすいように、1 であれば曇、と表示することができる。

In[0]:

df = pd.DataFrame([0, 1, 2, 1, 2, 2, 0]) # DataFrameの定義
df[0].map({0: '晴', 1: '曇', 2: '雨', }) # Seriesにするため、インデックス0を指定

Out[0]:
0 晴
1 曇
2 雨
3 曇
4 雨
5 雨
6 晴
Name: 0, dtype: object



DataFrameを定義する

データフレームにCSVファイルからデータを読み込むには、以下のようにpandas.read_csv() 関数を使う。

pandas.read_csv(
    CSVファイルのパス,
    sep=',', # 項目の分離付
    header=0, # ヘッダーの行番号(0相対)。ヘッダーなしのときは None
    nrows=None, # 先頭から、指定した行数だけ入力。すべてのときは None
    names=None, # [列名のリスト] で、列名を指定
    dtype=None, # {列名: データ型} で、指定列が指定したデータ型で読み込まれる
    encoding=‘utf-8’ # ファイルの文字コード
)

head関数

データ数が多い場合は、head関数により、先頭行から何行目までを表示する、ということが指定できる。
( )内に表示したい行数を入れる。何も入れないとデフォルトで5行表示される。

data.head()  # 最初の5件を表示

tail関数

head関数と同じように、こちらは最後から何行目までを表示する、ということが指定できる。
( )内に表示したい行数を入れる。何も入れないとデフォルトで5行表示される。

data.head(10)  # 最後の10件を表示

統計量を確認する関数

データ分析を行う前に、統計量の確認をする場合に用いる関数一覧を示す。
欠損値以外の行数や、合計値、平均値など、個別の関数が用意されている。

・count() 行数
・sum() 合計値
・mean() 平均値
・std() 標準偏差
・var() 分散
・min() 最小値
・max() 最大値

上記は個別に統計量を確認する関数だが、統計量のサマリーを表示する関数としてdescribe() 関数がある。

・describe() 統計量のサマリー表示

data.describe()

相関係数

変数間の相関係数は、 corr() 関数で出すことができる。回帰分析などでよく使う。
corr() 関数の結果は、相関行列で出力され、縦軸・横軸に変数が並び、その変数間の相関係数が一覧となっている。

data.corr()

データの取り出し

データ処理のために、特定の列を取り出すことがある。
その際、取り出す構造がデータフレームか、NumPy配列かによって、書き方が変わる。

データフレームとして取り出す場合は、辞書から値を取り出すイメージで以下のように記述する。
例:weatherというデータ変数から、pref_codeというデータの初めの5行を表示する。

weather['pref_code'].head()

NumPy配列として取り出す場合は、loc を使う。
例:weatherというデータ変数から、pref_codeという列データの初めの5行を表示する。

weather.loc[:, ['pref_code']].head()


locやilocを使うことで、要素を取り出せる。
基本的に、loc[インデックス名, カラム名] または、iloc[インデックス番号, カラム番号] として取得する。
例:14番目の行である「東京」のave_temp(平均気温)を指定して表示する。

weather.loc[14, 'avg_temp'] # 東京(14)の平均気温

例:3番目の行の、5番目の列を指定して表示する。

weather.iloc[3, 5]


query関数で、条件に合致したデータを取り出すこともできる。
例:wetherというデータ変数中の、ave_temp(平均気温)が18℃以上を表示する。

weather.query('avg_temp >= 18') # 平均気温が18度以上


idxmin()関数で最小値、idxmax()関数で最大値を取得できる。
例:weatherデータのすべての最小値を表示する。

weather.idxmin()

クロス分析

クロス分析とは、数あるデータの中から、2~3個のデータだけをピックアップし、それらの関係を見る分析。クロス分析では、pivot_table()関数を使い、ピボットテーブル(データ関係が見やすいシンプルな一覧)を表示できる。

DataFrame.pivot_table(
    values=None, # 集計対象
    index=None, # 行
    columns=None, #  列
    aggfunc='mean', # 集計関数
    fill_value=None, # 欠損値を置き換える値 
    margins=False, # 小計などの行や列を追加
    dropna=True, # NaNのある列を削除
    margins_name='All', #  margins=True のときの行や列名
)

例:weather2データ中の、symbol_weather(天気記号)ごとに、count(件数)とnp.mean(平均値)を出す。その際、小数点以下1桁で表示。

weather2.pivot_table(index='symbol_weather', aggfunc=('count', np.mean)).round(1)

データフレームの定義とデータの追加

列を追加するのは、Python辞書と同様に、列名をキーとして、辞書にリストを追加していくイメージ。 最初に、空のデータフレーム(インデックス指定)をつくり、そこに、新しい列を代入で追加していく。

# 列を追加していく場合
evaluation = pd.DataFrame(index=['評価値1', '評価値2', '評価値3', ])
evaluation
# 列を追加
evaluation['モデル1'] = ['値11', '値21', '値31', ]
evaluation['モデル2'] = ['値12', '値22', '値32', ]
evaluation

f:id:damion_n:20210915100447p:plain



行の追加は、列の追加に比べると、少し複雑。最初に、空のデータフレーム(カラム指定)をつくり、そこに、新しい行をappend() 関数で追加していく。 このとき、行となるのは、pandas の Series または、DataFrameとなる。1行ずつの追加と考えると、Series になる。
Series には、データフレームの列名のリストをインデックスに、また、データフレームのインデックスとして、name 引数に値を指定しておく。
name 引数を指定する必要がなければ、ignore_index=True を指定する。

# 行を追加していく場合
evaluation = pd.DataFrame(columns=['評価値1', '評価値2', '評価値3', ])
evaluation
# 行を追加
evaluation = evaluation.append(pd.Series(['値11', '値12', '値13', ], index=evaluation.columns, name='モデル1'))
evaluation = evaluation.append(pd.Series(['値21', '値22', '値23', ], index=evaluation.columns, name='モデル2'))
evaluation

f:id:damion_n:20210915100414p:plain




結合

SQLのように、データフレームを結合することができる。結合条件は、指定された列の値の一致による。SQLの結合と同様に、内部結合、外部結合(左、右、完全)が指定できる。
SQL:データベースを操作するための 言語。

DataFrame.merge(
    right, # 右側に結合するデータフレーム
    how='inner', # {'left', 'right', 'outer', 'inner'} ... 左外部結合、右外部結合、完全外部結合、内部結合
    on=None, # 結合する列名が同じときの列名
    left_on=None, right_on=None, # 結合する列名が違うときの左側と右側の列名
)

f:id:damion_n:20210915100654p:plain



ソート

データフレームをソートすることができる。 値をもとにソートするのが、sort_values()、インデックスをもとにソートするのが、sort_index()。

・値によるソート
sort_values() 関数により、値によるソートができる。キーが複数あるときは、by引数やascending引数をリストにする。

DataFrame.sort_values(
    by,  # ソートする列名/行
    axis=0, # ソートする軸
    ascending=True, # Trueのとき、昇順
    inplace=False,  # オリジナルの置き換え
    na_position='last', # NaNの位置
    ignore_index=False # Trueのとき、インデックスが [0, 1, 2, ...] に振りなおされる 
)

f:id:damion_n:20210915100925p:plain


・インデックスによるソート
インデックスによるソートも同様の方法。

DataFrame.sort_index(
    axis=0, # ソートする軸
    ascending=True, # Trueのとき、昇順
    inplace=False,  # オリジナルの置き換え
    na_position='last', # NaNの位置
    ignore_index=False # Trueのとき、インデックスが [0, 1, 2, ...] に振りなおされる 
    )

f:id:damion_n:20210915101107p:plain



欠損値の処理

欠損値は、何らかの原因で、欠落してしまったデータのこと。欠損値があると、正しくデータの分析ができないこともある。したがって、欠損値に対して、何かしらの処理が必要になる。処理としては、
・欠損値を含む行を削除(欠損値が特定列の場合も含む)
・欠損値を含む列を削除
・欠損値を穴埋めする
が挙げられる。

欠損値があるか確認するコード。

DataFrame.isnull()

isnull() の結果は、それぞれの要素が True/False になりますので、これと合わせて、sum() 関数を適用して、列ごとにNaNがいくつあるかを数えたりする。

DataFrame.isnull().sum()

f:id:damion_n:20210915101400p:plain



欠損値に対する処理として、欠損値のある行を削除/列を削除することもある。 ただし、単に削除するだけでは、データ分析する上で、データが不足する可能性もあるため注意。

DataFrame.dropna(
    axis=0,  # 軸
    how='any',  # 'any':NA値が存在する場合、その行または列をドロップ
                # 'all':すべての値がNAの場合、その行または列をドロップ
    thresh=None,  # 指定した数の非NaN値を確保
    subset=None,  # 特定の列(行)にNaNがある行(列)を削除する場合に指定
    inplace=False  # オリジナルを置き換えるかどうか
)

f:id:damion_n:20210915101539p:plain


特定の値で欠損値を穴埋めすることもできる。
DataFrame.fillna() を使う。 データの状態にもよるが、平均値や中央値での穴埋めや、欠損値のある行の前後の値での穴埋めができる。

DataFrame.fillna(
    value=None,  # 特定の値を指定: すべて同じ値
                 # 辞書を指定: 列ごとに値を指定
                 # mean()などのメソッドを使うと、列ごとの平均値で置き換え
    method=None,  #  {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, 
    axis=None, 
    limit=None, 
    inplace=False
)

・backfill: : 後ろの値で置き換え
・bfill: : 後ろの値で置き換え
・ffill: : 前の値で置き換え
・pad: : 前の値で置き換え

f:id:damion_n:20210915101759p:plain




押していただけると励みになります!

にほんブログ村 資格ブログ スキルアップへ
にほんブログ村

Pythonライブラリ「NumPy」とは?関数一覧(学習メモ)

ライブラリ「NumPy」について学んだことをメモします。
f:id:damion_n:20210912220105p:plain

NumPy(ナムパイ)

数値計算や多次元配列などを効率的に処理するライブラリ。
機械学習でよく使う2次元配列や、さらに高次元の配列を用いる場合は必ず使用する。

NumPyのライブラリのインポートは、以下のように記述するのが一般的。
別名として、「np」とする慣習がある。

import numpy as np

array()関数で配列を定義する

Pythonリストをもとに、numpy.array() を使って定義する。
array(行,列)で定義する。

※行と列の考え方
 1行4列の行列 → [1,2,3,4]
 4行3列の行列 → [1,2,3]
[4,5,6]
[7,8,9]
[10,11,12]


例えば、「1,2,3,4,5,6」という配列を定義したい場合は以下のとおり。

In [0]:

# 1次元配列
array1 = np.array([1, 2, 3, 4, 5, 6]) # 1次元配列
array1

Out [0]:
array([1, 2, 3, 4, 5, 6])


例えば、「1,2,3」「4,5,6」という二次元配列を定義したい場合は以下のとおり。

In [0]:

# 2次元配列
array2 = np.array([[1, 2, 3], [4, 5, 6]]) # 2次元配列
array2

Out [0]:
array([[1, 2, 3],
[4, 5, 6]])


例えば、(「1,2,3」「4,5,6」)(「7,8,9」「10,11,12」)という三次元配列を定義したい場合は以下のとおり。

In [0]:

# 3次元配列
array3 = np.array([[[1, 2, 3], [4, 5, 6]], [[7, 8, 9], [10, 11, 12]]]) # 3次元配列
array3

Out [0]:
array([[[ 1, 2, 3],
[ 4, 5, 6]],

[[ 7, 8, 9],
[10, 11, 12]]])




配列の次数を確認したい場合は、インスタンス変数 shapeを使う。
In [0]:

array1.shape # 次数の確認

Out [0]:
(6,)



reshape()関数で次元を変形する

配列を指定した次数に変形する場合、reshape関数を使う。
このとき、変形後の次数のうち、ひとつを-1 と指定することで、自動的に次数が計算される。

In [0]:

array1.reshape(-1, 2) # (6,) を (3, 2) にする

Out [0]:
array([[1, 2],
[3, 4],
[5, 6]])
※2列のみ指定することで、行数を2行に自動変換してくれる。

In [0]:

array3.reshape((2, -1))  # (2, 2, 3) を (2, 6) にする

Out [0]:
array([[ 1, 2, 3, 4, 5, 6],
[ 7, 8, 9, 10, 11, 12]])
※2行のみ指定することで、列数を6列に自動変換してくれる。



arange() 関数で指定した数列を出す

始値と終了値(終了値は入らない)と、公差(デフォルト1)を指定した数列を返す。
In [0]:

# 0から9まで
np.arange(10)

Out [0]:
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])

In [0]:

# -1 から 1 まで、0.2 きざみ
np.arange(-1.0, 1.0, 0.2)

Out [0]:
array([-1.00000000e+00, -8.00000000e-01, -6.00000000e-01, -4.00000000e-01,
-2.00000000e-01, -2.22044605e-16, 2.00000000e-01, 4.00000000e-01,
6.00000000e-01, 8.00000000e-01])




linspace() 関数で指定した数列を出す

始値と終了値(デフォルトで入る)と、個数(デフォルト50)を指定して、数列を返す。
引数 retstep=True とすると、そのときの公差もあわせて返す。

In [0]:

# 0から10まで、10個分
np.linspace(0, 10, 10)

Out [0]:
array([ 0. , 1.11111111, 2.22222222, 3.33333333, 4.44444444,
5.55555556, 6.66666667, 7.77777778, 8.88888889, 10. ])


In [0]:

# 0から10(入らない)まで、10個分
np.linspace(0, 10, 10, endpoint=False)

Out [0]:
array([0., 1., 2., 3., 4., 5., 6., 7., 8., 9.])


In [0]:

# 公差も返す(結果はタプル)
np.linspace(0, 10, 10, retstep=True)

Out [0]:
(array([ 0. , 1.11111111, 2.22222222, 3.33333333, 4.44444444,
5.55555556, 6.66666667, 7.77777778, 8.88888889, 10. ]),
1.1111111111111112)





押していただけると励みになります!

にほんブログ村 資格ブログ スキルアップへ
にほんブログ村

機械学習環境Google Colaboratory(学習メモ)

学んだプログラミング環境についてメモします。
f:id:damion_n:20210905070009p:plain



機械学習を行う場合、変数やデータが多い場合は、PCで実行するのは時間がかかりすぎる。
機械学習ディープラーニングでは、GPU を使うことが前提になるが、個人でGPUをそろえるのは金額面で無理がある。
そんな場合に、Google Colaboratoryはおすすめ。


Google Colaboratory

無料でブラウザからPythonが実行できる環境。GPUが使える。共有が簡単。
colab.research.google.com

f:id:damion_n:20210905070949p:plain


Google Colaboratory は、 Google Drive との連携できるため、解析対象のデータを Google Drive 上においておくと便利。
f:id:damion_n:20210905071027p:plain


具体的にgoogle driveでデータを保存しておく場所。
f:id:damion_n:20210905071158p:plain


Google Colaboratoryには、機械学習ディープラーニングを行うために必要なパッケージがそろっている。
 例:NumPy、pandas、Matplotlib、TensorFlow、Keras...



使用上の制約が2つある。

・90分ルール
 ブラウザと Google Colaboratory とのセッションが切れて90分後、ランタイムがシャットダウンする。

・12時間ルール
 インスタンス起動後、12時間経過すると、ランタイムはシャットダウンする。

ランタイムがシャットダウンすると、実行中であったとしても、すべてリセットされる。
したがって、途中結果などについては、Google Drive などに保存する必要がある。

また、コマンドをつかってランタイムの確認ができる。

!cat /proc/uptime | awk '{print $1 / 60 " m,  " $1 / 60 / 60 " h "}'

リソースの制約は、以下のとおり。

 ・ストレージ
  ・GPU利用 360GB
  ・GPUなし 40GB
  ・TPU利用 40GB
 ・メモリ 13GB
 ・GPUメモリ 12GB

リソースの使用状況は、画面の右上に表示される。




Google Colaboratory の使い方

Jupyter Notebook と基本的には同じ。コードを入力して、Shift+Enter で実行。



新規スクリプトファイルの作成
左上の「+ 新規」ツールアイコンをクリックして、
その他 > Google Colaboratory
を選択して、新しいスクリプトを開く。

f:id:damion_n:20210912195244p:plain


Google DriveデータをColaboratoryで使う場合

Google Driveにあらかじめ解析したいデータを入れておくことで、Google Coraboratoryからデータにアクセスできる仕組みがある。その場合、事前に認証手続きをおこなう必要がある。

認証の手続きは次のとおり。
認証手続き用のリンクと、認証コード入力用のテキストフィールドのフォームが表示されたら、認証手続きにしたがって、認証コードを入手、フォームに入力してエンターキーを押す。

In[0]:

DATA_PATH = '/content/gdrive/My Drive/Colab Notebooks/data/' # Google Colabratory 使用時
try:
    from google.colab import drive
    drive.mount('/content/gdrive')
except ModuleNotFoundError as e:
    DATA_PATH = './data/' # ローカル環境 使用時

Go to this URL in a browser: https://accounts.google.com/o/oauth2/auth?client_id=947318989803-6bn6qk8qdgf4n4g3pfee6491hc0brc4i.apps.googleusercontent.com&redirect_uri=urn%3aietf%3awg%3aoauth%3a2.0%3aoob&response_type=code&scope=email%20https%3a%2f%2fwww.googleapis.com%2fauth%2fdocs.test%20https%3a%2f%2fwww.googleapis.com%2fauth%2fdrive%20https%3a%2f%2fwww.googleapis.com%2fauth%2fdrive.photos.readonly%20https%3a%2f%2fwww.googleapis.com%2fauth%2fpeopleapi.read only

Enter your authorization code:
··········
Mounted at /content/gdrive


しばらくすると認証が完了する。
変数 (例えば、「DATA_PATH」) に、データ・ファイルのパスが設定されるので、これに、実際に使うファイル名をつなげればデータをロードできる。






押していただけると励みになります!

にほんブログ村 資格ブログ スキルアップへ
にほんブログ村