データストレージ上のデータをJupyter Notebookで統計解析
本ページでは、IoTサービスのデータストレージ上に蓄積したデータを、ブラウザベースの分析ツール「Jupyter Notebook」を用いて統計解析する手順を説明します。
データストレージからAPI経由でデータを取得し、データ整形・グラフでの可視化・変化点検知モデルを使ってデータ傾向の変化を捉えるユースケースを紹介します。
データ分析環境のセットアップ
データ取得と統計解析用の実行環境を準備しますが、詳細な手順は本マニュアルでは割愛させて頂きます。詳しくは公式サイトのインストール手順に従ってさい。
データストレージからのデータ取得・整形
データストレージAPI使用のための情報取得
データストレージAPIの使用に必要なアクセスキーとシークレットアクセスキーをIIJ IoTサービスのコントロールパネルの「API」画面から取得します。
IIJ IoTサービスのコントロールパネルの「データストレージ」画面から取得対象のバケット、オブジェクトキーを取得します。
下記例では1オブジェクトのみ選択していますが、必要なデータ数に合わせて複数オブジェクトの取得が必要になります。
データストレージAPIを利用したデータ取得
データストレージAPIを利用してデータを取得します。APIの詳細な情報は公式マニュアルをご覧下さい。
本マニュアルではPython3を使用したサンプルを例として紹介します。
import requests
import hashlib
import hmac
import base64
import datetime
from datetime import datetime, date, time,timedelta
import urllib.parse
base_url = "https://s3api.iot.iij.jp"
http_verb = "GET"
bucket = "/＜対象のバケット＞"
object_key = "＜対象のオブジェクトキー＞"
access_key = "＜アクセスキー＞"
secret_key = "＜シークレットアクセスキー＞"
expire_date = (datetime.now() + timedelta(days=1)).strftime("%s")
string_to_sign = http_verb + "\n" + "\n" + "\n" + expire_date + "\n" + bucket + "/" + object_key
hash_string = hmac.new(secret_key.encode("utf-8"), string_to_sign.encode("utf-8"), hashlib.sha1)
signature = urllib.parse.quote(base64.b64encode(hash_string.digest()).decode("utf-8"))
request_url = base_url + bucket + "/" + object_key + "?Expires=" + expire_date + "&IIJGIOAccessKeyId=" + access_key + "&Signature=" + signature
api_result = requests.request(method=http_verb, url=request_url)
取得したデータの整形
JSON形式で取得したデータをPandasのデータフレームに整形し、分析処理に適した形式に変換します。
import json
import pandas as pd
timestamp_tmp = []
value_tmp = []
for json_str in api_result.text.splitlines():
json_dict = json.loads(json_str)
timestamp_tmp.append(datetime.fromtimestamp(json_dict["timestamp"]/1000))
value_tmp.append(value = json_dict["payload"]["value"])
df = pd.DataFrame()
df["timestamp"] = timestamp_tmp
df["value1"] = value_tmp
df.head()
※収集してるデータによってデータ構造や欠損値といった条件が異なるため、対象とするデータに合わせて適宜データの整形処理やクレンジングが必要となります。
取得したデータの解析
時系列グラフの表示
モデルを作る前に取得したデータをグラフ表示し、データの傾向を把握します。
import holoviews as hv
from holoviews import opts
import bokeh
hv.extension('bokeh')
hv.Curve(df, ('timestamp','時刻'), ('value1','取得値') ,label="変数1").opts(width=1200, height=500, show_grid=True)
変化点検知モデルの作成
ここではChangeFinderアルゴリズムを用いた変化点検知モデルを作成します。ChangeFinderではデータの大幅な増加・減少が一定期間継続する事象を「変化点」として捉えており、単純な閾値検知ではなく過去の時系列のデータ傾向も考慮した検知が可能です。
モデルに指定するパラメータの詳細はここでは割愛しますが、公式マニュアルを参考にデータ傾向に合わせて調整してください。
import changefinder
from scipy import stats
cf = changefinder.ChangeFinder(r=0.005, order=1, smooth=100)
df_cf = df.copy()
anomaly_scores = []
for i in df_cf["value1"]:
score = cf.update(i)
anomaly_scores.append(score)
df_cf["value1_anom"] = anomaly_scores
ch_score_q1 = stats.scoreatpercentile(anomaly_scores, 25)
ch_score_q3 = stats.scoreatpercentile(anomaly_scores, 75)
iqr = ch_score_q3 - ch_score_q1
thr_upper = ch_score_q3 + iqr * 3
学習の結果算出された変化スコア（変化の大きさ）を見ると、４つのポイントでスコアが閾値を超えており、データ傾向の変化が起きている可能性が予想されます。
value1_cf_anom = hv.Curve(df_cf, ('timestamp','時刻'), ('value1_anom','取得値') ,label="変数1(変化スコア)")
value1_cf_anom_th = hv.HLine(thr_upper).opts(color='red', line_dash="dotdash")
(value1_cf_anom * value1_cf_anom_th).opts(opts.Curve(width=1200, height=300, show_grid=True))
上記４つの変化ポイントを元のデータに重ね合わせると、データ傾向の急減・急増のポイントを捉えていることがわかります。
anom_points = []
for i, score in enumerate(df_cf["value1_anom"]):
if score > thr_upper:
anom_points.append([df_cf["timestamp"][i],df_cf["value1"][i]])
value1_cf_org = hv.Curve(df_cf, ('timestamp','時刻'), ('value1','取得値'),label="変数1")
value1_cf_detected = hv.Points(anom_points, label="検知点").opts(color='red', legend_position='bottom')
(value1_cf_org * value1_cf_detected).opts(opts.Curve(width=1200, height=300, show_grid=True, title="変数1(検知結果)"))
取得データ・分析結果の外部出力
分析に用いたデータと変化点検知の結果をCSVとして出力します。
df.to_csv("dataframe.csv", sep=',', index=False)
df_cf.to_csv("result.csv", sep=',', index=False)
以上、データストレージのデータをAPIを用いて取得し、Jupyter Notebookを用いたデータ解析の例をご紹介させて頂きました。ご紹介した変化点検知アルゴリズムを用いることで、IoTサービスで取得した様々なセンサーデータの人間では捉えることのできない異常を捉えることが可能となります。
データ取得の方法は、今回ご紹介したAPIの方式以外にも、クライアントツールが提供されていますので、より簡単な方法でデータをダウンロードし、ローカルのデスクトップコンピュータ上のExcelや統計解析ソフトを利用してデータ分析を行うことも可能です。