モデルジェネレーターヘルプ
はじめに
警告
モデルジェネレーターは、2024年2月1日以降、非推奨のサービスとなりました。2024年2月1日のMAGELLAN BLOCKSのリリース以降、このモデルの作成はできません。DataEditorサービスへ移行してください。
これは、モデルジェネレーターおよびそのトレーニングに関する各画面について解説しているヘルプドキュメントです。各画面に「ヘルプ」と書かれたリンクがあり、そのリンク先がこのドキュメントです。
モデルジェネレーターとは何か
モデルジェネレーターは、機械学習を誰にでも簡単に扱えるようにするMAGELLAN BLOCKSのサービスです。
BLOCKSの機械学習は、「学習」と「予測」の2つのステップからなります。
-
学習ステップで過去のデータから学習を行います。
-
予測ステップで学習結果を使って未来のデータから予測(分類や回帰)を行います。
モデルジェネレーターは、この機械学習における1の学習ステップをサポートするサービスです。2の予測ステップは、「フローデザイナー」の「モデルジェネレーター予測(オンライン)」ブロックや「モデルジェネレーター予測(バッチ)」ブロックでサポートします。
モデルジェネレーターでは、この学習のステップを「トレーニング」と呼びます。トレーニングでは、訓練データと検証データを使って学習し、最適な学習結果(トレーニング結果)を導き出します。
訓練データと検証データは、トレーニング用に用意する過去のデータを適切に分けたものです。
モデルジェネレーターの種類
モデルジェネレーターは、用途別に種類が分かれています。ここでは、モデルジェネレーターの種類とその用途について紹介します。
数値分類タイプ
数値分類タイプは、特徴的なデータから以下のような分類ができます。
- キャンペーンなどの実施により「会員登録する(0) /会員登録しない(1)」に分類
- ウェブサイトで表示される広告を「クリックしない(0) /クリックする(1)」に分類
- ユーザーの趣向性を数値化して「地域特性など数パターン(0からn)」に分類
- クレジットカードやATMの利用特性から「正当利用(0) /不正利用(1)」に分類
数値回帰タイプ
数値回帰タイプは、何らかの事象(天候や曜日など)から以下のような数値予測ができます。
- 来場者数を予測
- 販売数を予測
- 交通機関の利用者数を予測
画像分類タイプ
画像分類タイプは、画像から以下のようにその画像が何であるかの識別(分類)ができます。
- 犬の画像から、ブルドッグ・プードル・ダックスフンドなどへ分類
- 猫の画像から、ペルシャ・シャム・アビシニアンなどへ分類
- 寿司の画像から、トロ・いくら・サーモンなどへ分類
対応する画像形式は、JPEG・PNG・GIF・BMPのみです。
警告
透過あり(RGBA)画像には、対応していません。RGBA画像は、RGB(透過なし)画像に変換後、利用願います。
変換したRGB画像の各画素の色がトレーニングや予測に及ぼす影響を統一させるため、統一した方法(同一ツール同一オプション)で変換処理することを推奨します。
画像物体検出タイプ[手動設定]
画像物体検出タイプ[手動設定]は、画像からその画像のどこに何があるかの識別(検出)ができます。複数物体の検出も一度にできます。
手動設定タイプは、自動設定タイプとは違い、自身で用意した画像データを使ってトレーニングし、任意の物体検出が可能です。
画像物体検出タイプ[自動設定]
画像物体検出タイプ[自動設定]は、画像からその画像のどこに何があるかの識別(検出)ができます。複数物体の検出も一度にできます。
自動設定タイプは、手動設定タイプとは違い、COCO (Common Objects in Context)のデータセットを使ってトレーニングした結果(モデル)を提供します(トレーニング不要)。
このモデルで、検出可能な物体(ラベル/キャプション)は以下のとおりです。
ID | 検出可能な物体(ラベル/キャプション) |
---|---|
1 | person |
2 | bicycle |
3 | car |
4 | motorcycle |
5 | airplane |
6 | bus |
7 | train |
8 | truck |
9 | boat |
10 | traffic light |
11 | fire hydrant |
13 | stop sign |
14 | parking meter |
15 | bench |
16 | bird |
17 | cat |
18 | dog |
19 | horse |
20 | sheep |
21 | cow |
22 | elephant |
23 | bear |
24 | zebra |
25 | giraffe |
27 | backpack |
28 | umbrella |
31 | handbag |
32 | tie |
33 | suitcase |
34 | frisbee |
35 | skis |
36 | snowboard |
37 | sports ball |
38 | kite |
39 | baseball bat |
40 | baseball glove |
41 | skateboard |
42 | surfboard |
43 | tennis racket |
44 | bottle |
46 | wine glass |
47 | cup |
48 | fork |
49 | knife |
50 | spoon |
51 | bowl |
52 | banana |
53 | apple |
54 | sandwich |
55 | orange |
56 | broccoli |
57 | carrot |
58 | hot dog |
59 | pizza |
60 | donut |
61 | cake |
62 | chair |
63 | couch |
64 | potted plant |
65 | bed |
67 | dining table |
70 | toilet |
72 | tv |
73 | laptop |
74 | mouse |
75 | remote |
76 | keyboard |
77 | cell phone |
78 | microwave |
79 | oven |
80 | toaster |
81 | sink |
82 | refrigerator |
84 | book |
85 | clock |
86 | vase |
87 | scissors |
88 | teddy bear |
89 | hair drier |
90 | toothbrush |
フローデザイナーの[モデルジェネレーター予測(バッチ)]ブロックの出力結果では、ラベルではなくIDが出力されます([モデルジェネレーター予測(オンライン)]ブロックの場合はラベル)。
ダウンロード | 説明 |
---|---|
coco_labels.csv |
IDとラベルの一覧(上表)のCSVファイルです。 必要な方は、左のリンクをクリックしてダウンロードしてください。 |
トレーニング詳細
この画面では、以下のことができます。
トレーニングを開始する
[トレーニング開始
]ボタンをクリックするとトレーニング開始画面が表示されます。
トレーニング開始画面で、トレーニングに必要な情報を設定し、トレーニングを開始します。
トレーニングを一覧する
トレーニングが1つ以上あるとトレーニングが一覧表示されます。
参考
[APIをチェックする
]リンクをクリックすると、トレーニングや予測に必要なGoogle APIのチェックができます。有効化されていないGoogle APIが検出された場合は、当該Google APIを有効化してください。
トレーニングの一覧では、トレーニングごとに以下の情報が確認できます。
情報 | 説明 |
---|---|
トレーニング名 | 「トレーニング開始」で設定したトレーニング名です。トレーニング名をクリックすると、トレーニングの詳細が確認できます。 |
トレーニング開始日時-終了日時 |
トレーニングを開始した日時と、トレーニングが終了した日時です。 参考 |
ステータス | トレーニングの状況です。トレーニングの状況に応じて、準備中/トレーニング中/中断済み/成功/失敗のいずれかが表示されます。 |
正確率/誤差 | トレーニングの評価結果です。分類の場合は正確率、数値回帰の場合は誤差で表します。 |
アクション |
トレーニングの中断とトレーニング結果の適用ができます。 トレーニング結果を適用すると、フローデザイナーの[モデルジェネレーター予測(オンライン)]や[モデルジェネレーター予測(バッチ)]ブロックを使った予測ができるようになります。 トレーニング結果の適用は、[ 適用は、[ |
各トレーニング右端の をクリックするとメニューが表示されます。各メニューをクリックすることで、以下のことができます。
|
トレーニングの詳細を確認する
トレーニング名をクリックすると、そのトレーニングの詳細な情報が確認できます。
項目 | 説明 |
---|---|
トレーニング結果 |
トレーニングの開始日時・終了日時・ステータス・正確率もしくは誤差が確認できます。 画像分類の場合は、[分類に失敗した画像]が表示されることがあります。 画像分類では、画像フォルダーのデータをおよそ8:2の割合で訓練用のデータと検証用のデータに自動的に仕分けして、トレーニングを行います。 トレーニングでは、訓練用のデータで学習を行い、その学習の成果を検証用のデータで検証します。この検証で、分類結果が想定と異なっていると[分類に失敗した画像]が表示されます。 [分類に失敗した画像]が表示された場合は提示された各画像を確認してください。画像に誤りがあったときは、適切なフォルダーに配置しなおすか、削除してから再度トレーニングを行ってください(画像に誤りがなければ、その画像はそのままで構いません)。 |
設定内容 |
「トレーニングデータ開始」で設定した内容とランタイムバージョンが確認できます。ランタイムバージョンには、有効期限があります。詳しくは、基本操作ガイドの「制限事項」を参照願います。 |
エラーログ | トレーニング失敗時のエラーメッセージが確認できます。失敗の原因を調べる際の参考にしてください。 |
モデルジェネレーターの情報を確認する
「設定内容」の項目でモデルジェネレーターの情報が確認できます。
項目 | 説明 |
---|---|
名前 |
「モデルジェネレーター作成」で設定したモデルジェネレーターの名前です。 [ |
タイプ | 「モデルジェネレーター作成」で設定したモデルジェネレーターのタイプです。 |
GCPプロジェクトID | モデルジェネレーターが使用するGCPプロジェクトIDです。 |
GCPサービスアカウント | モデルジェネレーターが使用するGCPサービスアカウントです。 |
モデル名 | トレーニングのモデル名(トレーニング結果)です。 |
トレーニングデータ設定 |
「トレーニングデータ設定」で設定した内容です。 [ 以下は、サンプルファイルの例です。 sepal_length,sepal_width,petal_length,petal_width,result 15.86,47.13,23.59,88.76,Iris-versicolor
|
モデルジェネレーターを削除する
「サービス削除
」項目の「削除
」をクリックするとモデルジェネレーターが削除できます。
トレーニング開始
この画面では、トレーニングに必要な項目を設定して、トレーニングを開始します。
参考
トレーニング開始時に、トレーニングや予測に必要なGoogle APIが有効化されているかをチェックします。有効化されていないGoogle APIが検出された場合は、当該Google APIを有効化して、トレーニングを再度開始してください。
数値分類タイプ・数値回帰タイプ
設定項目は以下のとおりです。
設定項目 | 説明 |
---|---|
トレーニング名 | トレーニングに名前をつけます。 |
トレーニングデータ アップロード |
トレーニングデータのアップロード先に使用するGoogle Cloud Storage (GCS)の場所が「 リンクをクリックすると、ウェブブラウザーの別タブでGoogle Cloud Consoleが開き、このGCSにアクセスできます(プロジェクト設定のGCPアクセスで登録したGoogleアカウントによるログインが必要)。 参考 |
トレーニングデータの アップロード方法 |
トレーニングデータをどのように指定するかを指定します。
|
トレーニングデータ |
トレーニングデータをGCS上のCSVファイルで与えるか、DataEditorのデータで与えるかを指示します。 |
訓練データ/ トレーニングデータURL |
GCS上の訓練データもしくはトレーニングデータファイルのパス( アイコンをクリックして表示されるGCSファイルセレクターを使ってファイルを選択すると、この形式でパスが展開されます。 参考 |
検証データURL |
GCS上の検証データファイルのパス( アイコンをクリックして表示されるGCSファイルセレクターを使ってファイルを選択すると、この形式でパスが展開されます。 参考 |
トレーニングデータ テーブル |
トレーニングデータをDataEditorで作成したデータから選択します。 選択したデータに、 |
CSVデータの 読み飛ばすヘッダー行 |
トレーニングで使用するCSVファイル中のヘッダー行を無視する機能です。CSVファイル中にヘッダー行がある場合は、ヘッダー行の行数を指定します。ヘッダーがない場合は0を指定します。 |
トレーニングの経過制限時間(分) |
トレーニングを何分かけて行うかを30分以上の分単位で指定します(内部的に行われる前処理や後処理などの時間を除く)。 |
マシンタイプ |
トレーニングに使用するマシンの種類を選択します。
|
トレーニングの説明 |
トレーニングの説明を記入します。 トレーニングデータをDataEditorのデータで与えた場合は、名前・データセットID・テーブルIDの情報が自動追記されます。 |
画像分類タイプ
設定項目は以下のとおりです。
設定項目 | 説明 |
---|---|
トレーニング名 | トレーニングに名前をつけます。 |
トレーニングデータ アップロード |
トレーニングデータのアップロード先に使用するGoogle Cloud Storage (GCS)の場所が「 リンクをクリックすると、ウェブブラウザーの別タブでGoogle Cloud Consoleが開き、このGCSにアクセスできます(プロジェクト設定のGCPアクセスで登録したGoogleアカウントによるログインが必要)。 参考 |
画像フォルダー |
トレーニングに使用するGCS上の画像フォルダーへのパス( アイコンをクリックして表示されるGCSファイルセレクターを使ってフォルダーを選択すると、この形式でパスが展開されます。 画像フォルダーの仕様は、以下のとおりです。
たとえば、犬と猫の画像を分類する場合は、犬用のフォルダーと猫用のフォルダーを分けてそれぞれに犬と猫の画像ファイルを配置します。 |
トレーニングタイプ |
トレーニングの種類を選択します。
|
トレーニングの経過制限時間(分) |
トレーニングを何分かけて行うかを30分以上の分単位で指定します(内部的に行われる前処理や後処理などの時間を除く)。 |
トレーニングの最大試行回数 |
トレーニングの試行回数を 参考 |
早期打ち切り判定を利用する |
早期打ち切り判定を[ 早期打ち切り判定とは、トレーニング中にこれ以上の精度向上が見込めないと判断した場合に、トレーニングの経過制限時間に達していなくてもトレーニングを打ち切る機能です。ただし、精度向上の見込み判断の正確性を保証するのものではありません。ご利用は、ご自身の判断でお願いします。 参考 |
マシンタイプ |
トレーニングに使用するマシンの種類を選択します。
参考 |
トレーニングの説明 | トレーニングの説明を記入します。 |
画像物体検出タイプ[手動設定]
設定項目は以下のとおりです。
設定項目 | 説明 |
---|---|
トレーニング名 | トレーニングに名前をつけます。 |
アノテーション |
画像アノテーションツールで作成したアノテーションを設定します。 |
トレーニングの説明 | トレーニングの説明を記入します。 |
GCPサービスの利用料金
モデルジェネレーターは、お客さまのGCPプロジェクトに各種GCPサービスを利用した環境を構築します。
このため、MAGELLAN BLOCKSの料金とは別にGCPの料金が発生します。適用される料金は、サービスごとに異なります。詳しくは、モデルジェネレーターで使用する各サービスごとの料金ページを参照してください。