SIGNATE Competitionの使い方

Step 1: 会員登録

①会員登録をクリック

新規登録画面に必要事項を入力しましょう。

②確認メールを受信

①で会員登録をクリック後、確認メールが送信されます。

③ユーザー登録をクリック

②で受信した確認メールの「確認メールユーザー登録」をクリックし、登録手続きを完了してください

Step 2: コンペに参加

①一覧から選ぶ

コンペ一覧から自分のスキルや興味に合ったものを選びましょう。

入賞すれば懸賞が手に入る「懸賞付き」コンペや、学生のみが参加できる「学生限定」コンペ、期限のない初学者向けの「練習問題」など、皆さまのステージに合わせた様々な種類のコンペを用意しています。

②内容の確認

コンペの内容を確認しましょう。

コンペトップヘッダー

コンペの終了日時、投稿件数、参加者人数、報酬、ポイント・メダルの対象か否かなどが表示されます。

「説明」タブ

コンペの概要や報酬、スケジュール、参加資格、参加規約などが表示されます。
まずはコンペの概要をよく理解した上で、課題内容の確認に進みましょう。

概要：
コンペの目的や課題の内容が記載されています。

報酬：
報酬の詳細が記載されています。

スケジュール：
コンペの開始日や終了日、チーム結成の締切日、入賞者の決定日、表彰式の日程などが記載されています。

参加資格：
参加資格がある場合、その詳細が記載されています。

参加規約：
コンペ参加時に遵守すべき規約が定められています。特にクラッキングやチート行為、なりすまし等の不正行為は禁止行為になりますのでご注意ください。

「課題」タブ

課題内容や評価方法、ルールなどが表示されます。

評価方法：
評価に使用する関数や入賞者の決定方法が記載されてます。評価方法を深く理解することは中級者への第一歩です。

ルール：
システムやデータの利用、情報の取り扱い、実装方法などのルールが記載されています。定められたルールをよく確認してから分析に着手しましょう。

情報公開ポリシー：
コンペで得られた知見や生成物等（モデルや分析結果）の公開可能範囲を定めています。例えば分析結果が「公開可」であれば、 SNSやブログで記事を解法をアピールしてみましょう。

「データ」タブ

「参加」ボタンをクリックして参加規約に同意すると「データ」タブが表示され、データファイルをダウンロードができるようになります。
公式 API コマンドラインインターフェイス SIGNATE CLI (Beta) を利用すれば、データのダウンロードから投稿までコマンドライン上で実行できるようになります（一部のコンペでは使用できません）。

「リーダーボード」タブ

順位やスコアがリアルタイムに表示されます。
こまめに確認しながら上位を目指しましょう。
コンペによっては、コンペ終了後に公になる情報を使った評価方法（LIVE評価機能）や、スコアだけではなく推論時間を測定・評価する方法（Runtime機能）など、様々な機能が用意されています。

「ナレッジ」タブ（※）

チュートリアルや入賞者レポートなどが表示されます。

チュートリアル：
データのダウンロードから標準的な手法でのモデリング、投稿までの一連のソースコードが、jupyter notebook形式で公開されます。

入賞者レポート：
コンペ終了後に入賞者の解法がpdf形式で公開されます。参考にしてスキルを向上させましょう。

「チーム」タブ（※）

コンペによってはチームで参加することも可能です。

「投稿ファイル」タブ

投稿ファイルの一覧が表示されます。
これまで投稿したファイルのスコアやメモが確認できます。

「フォーラム」タブ（※）

コンペの参加者と意見交換ができる掲示板です。新しい発見や学習に役立てましょう。

「投稿」ボタン

予測結果を投稿できます。
指定されたフォーマットでファイルを投稿しましょう。
Runtime機能を使用したコンペでは、作成したモデル自体と推論部分のソースコードを投稿する必要があります。

※ 一部のコンペのみ。

③規約に同意

「参加」ボタンをクリックすると、コンペの参加規約が表示されます。内容を確認の上、「参加規約に同意する」をチェックして「OK」をクリックしてください。
※ 参加規約に同意いただかないと、そのコンペに参加することはできません。
※ NDA締結や本人確認が必要となるコンペもあります。

④データをダウンロード

データの説明事項を確認した上で、データやコンペの規約についてご不明点がありましたら、こちらからお問い合わせください。
※ コンペで配布するデータはコンペでの利用においてのみ使用ができます（コンペ以外での使用や再配布は禁じられています）。
※ ローカル環境へデータをダウンロードできず、クラウド分析環境で分析するコンペ形式が指定される場合もあります。

Step 3: 分析開始

提供されるデータにアクセスして、最高精度の予測モデルを作ろう！

４つの心得

コンペルールを確認しよう

コンペごとに定められたルールをよく読んでから分析を進めましょう。せっかく入賞してもルールを満たしていないと失格となります。

分析結果を管理しよう

コンペは数ヵ月続くため、ご自身の分析結果をしっかり管理しておきましょう（ファイル名に日付や手法、パラメータ等の名称をつけるなど）。入賞候補になった場合の入賞手続き時に有効です。
なお、他参加者の失格等で全員に入賞チャンスがあるので、スコアがふるわなくても管理は怠らないで！（入賞手続きについてはこちらをご覧ください）

過学習に注意！

学習用データに依存して、別のデータで想定する予測性能を発揮できないことを“過学習”といいます。過学習を起こすと、手元の学習用データのスコアが良いのに、提出した評価用データのスコアが悪くなり、順位が伸びない要因となります。詳しくは下記の手順②を参照してください。

実用性を重視しよう

コンペには企業課題の達成や社会問題の解決、研究成果の共有等、大前提となる目的があります。モデリングの際には実運用を意識したアプローチをお願いします。最終順位・入賞確定時に本趣旨に反するモデルやチート行為等が疑われた場合、事務局の判断で失格となる場合があります。

手順

①データの確認

データにアクセスできるようになったら、まず提供データの性質を把握しよう。例えば、データのレコード数やデータのタイプ（連続値なのか離散値なのか、文字列なのか等）、欠損値の有無、データの分布の形状、タスクタイプ（回帰、分類、マルチクラス、マルチラベル）の確認をすることが重要です。

データの性質が把握出来たら、探索的分析を始めよう。クラスタリングや相関分析、各種手法を用いて、変数間にどんな関係があるのか、どの変数が目的変数と関連深いか、どんな特徴量を作る必要があるのか等、予測精度を上げるための仮説をどんどん作っていこう。

②モデリング

データの基礎分析が終わったら、学習データを加工し、モデルを作っていこう。モデルを作ったら、まずは学習データにおける予測精度を評価してどの程度の予測が期待できそうかを確認しよう。その後、このモデルへ評価データを入力して予測結果を求め、SIGNATEに投稿してみよう。

精度向上のために、データの確認の時に挙げた仮説を元に予測に寄与しそうな特徴量を生成し、更なるモデル改良を続けよう。

過学習を避けるために、クロスバリデーションやブートストラップ法、特徴量選択、ハイパーパラメータのチューニング等、様々な工夫を駆使して、上位を狙おう。

分析結果はあとからわかりやすいように管理しておこう。

Step 4: 順位の確認

モデルがどのくらいの精度を有するか？順位を確認しよう！

評価・投稿について

順位は細かく確認しよう

コンペ開催中はリーダーボードで自身やライバルのスコアも確認しながらモデルの精度改善に取り組もう。
コンペ終了間際は予測結果の投稿が増え、デッドヒートになる傾向があります。期間中は上位であっても逆転が起こるので、油断しないで改善を続けましょう。

1日の投稿回数上限に注意

各コンペには1日の投稿回数に上限があるので、計画的な投稿を心がけよう。
1日の上限に達した場合は、いったん頭とマシンを休ませて、毎晩0時に行われる投稿回数のリセットを待ちましょう。

最終順位は終了後のリーダーボードで決定

コンペ最終日までの評価（暫定評価）は、評価用データの一部で評価されます。最終順位決定のための評価（最終評価）は、評価データの残りの部分で評価がされます。
リーダーボードはコンペ終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。そのため、コンペ開催中と終了後とでは順位が大きく変動することがあります。

手順

①学習済モデルで評価用データを予測し、指定フォーマットで出力の上、SIGNATEに投稿します

コンペでは評価用データの目的変数のみ配布されず、こちらを予測するモデルを作ることが目的となります。

※ 評価用データのどの部分が暫定用・最終用であるかは開示されません。また、それらを探索する行為（チートと呼ぶ）は認められておらず、その事実が発覚した場合には失格とさせていただきます。

②順位の確認

投稿が完了するとコンペ毎に設定される評価関数により自動的に予測精度が計算され、リーダーボードに順位が表示されます。

コンペ開催中は暫定評価、終了時に最終評価のスコアが表示されます。

※ 終了後、自動的にリーダーボードに最終評価が表示されます。

③上位を目指して、Step 3: 分析開始と、Step 4: 順位の確認を繰り返します

Step 5: 入賞の手続き

入賞手続きをして、懸賞金をゲットしよう！

懸賞金を獲得するには

ソースコード等を提出しよう

懸賞金を獲得するためには、事務局が指定する必要事項を提出する必要があります。その際に、どの分析結果が最終提出物だったかを事前に確認しておきましょう。
また、検収・審査にスムーズに合格できるように、ルールに違反していなかったどうかの再確認や、ソースコード・記入事項は出来るだけ正確に細かく記載するようにしてください。

モデル検収にクリアしよう

最終順位により入賞候補者となった方は、モデルと必要記載事項を事務局に提出し、SIGNATEによるモデルの検収・審査に合格する必要があります。このモデル検収をクリアすると晴れて入賞者に確定し、懸賞金を受け取ることができます。詳細については下記の手順を参照してください。

各種権利を譲渡する必要があります

コンペは提出いただいたモデルやレポートの著作権を権利譲渡対象者へ譲渡することで懸賞金を受け取れる仕組みとなっています。

※コンペによっては不要の場合もあります。

手順

①候補者通知を受信

最終結果が上位だった方には事務局より入賞候補者通知が送られます。

※ 最終順位確定後、1週間以内に本通知がされます。

※ 稀に迷惑メールフォルダに入ってしまっていることがありますのでご注意ください。

②提出物を提出

事務局の案内に従い、ソースコード及び必要事項を記載の上、事務局に期日までに提出しよう。

※ ソースコードやファイルは整理の上ご提出いただけますと検収をスムーズに進めることができますので、ご協力ください。

※ 最終提出物とは異なるモデルのソースコード提出や、パラメータ違いであるケースが多発しています。提出前によくご確認ください。

③検収・審査を受ける

提出物の提出が確認できたらモデル検収やルール順守しているか等の審査を事務局で実施いたします。

※ 不明点や動作ができなかった場合には、事務局よりお問い合わせさせていただきますので、ご協力ください。

※ モデル概要の記載は特にモデル検収において重要です。詳しくご記入ください。

記入項目例）

予測ロジック
分析・モデリングから得られた示唆
再現のための手順

④入賞手続きをする

審査に合格すれば懸賞金獲得まではもう目前。事務局に従い、権利譲渡等の契約をもって獲得権利が得られます。

※ 本契約を締結後、原則、1～2ヶ月で懸賞金の振込が完了します。