SIGNATE Competitionの使い方

Step 1: 会員登録

① 会員登録をクリック

新規登録画面に必要事項を入力しましょう。

② 確認メールを受信

①で会員登録をクリック後、確認メールが送信されます。

③ ユーザー登録をクリック

②で受信した確認メールの「ユーザー登録」をクリックし、登録手続きを完了してください

Step 2: コンペに参加

① 一覧から選ぶ

コンペ一覧から自分のスキルや興味に合ったものを選びましょう。

入賞すれば懸賞が手に入る懸賞付きコンペや、学生のみが参加できる学生限定コンペ、期限のない初学者向けの練習問題など、皆さまのステージに合わせた様々な種類のコンペを用意しています。

② 内容の確認

コンペの内容を確認しましょう。

「コンペトップヘッダー」

コンペの終了日時、投稿件数、参加者人数、報酬、ポイント/メダルの対象か否かなどが表示されています。

ポイント/メダル対象

ポイント/メダルなし

「説明」

コンペの概要や報酬、スケジュール、参加資格、参加規約、フォーラムなどが表示されています。

概要：
コンペの主旨や開催概要が記載されています。

報酬：
報酬がある場合、その詳細が記載されています。

スケジュール：
コンペの開始日や締切日、チーム組成の期限、入賞者の決定日、表彰式の日程などが記載されています。

参加資格：
参加資格がある場合、その詳細が記載されています。

参加規約：
コンペ参加時に遵守すべき規約が定められています。特にクラッキングやチート行為、なりすまし等の不正行為は禁止行為になりますのでご注意ください。

フォーラム：
コンペがDiscordと連携されている場合、Discord上に作成されたコンペ専用のチャンネルに参加する方法が記載されています。コンペの参加者と意見交換などを行い、新しい発見や学習に役立てましょう。

「課題」

課題内容や評価方法、参加ルール、情報公開ポリシーなどが表示されます。

課題内容：
どのような目的のモデル開発に取り組んでいただくかなど、課題の詳細が記載されています。

評価方法：
評価に使用する関数や入賞者の決定方法などが記載されてます。評価方法を深く理解することは中級者への第一歩です。

参加ルール：
システムやデータの利用、情報の取り扱い、実装方法などのルールが記載されています。定められたルールをよく確認してから分析に着手しましょう。

情報公開ポリシー：
コンペで得られた知見や生成物等（モデルや分析結果）の公開可能範囲を定めています。「分析結果：公開可」であれば、ブログ等への一般公開が可能です。

「リーダーボード」

参加者の順位やスコアがリアルタイムに表示されています。自分の順位を確認しながら上位を目指しましょう。

※ Publicリーダーボードは、コンペ開催中にリアルタイムで更新される暫定順位です。

※ Privateリーダーボードは、コンペ終了後に確定する最終評価による順位です。

「ナレッジ」

チュートリアルや入賞者レポートなどが表示されています。参考にしてスキルを向上させましょう。

チュートリアル（※）：
データのダウンロードから標準的な手法でのモデリング、投稿までの一連のソースコードが、jupyter notebook形式で公開されています。

入賞者レポート（※）：
コンペ終了後に入賞者の解法がpdf形式で公開されます。

※ 一部のコンペのみ。

「チーム」

コンペによってはチームで参加することも可能です。「招待する」からユーザ名を指定してチームに招待してみましょう。

※ 「チーム」タブは、当該機能が利用できるコンペにおいてサインインおよび参加規約への同意後に表示されます。

※ チーム機能が利用できないコンペの参加方法は個人参加のみとなります。

「投稿ファイル」

投稿ファイルの一覧が表示され、これまで投稿したファイルのスコアやメモを確認できます。

※ 「投稿ファイル」タブはサインインおよび参加規約への同意後に表示されます。

③ コンペ参加規約に同意

「参加」ボタンをクリックするとコンペの参加規約が表示されます。
内容を確認の上、「参加規約に同意する」をチェックして「OK」をクリックしてください。

「投稿」ボタンはコンペ参加後に表示されます。
分析・モデル作成後にこちらから指定されたフォーマットでファイルを投稿しましょう。

※ 参加規約に同意いただけない場合、そのコンペに参加することはできません。

※ コンペによってはNDA締結や本人確認が必要となる場合があります。

④ データをダウンロード

データファイル一覧が表示されています。データの説明を確認した上で、「ダウンロード」ボタンからデータをダウンロードしましょう。

※ 「データ」タブはサインインおよび参加規約への同意後に表示されます。

※ コンペで配布するデータは当該コンペに限り使用可能です（当該コンペ以外での使用や再配布は禁じられています）。

※ コンペによっては、SIGNATE CLI（公式APIコマンドラインインターフェイス）でデータのダウンロードから投稿まで行うことができます。

※ コンペによっては、ローカル環境へデータをダウンロードできず、クラウド分析環境を使用していただく場合があります。

Step 3: 分析開始

提供されるデータにアクセスして、最高精度の予測モデルを作ろう！

４つの心得

コンペルールを確認しよう

コンペごとに定められたルールをよく読んでから分析を進めましょう。せっかく入賞してもルールを満たしていないと失格となります。

分析結果を管理しよう

コンペは数ヵ月続くため、ご自身の分析結果をしっかり管理しておきましょう（ファイル名に日付や手法、パラメータ等の名称をつけるなど）。入賞候補になった場合の入賞手続き時に有効です。
なお、他参加者の失格等で全員に入賞チャンスがあるので、スコアがふるわなくても管理は怠らないで！（入賞手続きについてはこちらをご覧ください）

過学習に注意！

学習用データに依存して、別のデータで想定する予測性能を発揮できないことを“過学習”といいます。過学習を起こすと、手元の学習用データのスコアが良いのに、提出した評価用データのスコアが悪くなり、順位が伸びない要因となります。詳しくは下記の手順②を参照してください。

実用性を重視しよう

コンペには企業課題の達成や社会問題の解決、研究成果の共有等、大前提となる目的があります。モデリングの際には実運用を意識したアプローチをお願いします。最終順位・入賞確定時に本趣旨に反するモデルやチート行為等が疑われた場合、事務局の判断で失格となる場合があります。

手順

①データの確認

データにアクセスできるようになったら、まず提供データの性質を把握しよう。例えば、データのレコード数やデータのタイプ（連続値なのか離散値なのか、文字列なのか等）、欠損値の有無、データの分布の形状、タスクタイプ（回帰、分類、マルチクラス、マルチラベル）の確認をすることが重要です。

データの性質が把握出来たら、探索的分析を始めよう。クラスタリングや相関分析、各種手法を用いて、変数間にどんな関係があるのか、どの変数が目的変数と関連深いか、どんな特徴量を作る必要があるのか等、予測精度を上げるための仮説をどんどん作っていこう。

②モデリング

データの基礎分析が終わったら、学習データを加工し、モデルを作っていこう。モデルを作ったら、まずは学習データにおける予測精度を評価してどの程度の予測が期待できそうかを確認しよう。その後、このモデルへ評価データを入力して予測結果を求め、SIGNATEに投稿してみよう。

精度向上のために、データの確認の時に挙げた仮説を元に予測に寄与しそうな特徴量を生成し、更なるモデル改良を続けよう。

過学習を避けるために、クロスバリデーションやブートストラップ法、特徴量選択、ハイパーパラメータのチューニング等、様々な工夫を駆使して、上位を狙おう。

分析結果はあとからわかりやすいように管理しておこう。

Step 4: 順位の確認

モデルがどのくらいの精度を有するか？順位を確認しよう！

評価・投稿について

順位は細かく確認しよう

コンペ開催中はリーダーボードで自身やライバルのスコアも確認しながらモデルの精度改善に取り組もう。
コンペ終了間際は予測結果の投稿が増え、デッドヒートになる傾向があります。期間中は上位であっても逆転が起こるので、油断しないで改善を続けましょう。

1日の投稿回数上限に注意

各コンペには1日の投稿回数に上限があるので、計画的な投稿を心がけよう。
1日の上限に達した場合は、いったん頭とマシンを休ませて、毎晩0時に行われる投稿回数のリセットを待ちましょう。

最終順位は終了後のリーダーボードで決定

コンペ最終日までの評価（暫定評価）は、評価用データの一部で評価されます。最終順位決定のための評価（最終評価）は、評価データの残りの部分で評価がされます。
リーダーボードはコンペ終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。そのため、コンペ開催中と終了後とでは順位が大きく変動することがあります。

手順

① 学習済モデルで評価用データを予測し、指定フォーマットで出力の上、SIGNATEに投稿します

コンペでは評価用データの目的変数のみ配布されず、こちらを予測するモデルを作ることが目的となります。

※ 評価用データのどの部分が暫定用・最終用であるかは開示されません。また、それらを探索する行為（チートと呼ぶ）は認められておらず、その事実が発覚した場合には失格とさせていただきます。

② 順位の確認

投稿が完了するとコンペ毎に設定される評価関数により自動的に予測精度が計算され、リーダーボードに順位が表示されます。

コンペ開催中は暫定評価、終了時に最終評価のスコアが表示されます。

※ 終了後、自動的にリーダーボードに最終評価が表示されます。

③ 上位を目指して、Step 3: 分析開始と、Step 4: 順位の確認を繰り返します

Step 5: 入賞の手続き

入賞手続きをして、懸賞金をゲットしよう！

懸賞金を獲得するには

ソースコード等を提出しよう

懸賞金を獲得するためには、事務局が指定する必要事項を提出する必要があります。その際に、どの分析結果が最終提出物だったかを事前に確認しておきましょう。
また、検収・審査にスムーズに合格できるように、ルールに違反していなかったどうかの再確認や、ソースコード・記入事項は出来るだけ正確に細かく記載するようにしてください。

モデル検収にクリアしよう

最終順位により入賞候補者となった方は、モデルと必要記載事項を事務局に提出し、SIGNATEによるモデルの検収・審査に合格する必要があります。このモデル検収をクリアすると晴れて入賞者に確定し、懸賞金を受け取ることができます。詳細については下記の手順を参照してください。

各種権利を譲渡する必要があります

コンペは提出いただいたモデルやレポートの著作権を権利譲渡対象者へ譲渡することで懸賞金を受け取れる仕組みとなっています。

※コンペによっては不要の場合もあります。

手順

① 候補者通知を受信

最終結果が上位だった方には事務局より入賞候補者通知が送られます。

※ 最終順位確定後、1週間以内に本通知がされます。

※ 稀に迷惑メールフォルダに入ってしまっていることがありますのでご注意ください。

② 提出物を提出

事務局の案内に従い、ソースコード及び必要事項を記載の上、事務局に期日までに提出しよう。

※ ソースコードやファイルは整理の上ご提出いただけますと検収をスムーズに進めることができますので、ご協力ください。

※ 最終提出物とは異なるモデルのソースコード提出や、パラメータ違いであるケースが多発しています。提出前によくご確認ください。

③ 検収・審査を受ける

提出物の提出が確認できたらモデル検収やルール順守しているか等の審査を事務局で実施いたします。

※ 不明点や動作ができなかった場合には、事務局よりお問い合わせさせていただきますので、ご協力ください。

※ モデル概要の記載は特にモデル検収において重要です。詳しくご記入ください。

記入項目例）

予測ロジック
分析・モデリングから得られた示唆
再現のための手順

④ 入賞手続きをする

審査に合格すれば懸賞金獲得まではもう目前。事務局に従い、権利譲渡等の契約をもって獲得権利が得られます。

※ 本契約を締結後、原則、1～2ヶ月で懸賞金の振込が完了します。