Paper Reading

Accuracy and National Bias of Figure Skating Judges: The Good, the Bad and the Ugly

Paper Readingはほぼ自分用の簡易的な論文まとめです

・論文基本情報

Accuracy and National Bias of Figure Skating Judges: The Good, the Bad and the Ugly(2020)

Vincent Dumoulin, Institute of Statistics, Université de Neuchâtel (Switzerland)
Hugues Mercier, Institutes of Computer Science and Mathematics, Université de Neuchâtel

14th MIT Sloan sports analytics conference (proceedings)

・どんな論文か

フィギュアスケートのPCSの採点におけるナショナルバイアスの有無の検証、現行モニタリング方法の問題点と新手法の提案

・先行研究との差分(新規性)

・これまで複数回審判論争が起こっている。直近では2018年平昌での中国人審判員の自国選手に対しての贔屓。彼らは停職処分を受けている。

・ナショナルバイアスは他の採点スポーツでも報告されており、競技の重要度によって増加していることが先行研究で明らかになっている。

・2018年平昌五輪での審判員の精度とバイアスを検証する。

  • 判定誤差の変動性を利用し、他の審判員と比較した審判員の精度を定量化する
  • ナショナルバイアスの有無を算出

・手法概要

データセット

2018平昌オリンピックのデータ250のプログラム。9人の審査員×5つのPCSで総計11250点のデータ。そのうち審判選手の国籍が同じ場合のデータは約6%。

・精度を算出するマーキングスコアを作成し、ジャッジごとに95%信頼区間を算出

⇢0であれば真値と同じ、1であれば平均的な誤差

・結果

結果の要約

  1. 精度の良いジャッジは、最も精度の悪いジャッジよりも2~3倍精度が良い
  2. ナショナルバイアスは常態化している
  3. ISUの審査員の監視は不十分
  4. ジェンダーや同調性のバイアスは存在しない
  5. 数学的な長期モニタリングを行うことで、問題は解決できる

・判定誤差のばらつき

・ジャッジの精度評価

  • 上位二名の規則性と下位二名の不規則性が際立っており、2〜3倍の差がある

・ナショナルバイアス

  • 5つの構成要素すべてにおいて統計的に優位である。
  • パフォーマンスが大きい(8.0以上)ほど絶対的な偏りは減少するが、内在する判定誤差はそのまま、もしくは微増する。

・ジャッジごとのナショナルバイアス

これを見る限りでは、処分を受けたジャッジ以外にもナショナルバイアスを持っているジャッジは存在する。

・ジェンダーバイアス

  • 性別によって評価を変えるといったバイアスはみられなかった。
  • 全体的に見ると男性より女性の方がエラーが少ない。

 

・同調性バイアス

他の審査員と同じような点数をつけてしまうという同調性バイアスはみられなかった。

 

・議論

・ナショナルバイアスの存在と審判員間採点精度の大きな差が明らかになったが、ISUのモニタリングに問題があると考えられる。

・旧採点のプレゼンテーションものよりは改善が見られている。

・最も高いものと低いものを削除している運用も効いている。

・他の採点スポーツに比べると、ナショナルバイアスの存在が大きくなっており、現行のモニタリング方式がそれを可能にしてしまっている。

・精度の高いジャッジがいることは確かである。精度の低いジャッジに対するモニタリングとフィードバックを行うことで、審判員の不正を減らしていくことが可能であると考えられる。

 

・その他

現行のISUの内部監査プロセス

「偏差点」=審査員が与えた得点と、全パネルの平均との差に基づいており、各構成要素は1.5点以下なら許容される。プログラム全体(5項目)では7.5まで許容される。

筆者が考える問題点

  • 閾値が大きすぎる。データセットを確認したところ、この閾値を超えたのは一例のみだった。
  • 総偏差の検出では正負のズレが打ち消し合ってしまう。
  • 平均は外れ値に敏感
  • 判定誤差のばらつきを無視している、真値が9.5の場合の偏差1.5と真値が5.0の場合の偏差1.5は意味合いが異なる。⇢審判員を適切に評価できない。また、この指標で見た場合、懲戒処分を受けたジャッジよりも偏りのあるジャッジが存在した。中国ジャッジは自国の評価を閾値以上にあげている。ドイツジャッジは閾値以上に自国選手の評価をあげていないが、ライバル国選手の評価を辛めにつけている。

・指標など細部の理解が甘い、、、、

 

ABOUT ME
@hironowa_ru
修士まではスポーツバイオメカニクスを専攻。新卒で総合スポーツ用品メーカーに入社し、デジタル分野の新規事業開発に従事。現在は日本代表選手団に向けた映像分析サポートを行っており、大学院でコンピュータビジョンの観点からスポーツ映像解析の研究を行っている。
こちらの記事もおすすめ!
Paper Reading

フィギュア・スケートの新しい採点システムの問題性 -2006年度グランプリシリーズ・男女シングル フリー・スケーティングを例として-

6月 13, 2020
Sports Analytics Dr.(仮)
Paper Readingはほぼ自分用の簡易的な論文まとめです ・論文基本情報 フィギュア・スケートの新しい採点システムの問題性 -20 …

COMMENT

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です