目次
はじめに
今回は、フィギュアスケートの採点に関して”主観的バイアス”、特に滑走グループの差がジャッジングに影響を与えるのか？に焦点を当てた研究論文の紹介をします。
僕自身が実際に競技を行っていたときも、「滑走順があとの方が得点が出やすい」とか「SPで失敗せずに後半グループで滑れていたらもっとFSで点が出たのに、、、」のような暗黙の認識はあったように思います。
果たして実際のところはどうなのでしょうか？？
想定読者は以下のとおりです。
- フィギュアスケートの採点方式についてある程度知識のある方
- 大学教養程度の統計の知識がある方
- スポーツアナリティクスに興味のある方（主に学生）
都合上すべてを細かく説明できているわけではない点ご了承ください。
論文基本情報
Title:
成果評価基準における正確性について ―フィギュアスケートにおける主観的評価の検証
Authors:
行武 憲史 (日本大学)
藤野 玲於奈 (慶應義塾大学)
Journal:
日本経済研究 Vol.76 68-92
Year:
2018
結論：PCSにおいて男女ともにバイアスが生じる可能性が認められた
まずは結論から。
本論文ではPCS（演技構成点）においてのみ男女フリースケーティングでグループ間の期待バイアスの存在が認められています。
また、より客観性の高い評価指標であるBase Value(基礎点)とGOE（出来栄え点）についてはその存在が認められませんでした。
具体的にはフリースケーティングで、1つグループがあとになった場合に、バイアスとして平均して男子の場合は2.001点、女子の場合は1.912点点数が高くなるとされています。
次節から具体的な手法などを説明していきます。
研究概要
後半グループは成績上位が集まる場
まずはフィギュアスケートの滑走順について軽くおさらいします。
フィギュアスケートの大会ではSPにおいてはランキングが下位の者から先に滑ります。FSでは、SPの競技結果をもとにして滑走順が決まります。
多くの場合、FSに進めるのは24名で6人で1グループの計4グループに分けられます。
つまり、審判員は基本的に後半グループの選手に高い点数をつける経験が多くあるのです。
この経験の影響や、”後半グループだからいい演技をするはずだ！”という期待などの影響により、実際の競技力以上に後半グループにバイアスのかかった点数をつけているか？が紹介する論文の取り組むテーマです。
もしこのようなバイアスが生じていれば、実際の競技力がそれほど変わらなくとも、割り当てられたグループによって評価が変わってしまう可能性があります。
この論文では、”審判が目前の演技とは別の要因に影響を受け、審査結果が歪められる点を確認する”ことを目的として、この要因を”期待バイアス”と定義しています。
期待バイアスが生じている状況とは？
仮にグループによってバイアスが生じているならば、得点はどのようになるでしょうか？
もともと競技力によってグループ分けがされているため、グループ間の平均の得点には差が生じています。
バイアスが生じている場合、この競技力差以上のものが差に現れるということになります。
下の図は、グループ間にバイアスがある場合と無い場合とのイメージ図です。グループ間にバイアスがある場合、グループの境界（例えば6位と7位）の間で得点と能力の不連続性が生じると考えられます。
一方でグループ内の滑走順はランダムで決まるため、このようなバイアスは無く、不連続性も無いと考えられます。
今回は統計学的手法の中でもRDD（回帰不連続デザイン）という手法を用いてこれらを検証していきます。
回帰不連続デザインは、”その点以上、以下で介入がなされる閾値を割り当てることで、介入の因果効果を取り出す”ものです。
wikipediaより
ここでは、グループの境界の前後にいる選手との間に閾値を設け、”グループの違い”という介入がどのように得点に影響を与えるかを検証するということになります。
前述のようにグループ分けは競技力によって決められてしまいますが、この境界前後の選手のみを対象にすれば、その競技力差は大きくないにも関わらずグループが違うという状態を作り出すことができます。
本論文ではフリースケーティングを対象に以下の2つのアプローチで検証を行っています。
- 不連続性がグループの境界で生じると仮定
- 不連続性がグループ内で生じると仮定
推定モデル
スコアの推定には以下のモデルを用います。
Si : 演技者の対象スコア
Di : グループダミー (グループが上位であれば1)
SPC: ショートプログラムの得点
SBF: シーズンベストの得点
TD: 大会名ダミー変数
α,β,γ,δ,η: パラメーター
u:誤差項
データセット
11年分の 世界選手権 男女シングル (2005~2015)
3回分の オリンピック 男女シングル (2006, 2010, 2014)
サンプルサイズ: 男子 332, 女子 329
境界にいる選手のサンプル数 : 男子 80, 女子 80
推定結果
実際の推定結果がこちらの表になります。
【男子】
*** 1% 水準, **5% 水準, *10% 水準
【女子】
*** 1% 水準, **5% 水準, *10% 水準
上の表にあるように、
男女ともにグループの境界に不連続性を仮定した場合、PCS（演技構成点）においてグループダミー変数は1％水準で有意となりました。
しかしながら、Base Value（基礎点）とGOE（出来栄え点）に関しては有意ではありませんでした。
また、グループ内に不連続性を仮定した場合は、PCSに関しても有意ではありませんでした。Base Value、GOEについても同様に有意ではありませんでした。
この結果より、スケーターの能力に関わらず、後のグループに所属しているだけでPCSの得点が上がるということが示唆されました。
またその上がり幅は、1つ後ろのグループで滑走するにつれて、男子FSで2.001点、女子FSで1.912点となります。
2004年に行われたFindlayらの調査*では、”Presentation”（現行ルールでPCSと近いもの）だけでなく、”Technical Merit”（現行ルールでTESと近いもの）についてもこのようなバイアスが認められていました。
*“A Reputation Bias in Figure Skating Judging, “Journal of Sport and Exercise Psychology, Vol.26, pp.154-166.
そのため、採点方式が新採点方式に変わったことで、少なくとも技術評価に関してはグループ間における期待バイアスの軽減に寄与できていたといえそうです。
バイアスを取り除いた場合、競技結果がどう変わったか？
このようなバイアスがもしなかったとしたら、、、競技結果は覆ることはありませんし、タラレバを言っても仕方ありませんが、これは誰しもが思ってしまうもの。
この論文ではこのバイアスがなかった場合の試合の得点・順位の変化をシミュレーションしています。
著者らによると、入賞圏内である上位8位に絞っても19の競技会で順位の変動があったとのことです。
論文中では影響の大きいと感じられた2つを紹介しています。
1つは2010年の世界選手権女子。安藤美姫選手は僅差で4位となってしまいましたが、推計されたバイアスを除くと3位となりメダル圏内へと順位が変動します。
もう一つは2015年の世界選手権男子。小塚崇彦選手は12位でしたが、バイアスを取り除くと11位となります。これは翌年の世界選手権の枠取りに大きく影響しました。
世界選手権の枠は最大3であり、その国の上位2名の合計順位が13位以内であれば3枠を獲得できます。この年、日本の首位は羽生結弦選手の2位でした。もし小塚崇彦選手が11位であれば、翌年の世界選手権の日本選手の枠は最大の3になっていたのです。
終わりに
競技経験者であれば、またもしかしたら観戦者であっても感じたことのあるであろう”滑走グループが後の方が有利ではないか？”という問いについて、経済学の観点から研究をした論文を今回は紹介いたしました。
そして、旧採点方式から新採点方式に変わったことで、少なくとも技術評価に関してはこのバイアスが取り除かれていることが示唆されている点は大変興味深いものでした。
論文全文は日本語でこちらから読むことができ、読みやすい論文であると感じたので興味がある方はぜひ元の論文をお読みいただければと思います。
また、僕自身は統計の専門というレベルではないので、この論文で初めて回帰不連続デザインという手法について知りました。
手法の理解のためには以下の本を使用しましたので、参考にしてみてください！
 |
|
新品価格 |
また、これを機に統計学に興味を持った方は、このあたりの本を読むのが良いかもしれません！
 |
|
新品価格 |
 |
|
新品価格 |
