助成金や賞などの審査員や評価委員として関わることがあります。そこで感じているのは、選び方にもイノベーションが必要ではないかということです。
私たちは、「選ぶ」ことに対してあまり注意を払っていません。特に「選ぶためのプロセス」や「選び方」については、多数決や、各人のスコアリングの足し算を平均するなどして順位をつける、といった方法を採用しがちです。
しかし、この選び方でよいのか、という疑義が昨今程されており、様々な提案がなされています*1。たとえば選挙では、くじ引きを導入することや、二次の投票 (Quadratic Voting) などが有名です。科学の助成金でもランダムに助成するランダムファンディングが試されています。担当者が最後まで面倒を見ることを前提に、野球のドラフト制度のようなもので採択者を選ぶ助成金もあると聞きます。
同様に、研究開発補助金やスタートアップの助成金の審査でも、こうした新しい選び方の手法を試していくことで、より適切な資金配分ができるのではないかと感じています。
例）J-Startup
たとえば J-Startup を見てみましょう。
J-Startup は審査員による推薦制を採用しています。推薦委員による5社ずつの推薦と、それぞれの推薦の重みづけがなされます*2。そして過去の実績などを考慮しながら絞り込まれるそうです。
この仕組みの場合、以下のようなデメリットがあります。
- 推薦員に投資家が多いため、多数の投資家から少額ずつの投資を受けているスタートアップは、多くの票を集めやすく有利になる。
- 一方、少数の投資家から大口の投資を受けているスタートアップや、資金調達をしていないスタートアップは、推薦人が少なくなって不利となる。
また、とある推薦人Aの3位と、とある推薦人Bの3位が同じスコアで良いのか、という疑問もあります。Aさんはとても物知りで、200社のスタートアップを知っているとして、そのうちの3位を選んだとします。一方、Bさんは業界の日が浅く、10社程度しかスタートアップを知らない中で3位を選んだとしましょう。それぞれの3位の意味合いは大きく違うように見えるのに、スコアは同じとなります。
スコアがついた後にも課題があります。こうした順位付けの手法を採用すると、大抵問題になるのが「中ぐらいの順位」をどうするかです。上位と下位は大体決まりますが、ラインを超えるかどうか微妙な中ぐらいの評価のところを通すか通さないか、といったところに議論の時間が集中しがちです。しかもわずかな差で、当落が決まります。
さらに、推薦者はすべてのスタートアップを知っているわけではありません。おそらく5%も知らない中で、推薦をしなければならず、その中で順位付けまでしなければなりません。かといって、すべての候補となるスタートアップを一度推薦人から集めたあと（恐らく200社以上になるでしょう）、推薦人個々人がそれらに順位をつける、というのは認知負荷が高すぎて難しいでしょう。
この手法では、いくつかの限界があります。こうした状況を変えるために、どういった方法があるでしょうか。
例）ベストワーストスケーリングやペアワイズ比較を使う
たとえば、ベストワーストスケーリング (BWS) を使う方法があるように思います。
ベストワーストスケーリングは、提示された 4 ～ 5 程度の選択肢の中から「最も良いもの」と「最も悪いもの」だけを選択してもらう方法です。
さらにシンプルにしたものに、ペアワイズ比較という手法もあります。これは、選択肢を2つだけ提示し、どちらが良いのかを選ぶ、というのを繰り返すだけです。
ペアワイズ比較を使う場合の J-Startup の審査方法を考えてみましょう。
- 推薦人は順位を付けずに、候補となるスタートアップを5社提案する
- 事務局はそれらをリスト化して、ペアワイズ法のツールにインポートする
- 評価者（推薦人でも構わない）は画面に表示された 2 つのスタートアップのうち、より J-Startup に適したと思われるものを選ぶ
- これを 100 回程度繰り返す
- 事務局は評価者のスコアをシステムで集計し、順位をつける
この方法は多数決やスコアリングに比べて複雑なモデルになりがちで、コンピュータがないころに実施するのはかなり難しかったでしょう。しかしコンピュータの力を使えばすぐに計算は可能です。
実際、この形での審査はハッカソンなどで行われています。100人以上の審査員が200以上のプロジェクトを審査する HackMIT 用に開発された Gavel という OSS は、これをほぼ自動的に行ってくれるツールです。Gavel のデモ動画はこちらです。考え方はこちらの記事などで紹介されています。
この手法では、評価軸が明確なルーブリック等に比べると応募者に対する改善点のフィードバックがしづらいというデメリットもあります。すべての審査や評価に使えるわけではありません。また、本手法の適用可能範囲については、まだ研究されている途中で、間違っている可能性もあります。（私の理解が間違っていたらご指摘下さい）
別の条件での審査では、現状の評価項目ごとのスコアリングが適する場合もあれば、二次の投票 (Quadratic Voting) や、それを応用した Quadratic Funding が適した場合もあるかもしれません。
ただ、こうした選び方のルールを変えるだけで、選ばれる企業は大きく変わってくるはずです。
審査のプロセス
ここまでは選び方そのものの議論でしたが、審査のためのプロセスも改善が可能です。
現在の助成金は、全員が大量のドキュメントを用意して応募する、という形になっています。受かった人たちは良いものの、落ちた人たちはその努力がすべて無駄になるということになります。
そこでたとえば NSF の SBIR などだと、審査を2段階にしており、1段階目は短いピッチ、2段階目にフルの提案書を求める、という形にして、応募者の負担を軽減しています。FoundX でも同じような仕組みを取って、なるべく負担を軽減するようにしています。また、1段階目を「既存の資料を送ること」だけにして、2段階目以降により詳細に聞く、ということもできるかと思います。
このデメリットは審査側の工数がかかることと、審査に要する時間が長くなること、短いピッチなどの情報だけだと分からないことがある、ということです。ただそのデメリットを超えてでも、応募者の負担を軽減することができ、応募数を増やすことができるメリットがあれば、こうしたプロセスを採用することも選択肢としてありうるのではないかと思います。
ただ、多段階過ぎても応募者にとって負担なので、2 ～ 3 段階が限界であろうとは思います。
審査員の選び方
また、審査員の選び方も、選ばれるほうに大きく影響してきます。委員をどう選ぶかはほとんど事務局に依存し、審査結果の大きな部分は委員の選定で決まります。
スタートアップ向けの助成金の場合を考えてみると、金額は小さいものの、助成先の企業の方向性を大きく決めます。初期の助成金を決める審査員ほど、実は目利きが重要なのに、資金が少額だからと、目利きができる人がアサインされることはそこまで多くないように見えます。また、そもそも助成金の趣旨を理解して審査をしている人がどれだけいるのか、というのも疑問を持つときがあります。
少額だから重要ではなく、多くの数を補助できれば良いと考えるのであれば、ある程度の足切りをしたうえで、ランダムにファンディングするとより楽になり、公正にもなるのではないかと思います。
また、VC もシード段階であればあるほど、人を見て投資することが多いことを考えると、多数決やスコアリングよりはドラフト制度にして、様々な視点で採択できるように行い、採用したあとにも責任を持ってもらう、という手もありそうです。
まとめ
起業初期の助成金は企業の生死に関わります。ハードウェアが絡むスタートアップは、最初に助成金が取れないと、事業が進まないことも多くあります。また補助金の原資は税金であり、助成金の目的に明らかに合致しない企業に補助金が出されていると、一個人としてもどかしさを感じます。
まだまだ現状のルールで改善も可能ですが、選び方自体を変えることで、大きく変わる可能性もあると思い、本稿に例としてまとめておきます。
またこうした「選び方」について、Quadratic Voting 等が提案はされているものの、選挙制度を大きく変えるのは難しいというのが現状でしょう。そこでこうした助成金等の選び方を変えるところから始めて、そうした手法の有効性を確かめてみる、というはありなのではないかと思います。
なお、「選んだあと」、つまり助成金の運用についても様々な改善が可能だと感じています。それに選択とその後は表裏一体です。たとえば、選んだあとのステージゲートなどを厳しくすることができれば、審査を緩めるということも可能だからです。
こうした「選んだあと」についての議論は別の機会に行いたいと思います。
