選び方と審査のイノベーション

助成金や賞などの審査員や評価委員として関わることがあります。そこで感じているのは、選び方にもイノベーションが必要ではないかということです。

私たちは、「選ぶ」ことに対してあまり注意を払っていません。特に「選ぶためのプロセス」や「選び方」については、多数決や、各人のスコアリングの足し算を平均するなどして順位をつける、といった方法を採用しがちです。

しかし、この選び方でよいのか、という疑義が昨今程されており、様々な提案がなされています*1。たとえば選挙では、くじ引きを導入することや、二次の投票 (Quadratic Voting) などが有名です。科学の助成金でもランダムに助成するランダムファンディングが試されています。担当者が最後まで面倒を見ることを前提に、野球のドラフト制度のようなもので採択者を選ぶ助成金もあると聞きます。

同様に、研究開発補助金やスタートアップの助成金の審査でも、こうした新しい選び方の手法を試していくことで、より適切な資金配分ができるのではないかと感じています。

例）J-Startup 

たとえば J-Startup を見てみましょう。

J-Startup は審査員による推薦制を採用しています。推薦委員による5社ずつの推薦と、それぞれの推薦の重みづけがなされます*2。そして過去の実績などを考慮しながら絞り込まれるそうです。

2021年の資料から抜粋 https://www.meti.go.jp/press/2021/10/20211020004/20211020004-2.pdf

この仕組みの場合、以下のようなデメリットがあります。

• 推薦員に投資家が多いため、多数の投資家から少額ずつの投資を受けているスタートアップは、多くの票を集めやすく有利になる。
• 一方、少数の投資家から大口の投資を受けているスタートアップや、資金調達をしていないスタートアップは、推薦人が少なくなって不利となる。

また、とある推薦人Aの3位と、とある推薦人Bの3位が同じスコアで良いのか、という疑問もあります。Aさんはとても物知りで、200社のスタートアップを知っているとして、そのうちの3位を選んだとします。一方、Bさんは業界の日が浅く、10社程度しかスタートアップを知らない中で3位を選んだとしましょう。それぞれの3位の意味合いは大きく違うように見えるのに、スコアは同じとなります。

スコアがついた後にも課題があります。こうした順位付けの手法を採用すると、大抵問題になるのが「中ぐらいの順位」をどうするかです。上位と下位は大体決まりますが、ラインを超えるかどうか微妙な中ぐらいの評価のところを通すか通さないか、といったところに議論の時間が集中しがちです。しかもわずかな差で、当落が決まります。

さらに、推薦者はすべてのスタートアップを知っているわけではありません。おそらく5%も知らない中で、推薦をしなければならず、その中で順位付けまでしなければなりません。かといって、すべての候補となるスタートアップを一度推薦人から集めたあと（恐らく200社以上になるでしょう）、推薦人個々人がそれらに順位をつける、というのは認知負荷が高すぎて難しいでしょう。

この手法では、いくつかの限界があります。こうした状況を変えるために、どういった方法があるでしょうか。

例）ベストワーストスケーリングやペアワイズ比較を使う

たとえば、ベストワーストスケーリング (BWS) を使う方法があるように思います。

ベストワーストスケーリングは、提示された 4 ～ 5 程度の選択肢の中から「最も良いもの」と「最も悪いもの」だけを選択してもらう方法です。 

さらにシンプルにしたものに、ペアワイズ比較という手法もあります。これは、選択肢を2つだけ提示し、どちらが良いのかを選ぶ、というのを繰り返すだけです。

ペアワイズ比較を使う場合の J-Startup の審査方法を考えてみましょう。

1. 推薦人は順位を付けずに、候補となるスタートアップを5社提案する
2. 事務局はそれらをリスト化して、ペアワイズ法のツールにインポートする
3. 評価者（推薦人でも構わない）は画面に表示された 2 つのスタートアップのうち、より J-Startup に適したと思われるものを選ぶ
4. これを 100 回程度繰り返す
5. 事務局は評価者のスコアをシステムで集計し、順位をつける

この方法は多数決やスコアリングに比べて複雑なモデルになりがちで、コンピュータがないころに実施するのはかなり難しかったでしょう。しかしコンピュータの力を使えばすぐに計算は可能です。

実際、この形での審査はハッカソンなどで行われています。100人以上の審査員が200以上のプロジェクトを審査する HackMIT 用に開発された Gavel という OSS は、これをほぼ自動的に行ってくれるツールです。Gavel のデモ動画はこちらです。考え方はこちらの記事などで紹介されています。

この手法では、評価軸が明確なルーブリック等に比べると応募者に対する改善点のフィードバックがしづらいというデメリットもあります。すべての審査や評価に使えるわけではありません。また、本手法の適用可能範囲については、まだ研究されている途中で、間違っている可能性もあります。（私の理解が間違っていたらご指摘下さい）

別の条件での審査では、現状の評価項目ごとのスコアリングが適する場合もあれば、二次の投票 (Quadratic Voting) や、それを応用した Quadratic Funding が適した場合もあるかもしれません。

ただ、こうした選び方のルールを変えるだけで、選ばれる企業は大きく変わってくるはずです。

審査のプロセス

ここまでは選び方そのものの議論でしたが、審査のためのプロセスも改善が可能です。

現在の助成金は、全員が大量のドキュメントを用意して応募する、という形になっています。受かった人たちは良いものの、落ちた人たちはその努力がすべて無駄になるということになります。

そこでたとえば NSF の SBIR などだと、審査を2段階にしており、1段階目は短いピッチ、2段階目にフルの提案書を求める、という形にして、応募者の負担を軽減しています。FoundX でも同じような仕組みを取って、なるべく負担を軽減するようにしています。また、1段階目を「既存の資料を送ること」だけにして、2段階目以降により詳細に聞く、ということもできるかと思います。

このデメリットは審査側の工数がかかることと、審査に要する時間が長くなること、短いピッチなどの情報だけだと分からないことがある、ということです。ただそのデメリットを超えてでも、応募者の負担を軽減することができ、応募数を増やすことができるメリットがあれば、こうしたプロセスを採用することも選択肢としてありうるのではないかと思います。

ただ、多段階過ぎても応募者にとって負担なので、2 ～ 3 段階が限界であろうとは思います。

審査員の選び方

また、審査員の選び方も、選ばれるほうに大きく影響してきます。委員をどう選ぶかはほとんど事務局に依存し、審査結果の大きな部分は委員の選定で決まります。

スタートアップ向けの助成金の場合を考えてみると、金額は小さいものの、助成先の企業の方向性を大きく決めます。初期の助成金を決める審査員ほど、実は目利きが重要なのに、資金が少額だからと、目利きができる人がアサインされることはそこまで多くないように見えます。また、そもそも助成金の趣旨を理解して審査をしている人がどれだけいるのか、というのも疑問を持つときがあります。

少額だから重要ではなく、多くの数を補助できれば良いと考えるのであれば、ある程度の足切りをしたうえで、ランダムにファンディングするとより楽になり、公正にもなるのではないかと思います。

また、VC もシード段階であればあるほど、人を見て投資することが多いことを考えると、多数決やスコアリングよりはドラフト制度にして、様々な視点で採択できるように行い、採用したあとにも責任を持ってもらう、という手もありそうです。

まとめ

起業初期の助成金は企業の生死に関わります。ハードウェアが絡むスタートアップは、最初に助成金が取れないと、事業が進まないことも多くあります。また補助金の原資は税金であり、助成金の目的に明らかに合致しない企業に補助金が出されていると、一個人としてもどかしさを感じます。

まだまだ現状のルールで改善も可能ですが、選び方自体を変えることで、大きく変わる可能性もあると思い、本稿に例としてまとめておきます。

またこうした「選び方」について、Quadratic Voting 等が提案はされているものの、選挙制度を大きく変えるのは難しいというのが現状でしょう。そこでこうした助成金等の選び方を変えるところから始めて、そうした手法の有効性を確かめてみる、というはありなのではないかと思います。

なお、「選んだあと」、つまり助成金の運用についても様々な改善が可能だと感じています。それに選択とその後は表裏一体です。たとえば、選んだあとのステージゲートなどを厳しくすることができれば、審査を緩めるということも可能だからです。

こうした「選んだあと」についての議論は別の機会に行いたいと思います。

*1:『多数決を疑う』なども参照してください。

*2:開示: 執筆者は 2022 年度から J-Startup 推薦委員として参加しています。その際、選び方については事務局にフィードバックをしています。

「インパクト」と「スタートアップ」の整理

社会的インパクト、ソーシャルインパクト、あるいはそれらを略してインパクトという言葉がスタートアップの界隈でも取り上げられるようになりました。また「社会課題の解決」と「持続可能な成長」を両立し、ポジティブな影響を社会に与えるスタートアップであるとされる『インパクトスタートアップ』という言葉も出てきています。

ただ、この「インパクト」という言葉が持つ意味は多義的なように見え、かつ「スタートアップ」という言葉も多義的になっている今、それぞれの言葉を少し注意して用いなければ議論が噛み合わなくなってくる場面が増えてくるのではないかと懸念しています。

そこで、「インパクト」と「スタートアップ」の言葉にまつわる意味について、（恐らく関係者の間ではさんざん議論されてきているのだろうとは思いますが、）自分の頭の整理も兼ねて記事にしておきます。

「インパクト」から想起されるもの

「社会的インパクト」という言葉を聞いて、皆さんは何を想起されるでしょうか。教育や医療、環境問題などを思い浮かべる人が多いかもしれません。

インパクトという言葉が示すもの、これはどうやら社会によって異なるようです。

たとえばインパクト投資の実績を見てみると、グローバルでは「エネルギー」「金融」「森林」が上位であり、日本では「健康・医療」「女性活躍推進」「教育・子育て」が上位に入るそうです（必ずしも単純に比較できるものではない、という注釈付きですが）。

https://www.fsa.go.jp/singi/impact/siryou/20221028.html の概要資料から引用

同じ単語を使っていても、内実が異なる場合もあります。たとえば「都市の課題」を解決する手段として、「スマートシティ」が注目されています。この「スマートシティ」解決しようとしている課題は、日本では人口減少に起因する交通網の衰退や行政サービス等の社会課題が多い一方で、アジアの「スマートシティ」は交通の混雑解消等の人口増加にまつわる社会課題が多かったりします。「都市の課題」に取り組むといっても、それが意味するものは様々だということです。

インパクトは社会課題の解決から生まれるとも言われますが、国が違えば社会も違い、社会が違えば社会課題も違うので、こうした違いが出てくるのはある意味当然でしょう。

「社会」のサイズによっても変わるインパクト

同様に、「社会」をどの程度のサイズ感で見ていくかによって、求められるインパクトも変わってくるように思います。学術的なものではありませんが、例えば以下のような整理はありうるのではないかと思います。

• 世界を一つの「社会」として見たときの、グローバル・インパクト - 環境問題や絶対的貧困など
• 国（日本）全体を一つの「社会」として見たときの、ナショナル・インパクト - 医療や教育、相対的貧困など
• 地域を一つの「社会」として見たときの、ローカル・インパクト - 地域交通の問題など

どのようなサイズ感で社会を切り取るかで、それぞれの課題は異なるというのは、こちらも当然のように思います。

ローカル・インパクトの積み重ねが、ナショナル・インパクトにつながることもあり、それぞれが全く独立しているというわけではありません。ただ、どのようなサイズ感の「社会」を念頭に考えているかは、議論する際にはお互いが認識しておくべきであろうとは思います。

「スタートアップ」から想起されるもの

ここまでインパクトの話でしたが、ここからは「スタートアップ」という言葉についてです。

以前の記事で、スタートアップとハイグロース・スタートアップを峻別して扱った方が良いのではないか、という記事を書きました。スタートアップという言葉が、徐々に「起業全般」を示すものになりつつあることが、言葉の使い分けを提案する理由です。

インパクトスタートアップにおいても、スタートアップという言葉が指し示すものが、

• 起業全般
• ハイグロース・スタートアップ

のいずれかによって、議論は変わってきます。

さらに社会的インパクトに関わる議論では、

• 営利
• 非営利

の起業の選択肢も入ってきがちで、これらも分けて考える必要のある場面もあるでしょう。

意図と時間軸の問題

さらにインパクトとスタートアップの問題をややこしくするのは、それらが「未実現」であり、「意図」や「意思」であることです。

まずハイグロース・スタートアップです。こうした会社は急成長を目指しますが、それはまだ実現しておらず、本当に急成長するかどうかは現時点では分かりません。スタートアップであるかどうかを見分けるのは、その企業や経営者の意図や意思に依存します。

そしてインパクトです。「通常のビジネスに比較して、社会的インパクトを重視する」というのも意図や意思に依存します（ロジックモデルを用意している等、外形的に判断する手段もあるとは思いますが）。

意図に加えて、時間軸の問題もあります。大企業であれば、すでに事業によって何らかの大きな社会的インパクトを出せているはずなので、あとはどう計測するかが主な焦点になります。しかしインパクトを志向するスタートアップがまだ急成長できていないのであれば、掲げている多くのインパクトはまだ実現されておらず、こちらも「インパクトを出したい」という意図に留まることが多いでしょう。そこで数年後にうまく急成長できれば、大きな社会的インパクトをもたらすかもしれない、という時間軸を加味して、インパクトを持つかどうかの判断が必要になってきます。

ただでさえ社会的インパクトは測りづらいと言われているのに、インパクトを志向するスタートアップの場合は時間軸や意図が加わることで、インパクト評価はより難しくなります。

インパクトとスタートアップの両方の多義性を超えて

「インパクト」と「スタートアップ」の AND を意味するであろう「インパクトスタートアップ」という言葉には、

• インパクトという言葉の多義性
• スタートアップという言葉の多義性

が掛け算になり、そこにさらに意図や時間軸が加わって議論をややこしくしてしまいがちのように思います。

たとえば、上記の整理だけでも、「インパクトスタートアップ」が示すものは 12 パターンぐらいあるようになります。*1

もちろん、「一緒くたに議論してしまえば良い」という意見もあります。「社会的インパクトを持つ起業が大事」というメッセージを出すのであれば、まとめてしまったほうがよいでしょう。定義が緩やかでも良いように思います。

しかし、より具体的で実利のある何か（政策など）を考えるときは少し様相が異なるように思います。たとえばローカル・インパクトを志向する非営利の起業と、グローバル・インパクトを志向する営利目的のハイグロース・スタートアップとでは、必要とされる支援も異なり、政策に対する意見も異なるであろうと思われるため、分けて議論するべきだろうと思います。

そして別の話として、「社会的インパクトを目指している良い企業だから、スタートアップ的な急成長までしないとしても、便宜的に『ハイグロース・スタートアップ』とする」といった、ハイグロース・スタートアップという言葉の定義をずらしたり拡張したりすると、ハイグロース・スタートアップ側の議論が混乱してしまうこともあるでしょう。

またインパクトの指標についても、一律の指標、たとえば IRIS+ のような指標カタログが日本の社会課題に合致しているかといえば、なかなかそうとは限らないというのが実情ではないでしょうか。

このあたりは世界的にも議論が決着しているようには思えず、関係者がより良いものを見つけるための努力と模索をしていく必要があるように思いますが、少なくともどのような意味で「インパクト」「スタートアップ」を議論しているかを事前に認識合わせしておかないと、議論が混乱するように思います。

場合によっては「グローバルインパクト部門」などの部門分けをしたり、「ナショナルインパクトWG」など分科会を設けて議論していくほうが良いのかもしれません。

日本の「インパクト」

日本の「スタートアップ」、特に今求められているハイグロース・スタートアップの領域においては、「社会的インパクト」が指し示すものが、冒頭に示したような日本の文脈に引きずられ過ぎないようにはした方が良いとは思います。なぜなら、「女性活躍推進」「教育・子育て」といった領域は、スタートアップ、特にハイグロース・スタートアップに求められるような急成長が難しい事業が多い領域でもあるからです。

社会課題をすべて民間で解決できるわけではありません。民間や市場任せには向いていない課題もあり、だからこそパブリックセクターやソーシャルセクターがこれまでもあり、これからも必要とされています。これからインパクト投資等が広がるにつれて、民間が創業可能な領域も増えてくると思いますし、そうすることでこれまで解決できていなかった社会課題や、支えられていなかった人達を支えることができるかもしれませんが、すべての事業領域が民間向きだとは限りません。

仮に民間向きの事業領域があったとしても、その領域でハイグロース・スタートアップが可能かどうかは領域や事業次第です。そしてパブリックセクターやソーシャルセクターが事業をしていた領域で、ハイグロース・スタートアップの形態はさほど向いていると思えません。急成長しようとすると、課題とのミスマッチが起こる場合もあるからです。たとえば、衰退する地域交通網の代替を、事業を急成長させながら解決するのは至難の業です。なぜなら、そうした地域は主に人口減少が原因で交通網が衰退したのであり、そこから利益を上げるのは構造的に相当難しいはずだからです。

必ずしもすべての事業がハイグロース・スタートアップを目指すべきとは限りません。スタートアップではなく、ゼブラ企業といった選択肢もありますし、スモールビジネスとして留まる道もあります。そのほうが社会課題や、そこで困っている人に寄り添えることもあるでしょう。なのに、「スタートアップ」だからと VC からの資金調達などを行ってしまえば、目指していた社会的インパクトの実現から遠のいてしまう可能性も十分にあります。

一方、もし特定のインパクトスタートアップが目指すものが、ハイグロース・スタートアップなのであれば、日本の「インパクト」の言葉が想起させる領域だけではなく、グローバル・インパクトを強めに議論していかなければ、将来の日本の産業を牽引していく企業を支援するという形にはなりづらいでしょう。

もちろん、人口が縮小していく日本において、これから多くの社会課題が出てくることや、その課題を解決する民間企業が求められるのは間違いありませんが、それらを解決する企業が次世代の外貨を稼ぐ産業を作ることにつながるかといえば、若干遠いように思います。

(1) ～ (12) のそれぞれの領域でやるべきことはたくさんあり、それぞれの事業が重要な役目を持っていると思いますが、ある程度区別して議論しないと噛み合わなかったり、政策目的が叶わなかったりするように思うので、議論の土台として言葉の整理をしたうえで臨むべきではないかと思います。

まとめ

ロジックモデルを作り自社の事業の社会的インパクトを可視化したり、スタートアップとしてインパクトレポートを発行するなどの活動は、スタートアップに限らず、多くの企業が行うと良いと個人的には思っています。そのあたりは『未来を実装する』という本にもまとめています。

また、社会起業が増えることは良いことだと思いますし、大小さまざまな形の「起業」が増えること自体、個人的には前向きに捉えています。理想的には、社会的インパクトのある企業がきちんと儲かるような、そんな市場設計ができることを願っています*2。

ただ、インパクトにも色々なインパクトがあり、それぞれの計測と管理も難しいうえ、必要な支援の在り方も違います。「インパクト」や「スタートアップ」という言葉が市民権を得たあとは、それをより細分化して、それぞれのインパクトにあった議論を積み重ねていく必要があるように思い、整理のために記事として残しておきます。

（※ちなみに本稿は「インパクトスタートアップ」についての議論ではなく、あくまでインパクトとスタートアップというそれぞれの言葉の議論になります。）

*1:これらの一部はいわゆる「ゼブラ企業」と呼ばれるものとイコールであったり、近いものが含まれているように思います。

*2:公共サービスに近いサービスを提供する企業が最も儲かる社会が良いのか、というとそんなことはなく、公共に近いところには相応の責任が発生するので、法律で縛る等が行われるべきと考えると、果たして民間が行うほうがよいのかというと疑問があり、最終的には、官民の使い分けになるとは思います。

TRL と MRL と ARL (技術成熟度レベルと製造技術成熟度レベルと採用成熟度レベル)

Technology Readiness Level (TRL: 技術成熟度レベル) という言葉を聞いたことがある人も多いのではないかと思います。

TRL と略されるこの基準は NASA によって開発され、現在は様々な新技術やイノベーションの成熟度を測るものとして転用されています。日本でも、この TRL を用いて技術の評価を行われることがあります。たとえば、以下の図は経産省の資料と環境省の資料からの引用です。

経産省の資料から、TRL の段階: https://www.meti.go.jp/shingikai/sankoshin/green_innovation/pdf/002_02_00.pdf

環境省による TRL の対応表 https://www.env.go.jp/content/900443533.pdf

関連して Manufacturing Readiness Level (MRL: 製造技術成熟度レベル)  という言葉も使われます。これは製造技術に関する成熟度と、それに伴うリスクを示すものであり、TRL では評価しづらい項目、たとえば再現性や生産コスト、サプライヤーの安定性などに答えるものです。こちらはアメリカの国防総省によって開発されました。

補助金の資料などを見ていると、「この技術開発は TRL ではなく MRL の話では…？」と思うこともしばしばあるため、こうしたいくつかの言葉が用意されていることは、技術の評価を行う際に有用でしょう。

さらに最近、アメリカのエネルギー省 (DOE) が使い始めたのが Adoption Readiness Level (ARL) です。この ARL はあまり日本では紹介されていないため、これを紹介しようというのが本稿の意図です。

ARL とは

Adoption Readiness Level (ARL) は「採用成熟度レベル」と訳せます。

DOE がわざわざ ARL という言葉を生み出したのは、TRL を高めるだけでは Deploy や商業化ができない、という意識からです。実際、DOE の記事では「商業化するにはTRL のステージゲートのみで管理するのは不十分であり、補完的なものとして ARL を開発した」と述べています。

ARL は主に以下の4つのリスク分野を評価しています。

1. 価値提案
2. 市場受容性
3. リソースの成熟度
4. License to Operate

これらをさらに細分化して、合計 17 つの次元で評価する、Commercial Adoption Readiness Assessment Tool (CARAT) という非常に簡易的なアセスメントツールも提供しています。

CARAT では、これら 17 の次元の中で、中リスクと高リスクのものの数を集計して、表の上でマッピングすることで、1 ～ 9 の ARL スコアが得られるという仕組みになっています。

そして、下図のように、TRL を縦軸に、ARL を横軸に取り、もし TRL も ARL も高ければRDD&D で言うところの「Deployment」のフェーズ、両方が低ければ「Research」のフェーズと考え、それぞれのレベルを上げるための活動をする、ということになります。

https://www.energy.gov/technologytransitions/adoption-readiness-levels-arl-complement-trl

TRL と MRL と ARL の使い方

TRL も MRL も ARL もあくまで現在地を確認するためのツールであり、そこからどう上げていくのかを議論するためのツールです。

今回新たに紹介した ARL は決して受け身的なものだけではなく、自分たちでレベルを上げていくこともできます。Lisense to Operate のサブカテゴリである規制環境や地域社会の認識などは、自分たちの活動によって高めていくこともできるからです。

なので、研究開発型のスタートアップの場合、（技術だけではなく）自分たちの事業の進捗を考えるときに

• TRL をどう上げていくか
• MRL をどう上げていくか
• ARL をどう上げていくか

の 3 軸を考えながら進めていく必要があるのではないかと思います。

特に研究開発型スタートアップの場合は、TRL や MRL のことを中心に考えてしまいがちですが、実は重要な他の軸として ARL がある、ということを覚えておくと議論が円滑に進むのではないでしょうか。

そして今後、日本における新技術開発やその支援においても、TRL だけではなく ARL を評価しながら進めていくほうが良いのではと思います。

政策や補助金でも使える

TRL と MRL と ARL の 3 つの軸は、どのような補助や支援をすれば良いのか、という点でも示唆的であるように思います。

たとえば Redwood Materials は約 2800 億円の条件付き融資を米国エネルギー省から調達しましたが、これは

• TRL がそれなりに高く
• 需要が分かっているという意味でも ARL の一部が高く
• 一部の ARL と MRL が低いけれど、お金を突っ込めば ARL と MRL が上がる

という状態で、量産の谷を超えるための支援として良い一手だったのではないかと思います。

一方で、TRL を上げる活動については、レベルによっては必ずしもお金自体が有効であるとは限らず、お金が必要な活動だったとしても多額のお金が必要だとは限りません（実証などのときにはまとまったお金が必要な場合もあります）。

それぞれの事業の TRL、MRL、ARL を適正に評価することで、補助金の審査やステージゲートの運用なども楽になっていくのではないかと思いますし、ARL という軸があることで、事業開発側の進捗に意識を向けてもらうこともできるのではないかと思います。

まとめ

TRL、MRL、ARL の三つの軸で、技術開発を伴う事業をうまく評価できるのではないかという提案でした。