クイズ人口が少ないのは、

タレントの武井壮が、「セーリング」と「近代五種競技」で2020年の東京五輪出場を目指すことを宣言して、「本気でやってる人に失礼」などと批判されています。けれども、競技人口が少ないから選んだというのもあるかもしれませんが、それよりも、自分がオリンピック出場可能かどうかを考えたというのがいちばんの理由のような気がします。
武井壮がいくら肉体派だといっても年齢的なものもありますので、日本代表になれそうな種目には限りがあります。十種競技の元日本王者とはいえ、いまから陸上競技で代表を目指すのは難しいですし、水泳、体操、サッカーなど無理そうなのを消去法で消していった結果が「セーリング」と「近代五種競技」なのでしょう。
1980年のモスクワオリンピックのボート競技で日本代表にまでなった津田真男という人がいますが、彼がボート競技を選んだ理由は、武井壮が「セーリング」と「近代五種競技」を選んだ理由に近いのではないでしょうか。

ところで、クイズ人口（競技クイズ人口）は他のメジャーな趣味、競技と比べるとかなりすくないです。「クイズ人口一千万」と書いてあるのをどこかで見たことがありますが、一千万人というのは、テレビのクイズ番組を時々見るといった程度の人も含めての数字です。クイズサークルに参加していたりクイズのオープン大会に出場したりする人の数となると、全国で千人いないかもしれません（中学高校のクイ研部員数をすべて足したらもっといるかな？）。長文クイズになるとさらに少ないです（数百人ですかね？）。
昔テレビで、何かのマイナースポーツを紹介している番組があって、それの日本における競技人口が二千人というのを聞いて、一瞬、少ないなあと思いましたが、よく考えてみると競技クイズの人口より多いではありませんか。

クイズをやっている人の少なさが揶揄の対象になることがあります。クイズなんか不人気でマイナーだと言いたいのでしょう。
でも、クイズ人口が少ない理由は、競技レベルが高過ぎるからだと思います。
「しない」というより「できない」のです。
いわゆる「長文難問クイズ」には特にそれが当てはまります。「難問」が万人受けするはずがありません。