僕は比較的良く食べログを使う。
情弱と言われるかもしれないが、営業先などでお店を探すときは
てっとり早く食べログで点数が高いところから選ぶこともある。
自分自身本当にマズいものでない限り、美味しく感じる幸せな味覚のため
この選定方法でもまあ満足していた。
ああ~これぞネットの力!!知識共有の力や!!
あっ…(察)
あれだけ僕が信頼していた評価は、本当に平等で正しかったのか。
何が本当で何がオカシイのかこれだけではまだ良く分からない。
という事で
そもそもの評価はどうやって決まるのか?から今回の経緯に至るまでじっくり調べてみた。
出来るだけ公平に(なってるだろうか…)
お店の評価を決めるポイントとは?
各お店の評価は食べログにレビュアーが投稿する口コミによって決まる。
という事はレビュアーの評価が
2:1人
3:1人
4:1人
と仮になっているとしたら、単純に平均点の3が評価になるのか!
成程簡単な仕組みですね分かります。
なんてことは無い。
コチラを見てもらえれば分かるのだが
実はレビュアーによって店の点数への影響度は異なる。
そのレビュアー毎に影響度というものが定められており
この度合が高いほど店の点数へ影響するらしい。
「影響度」はお店のジャンルへの「食通度合」から算出されるとのこと。
口コミ・ランキングに対する取り組み(食べログ運営ポリシー)[食べログ]
ほぼ同じようなことが書かれているがこっちは各ユーザーの「信頼度」とある。
ユーザーごとに信頼度を設定するのは口コミサイトとしては最もだと思う。
これが無ければ大量に新しいアカウントを取って
全てにおいて自分の店は高評価、ライバルは低評価にしてしまえばいい。
やらせ防止、ランキングの質を高める策としては間違いない。
じゃあその影響度はどうやって決定しているのか?
問題はここ。
影響度は「食通度合」から独自アルゴリズムでの算出とあるが
ここが完全なブラックボックスになっている。
何をもって食通と判断するのか。
レビューの文量?数?それともいいねの数?
何が重要視されるのかユーザーは一切分からない。
評価ポイントに関してはここでより深く考察しているので
見てみると面白いかも。
評価ポイントをが判明してしまうとそれを悪用する人たちが
必ずいるので公開はまず出来ないし正直どうしようもないんだけど
店の点数に関して不明瞭な部分があるのは否めない。
リセットされた3.0という点数について
ウルトラチョップ全店の食べログスコアがいきなり3.0にリセット。そこに担当営業から連絡が来て「食べログのネット予約を使ってもらわないと検索の優先順位を落とします」と。仮にも飲食業界でビジネスするのならばもう少しお客様やお店や業界全体に資する気概はないのかねぇ…(苦笑)
— 高岳史典 (@takaokaf) 2016年9月6日
問題のきっかけとなったツイート。
この3.0という点数は一体食べログにおいてどのような位置づけなのだろう。
3.0は初期値
食べログでは3.0を初期値としてそこから評価に応じて増減をしていく仕組みなので
3.0が1つのスタンダードであり基準点といえる。
じゃあ中には1.4とかそういうお店もあるんだね!
というと
全くない。
食べログでは地域やジャンルなどで絞ってランキングを見ることが出来る。
更にランキングは最大1200位まで見ることが可能。
なので上手いこと絞って一致件数を1000位にしてランキングを見てみると良い。
評価点はどんなに低くても2.98位までしかない。
そして3.0を切るお店は1000件ある中でたったの数件程度(人気店も多い)
つまり
3.0という点数はある意味リセットとしか言いようのない点数なのである。
勿論評価点自体が載っていないお店が数割あるので
一概には言えないし3.0という評価はやたら多い。
ただ3.0は評価だけで見れば正直良くない点数だと思ってもらえばいい。(食べログの点なだけで3.0でもめちゃくちゃ美味しい店はいっぱいあるよ!!)
今回の炎上の経緯と真偽
この記事に詳しく載っているが先ほどのツイートの後
同じような経験をした等の糾弾ツイートが各所でつぶやかれ今回の炎上となった。
色々な問題点が挙げられているものの今回の炎上ポイントは
・店が食べログの有料サービスを使うと評価点数が上がるのか(使わないと下げられるのか)
という評価の公平性に関する部分。
食べログが自ら質の高さを謳う評価点数とランキングにおいて
こんなチートは許されないだろうということ。
まず公式の発表がコチラ。
なんとなくまとめると
ネット予約サービス(課金)をしてれば検索順位上げるよ!(広告枠での優先表示)
でも評価点数とランキングには全く関係ないよ!!
ってことらしい。
だから食べログ的には評価点数の公平性自体は問題がないという主張。
じゃあ本当に評価点数は公平で誠実だったのだろうか?
それを調べるため今回このウェブサービスを使った。
Internet Archive: Wayback Machine
過去のWEBページの状態を見ることが出来るウェブサービス。
これを使って、今と昔の評価点数を見てみよう!ということにした。
残念ながら発端となったウルトラチョップさんの昔があまり発見できなかったので
いゃ~参ります(*´Д`*)
— kitchen Eggsキッチンエッグス (@KitchenEggs) 2016年9月7日
食べログ3・53点あったのが、口コミも増えてない、一夜にして3・01に下がってましたよ(`Д´)
おかしくないですか?
同じように食べログの評価点数がいきなり下がったというキッチンエッグスさんの昔の状態と比較してみた。
これが9/7現在のページ。確かに3.01だ。
そして次がアーカイブで取得した7/16のページ。
確かに3.53。口コミの数が今より3件少ないがこの一か月半の間に0.5以上も下がっていることが事実として分かる。
ただこれならもしかすると増えた分の口コミで
トータル評価がここまで落ちたのかもしれないと考えることも出来る。
じゃあ実際に評価を見てみよう。
これが9/7現在のもので
これが7/16のもの。
増えた評価は
4.0~4.4で1つ
3.5~3.9で1つ
3.0~3.4で1つ
???
採点分布だけで見るとあまり変化はなく相変わらずの高評価である。
が。
トータルの得点だけやたら低いことになっている。
3.0~3.4の人が凄まじい影響度の持ち主だったのだろうか?
勿論アルゴリズムの変更で影響度やそれに関わって評価点数が大きく変わってしまっただけなのかもしれないし、これを食べログ側の恣意的な操作だとは言えない。
ただたった一か月半の間に理由が不明確なままこれだけ大きな変動があったのは事実として間違いなく残っている。
まとめ
今回の炎上は、
・食べログへの課金によって生じる優遇措置(広告枠優先)
・理由が不明確な評価点数の下落
この二つが上手く(悪く)咬み合わさってしまったことが炎上理由の一つといえると思う。
もちろんこれ以外にも炎上しそうな噂やつぶやきが色々あるが今のところはそれが本当なのか間違いなのか僕には判断できないので静観することにした。
少なくとも今の時点で
口コミ・ランキングに対する取り組み(食べログ運営ポリシー)[食べログ]
ここにもある通り
「特定のお店の点数を変更することはありません。」
としつつも、実際には不明確な点数変動があることが事実としてある。
まずはその理由についてアルゴリズム変更にせよなんにせよしっかりと説明をする必要をするべきだと思う。
そうでなければたとえ点数を真面目に誠実に評価していたとしても
ユーザーはそれを今の状態で信頼することは難しい気がする。
少なくとも僕はもう信じることが出来なくなってしまった。