Fox on Security

セキュリティリサーチャー(インシデントアナリスト)で、セキュリティコンサルタントのキタきつねの独り言。専門はPCI DSS。

海外のFake Review Checkerは何を見ているのか?

先日、Amazonやらせレビューの記事を書きましたが、いろいろ調べている中でAmazonセラーフォーラムでも、こうした議題が討議されていました。こうした場でのコメントも色々とAmazon、あるいは業者の手法が書かれているので勉強になりました。

sellercentral-japan.amazon.com

 

◆キタきつねの所感

さて、本日はAmazonセーラーフォーラムのご紹介ではなく、国内ツール(サクラチェッカーやレビュー探偵)があるのなら、海外のツールはどのあたりを評価ポイントに考えているのかが気になったので、海外ツールを調べてみました。

 

Fack review checkerでググってみると、以下の2つが出てきたので、こちらを見てみます。

 

 ■Fakespot

 ■ReviewMeta.com

 

まずはFAKESPOTですが、米国ニューヨークの会社が運営しており、Amazon(USA)やWallmart等、米国のeコマースプラットフォームで稼働する様です。

※試しにAmazon(JP)の商品を入れてみましたが稼働しませんでした

f:id:foxcafelate:20200126095420p:plain

 

先日の記事と同じく、某社のスマートウォッチ(海外だとフィットネストラッカーと言う様です)を探したのですが完全に同じものは見つからなかったので同じ会社の同機能の製品URLを入れてみます。

 

すると、Amazon評価が4.4高評価だった製品が、Fakespot調整済み評価は「F」と判定されました。

※製品写真の右側の「D」は会社全体の評価点です

f:id:foxcafelate:20200126100939j:plain

 

Fakespotの評価項目は開示されて無い様でしたが、レビュー結果全体(Overview)には、4つの結果が表示されています。

f:id:foxcafelate:20200126101607p:plain

 

最初のレビューコメントが「レビュワーのこの商品に対するコメント」です。よく使われる単語を拾ってきているのだと思われます。この辺りが、日経ビジネスの業者インタビュー記事にあった、

レビュアーの手元に商品が届けば、最高得点の五つ星とともに、商品を褒めたたえるレビューを書き込んでもらいます。レビュアーにはこちらが指定した特定のキーワードを盛り込むよう指示しています。アマゾン内のキーワード検索で商品を上位に表示させるための工夫です。

日経ビジネス記事より引用)

やらせレビューに特有のワードを検知しているのかな?と思います。

 

2つ目のレビューコメントは、「プロファイル分析」です。パターン検知なのか詳細は分かりませんが、「高い確率で詐欺」ブラックボックス分析の結果を出しています。(※ここがこの会社のノウハウ部分に当たるのかと思います)

 

3つ目のレビューコメントは、「レビュワーの信頼度分析」です。ここもブラックボックス分析となっている様です。結果として、10.6%のレビュワーが信頼できる※89.4%はやらせレビュワー)と判断しています。

 

最後のレビューコメントが、レビュー投稿分析です。すべてのレビュー(※この製品の場合は55件)を分析したという結果だけが表示されています。

 

その他の分析結果として”BETA版”として「最も評価が高いレビュー」「最も評価が低いレビュー」「最も信頼がおけるレビュー」「最も信頼がおけないレビュー」といった評価項目もある様です。

f:id:foxcafelate:20200126102853p:plain

 

その他、コメント概要と、レビュー数履歴、価格履歴などが表示されています。

f:id:foxcafelate:20200126113704p:plain

 

 

次にReviewMetaですが、URL入力等はFakespotと同じ感じです。こちらの対応サイトは、米国限定というわけではありません。

 

f:id:foxcafelate:20200126113945p:plain

 

Amazonに特化していますが、iPhoneAndroid端末にも対応しており、主要ブラウザの拡張対応もしています。

 

f:id:foxcafelate:20200126114204p:plain

 

分析レビュー(既に分析済の商品)件数を見ると、一応日本(Amazon.co.jp)も対応している様です。

f:id:foxcafelate:20200126114331p:plain

 

ここでも同じスマートウォッチを分析してみると、UKの評価レートが4.5(高評価)のものが、2.6(平均以下)まで下落します(やらせ判定)。まず目につくのが、91%が潜在的なやらせレビュワーと評価されている(※赤矢印の部分)点でしょうか。

f:id:foxcafelate:20200126114503j:plain

 

分析の詳細結果を見てみると、

f:id:foxcafelate:20200126114721j:plain

評価点を下げた(やらせ要素が強いと判断された)項目には、

 「不審レビュー」「レビュワーの使いやすさ」「ワードカウント(文字数)比較」

 「フレーズ繰り返し」「レビューの参加」

 

が並ぶ半面、パスしている項目として、

 「未確認購入」「重複レビュー履歴」「ブランドリピート」

 「インセンティブレビュー」「削除済レビュー」

 

があります。この辺りは多くのやらせ業者が、既に対応済と考えても良いのかも知れません。

 

分析項目としては、レビュワー分析結果にも何を判断基準としているかが分かる内容が書かれています。まずは、信頼性が低い(やらせ)レビューとして挙げられているのが以下のレビューとなりますが、

f:id:foxcafelate:20200126120301p:plain

・確認済みの購入者

大量の日に作成

過剰な単語数(21単語)

繰り返しフレーズが含まれています
「お金に良い価値」(7件のレビューで発見)

 

レビュアー:匿名

ワンヒットワンダー

・過剰参加(1件のレビュー投稿)

簡単なグレーダー(平均評価:5.0)


大量に(やらせ)レビューが投稿された日に投稿されたコメントであったり、華美に購買をあおるキーワードの検知であったり、「すべて星5をつけるレビュワー」である等が分析されています。

 

一方で信頼できるレビュワーも例として挙げますが、

f:id:foxcafelate:20200126114906j:plain

安物買いの銭失い的な厳しいレビューコメント)と共に、レビュワー平均評価が1.5「厳しい評論レビュワー」である事が示されています。こうした観点も含めて、総合点数を算出している様です。

 

その他、レビュー投稿の単語数カウント(※やらせ投稿はレビューコメント単語数が多い傾向があります)や、

f:id:foxcafelate:20200126114919j:plain

 

全レビュー投稿の投稿スパンとレビュー投稿(全231レビュー)の分析結果として、最初の2日34件のレビューが行われており、その平均点が4.8~4.9点(不自然に高い)である点が分析されています。

f:id:foxcafelate:20200126114936j:plain

 

日本のレビューツールは、こうした実績のある海外ツールの評価項目を分析してリリースしているのかとは思いますが、ブラックボックス分析や、レビューをする複数の視点(あるいは追加機能)という点では、こうしたサイトも参考にして常に改良を加えていかないと、やらせ業者に対応されてしまう可能性が高いのかと思います。

 

 

余談ですが、ReviewMetaは、日本のAmazonにも(一応)対応しているので、商品分析をしてみましたが、日本語のコメントレビューが出来ないからか(漢字未対応)、やらせ判定が出ませんでした。この辺りは、やはり国産ツールに期待するしか無い様です。

f:id:foxcafelate:20200126114641p:plain

 

 

本日もご来訪ありがとうございました。 

Thank you for your visit.

 

レビュアーのイラスト(男性)

 

更新履歴

  • 2020年1月26日AM(予約投稿)