Fox on Security

セキュリティリサーチャー(インシデントアナリスト)で、セキュリティコンサルタントのキタきつねの独り言。専門はPCI DSS。

顔認証は更なる精度向上が必要

NISTが顔認証アルゴリズムの調査結果を開示した件が記事に出ていました。

www.jiji.com

 

【ワシントン時事】米政府機関の国立標準技術研究所(NIST)は19日、本人確認や犯罪捜査で用いられる顔認証システムについて、人種によって識別の正確さに大きな違いが出るとする調査結果を公表した。米メディアによれば、黒人やアジア系は白人と比べ、誤認の確率が100倍に達したケースもあるといい、システムの信頼性に疑念を投げ掛ける内容となっている

 NISTは、マイクロソフトなどIT大手を含む99社から提供された顔認証用のプログラムを調査。政府機関のデータベースにある約1800万枚の画像を使い、正確さを調べた。
 その結果、別人の顔を同一人物と認識するといった誤認の確率が、人種や性別によって異なることが分かった。女性は男性より、高齢者や子供はそれ以外の年齢層より、それぞれ誤認されやすい傾向が見られたという

(JIJI.com記事より引用)

 

■元ソース NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software

 

◆キタきつねの所感

NISTは複数の顔認証アルゴリズムを調査した様ですが、写真サンプリング(実験データ)の問題であったり、そもそもの開発サイドのチューニングであったり、白人をベースに考えて初期設計された顔認証アルゴリズムが多かったという事なのかと思います。顔認証の多くのアルゴリズムの場合は、特徴点抽出を行う訳ですが、例えば下記のマイクロソフト記事(の右側の写真)を引用させて頂きますが、

news.microsoft.com

f:id:foxcafelate:20191222062631p:plain

 

顔の輪郭だったり、鼻の位置や、目と目の感覚、ほほ骨の位置・・等々、本人を特定するに足りる(と思われる)特徴点を複数検出して、それを顔認証データとして照合用に使っているかと思います。

この特徴点部分であったり、照合(マッチング)ロジックが、”白人ファースト”になっている事を、今回のNIST調査では、189のソフトウェアアルゴリズム(市販のほぼ大部分だと思います)を調査した結果として発表されています。数も多いですので現状の実力値という意味ではかなり信頼がおける結果ではないでしょうか。

 

この結果は、NISTが黒人やアジア圏の人、老人や子供、女性の照合では「(多少の)誤検知もありえる」と信頼性に疑問を投げている事に他なりませんが、元ソースを追っていくと、もう少しNISTはコメントしています。

1. 1対1のマッチングでは、チームは白人の画像と比較して、アジア系およびアフリカ系アメリカ人の顔の誤検出率が高いことがわかりました。差分は、個々のアルゴリズムに応じて、10倍から100倍の範囲であることがよくありました。偽陽性は、詐欺師へのアクセスを許可する可能性があるため、システム所有者にセキュリティ上の懸念を提示する可能性があります。


2. 米国で開発されたアルゴリズムの中で、アジア人、アフリカ系アメリカ人、およびネイティブグループ(ネイティブアメリカンアメリカンインディアン、アラスカインディアン、太平洋諸島系住民を含む)の1対1マッチングで同様の高い誤検出率がありました。アメリカインディアンの人口統計は、誤検知率が最も高かった。


3. ただし、顕著な例外は、アジア諸国で開発された一部のアルゴリズムでしたアジアで開発されたアルゴリズムのアジア人と白人の顔の間の1対1のマッチングでは、偽陽性にそのような劇的な違いはありませんでした。Grotherは、NISTの研究では原因と結果の関係を調査していないことを繰り返しましたが、考えられる接続の1つと研究分野は、アルゴリズムのパフォーマンスとトレーニングに使用されるデータの関係です。「これらの結果は、開発者がそのようなデータを使用できるようになれば、より多様なトレーニングデータがより公平な結果を生む可能性があるという明るい兆候です」と彼は言いました。


4. 1対多のマッチングでは、チームはアフリカ系アメリカ人女性の誤検知率が高くなりました。結果には誤った告発が含まれる可能性があるため、1対多のマッチングにおける偽陽性の差異は特に重要です。(この場合、テストでは写真のセット全体を使用しませんでしたが、160万の国内のマグショットを含む1つのFBIデータベースのみを使用しました。)

5. ただし、すべてのアルゴリズムが1対多のマッチングで人口統計全体にこの高い誤検出率を与えるわけではなく、最も公平なアルゴリズムも最も正確なものの中でランク付けされます。この最後のポイントは、レポートの1つの全体的なメッセージを強調しています。異なるアルゴリズムは異なる動作をします

(NIST発表内容から引用)※機械翻訳

 

アジアで開発されたアルゴリズムは、そんなに白人とアジア人、黒人との誤検知差分は無いと書かれていますので、個別のソフトの結果は分かりませんが、日本の入国管理やユニバーサルスタジオ等で運用されている様な顔認証が、今回の調査結果で誤検知指摘をを出された・・・という訳ではない様です。

 

海外に行くと顔写真や指紋を取る入国審査に切り替わっている国は多いので、どこかで誤検知されて「凶悪犯」に間違われて別室に・・・という映画でよく見かけるような状況に陥る可能性があるのだと思いますが、現状の運用では「人」が補助的にそうした誤検知をフォローしているからか、大きな問題となっている事は無いと思います。将来無人化されたら怖い気がしますが・・・

 

しかし現状では、顔認証アルゴリズムの「癖」にはばらつきがあり、誤検知発生率は全てのアルゴリズムで同じではない事も、特にシステム採用側はよく検証して採用していく事が重要な様です。

 


 

本日もご来訪ありがとうございました。

 

 

日本人のためのパスワード2.0   ※JPAC様 ホームページ

7/8に日本プライバシー認証機構(JPAC)様からホワイトレポートをリリースしました。キタきつねとしての初執筆文章となります。「パスワードリスト攻撃」対策の参考として、ご一読頂ければ幸いです。

 

f:id:foxcafelate:20191222061235p:plain

更新履歴

  • 2019年12月22日AM(予約投稿)