「私を月まで連れてって！」

～AIの「アルゴリズムの正しさ」～

セキュリティ・エグゼクティブ・ディレクター　中島浩光

「AI」と呼ばれているものが、小説・漫画・映画・TVドラマの世界だけではなく、現実世界でいろいろ使われるようになってきました。

以前のコラムで、ほんのちょっとだけAIに関して触れたのですが、現実世界でも問題になっているのではないかと思われる、ある漫画のエビソードがあります。

コンピュータが躁うつ病？

さて、今回のコラムのタイトルになっている「私を月まで連れてって！」は、竹宮恵子さんという漫画家さんが近未来を舞台に描いた漫画です。その中に、エレベーターの制御プログラムが暴走するエピソードがあります。

主人公が住んでいる集合住宅のエレベーターがある日、エレベーターに乗っている住人におかしなことを話しかけたり、人を乗せるのを嫌がったり、管理会社の担当者に反抗したりとおかしな挙動を始めます。エレベーターの管理会社の担当者もなぜそんなことが起こるのか分からず、お手上げ状態。で、ある人物がそのエレベーターを調査というか診断したところ、「典型的な躁うつ病」と診断。管理会社は「コンピュータが躁うつ病なんて、あるわけない」というと「では、プログラマーが躁うつ病だったとしたらどうなりますか？」と返す。で、結局調べてみると、少し前にプログラムのメンテナンスをしたプログラマーが精神を病んでいて、制御プログラムに手を加えていた、というストーリーでした。

これ30年以上前の少女漫画の話なので、多少おかしな部分は目をつむって下さい。で、今現在、AIと呼ばれているものに対して、実際に似たような問題が出てきているわけです。

現実世界での事件（？）

2016年、Microsoftが学習型人工知能会話ボットをリリースして16時間後に停止しました。理由は、ヘイト・差別・陰謀論といったものを学習してしまい、不適切な発言を連発したため。

2019年（今年）、リクルートが過去のデータを元にAIを利用して内定辞退率を算出し、企業に販売していたことが問題になりました。個人情報保護法の面でも問題になるのですが、それ以外にも個人の属性情報を利用していたことで、属性情報に基づく差別にあたる可能性も指摘されている。

2017年、Amazonが従業員の採用においてAIを利用しようと開発していたが、男性ばかりを選ぶ傾向になったため、開発を停止。過去のデータを元にした結果ではあるが、最終的に開発エンジニアがAIによる差別的判断を確信できなかったため。

等々。まあ、それ以外でも私の知り合いで、facebookの写真で自分ではないけどそっくりな他人に勝手にタグ付けされる、といったプチ事件もあったりします。

何が問題なのか？

漫画のエピソードでも、紹介したエピソードでも、AIの「アルゴリズムの正しさ」が問題になります。

漫画のエレベーターのエピソードでは、エレベーターの制御プログラム自体が正しくないものに書き換えられており、その結果としてエレベーターがおかしな挙動をとります。

機械学習するbotの場合、AI自身が情報を元に内部のアルゴリズムを形成・更新していくわけですが、「不適切な情報」を学習していたため、「不適切なアルゴリズム」となってしまい、不適切な発言につながります。

内定辞退率の場合、分析する人間が「差別につながり得る情報」をAIの判定のアルゴリズムに組み込んでしまったことで、実際の判定結果は分かりませんが、アルゴリズム自体に差別が組み込まれる可能性が問題になります。

さらに、これらの「正しくない」アルゴリズムに基づき出た結果が、現実世界の機械の正しくない挙動や、差別発言・行動に繋がってしまうことが問題になるのです。

AIのアルゴリズムの「保証」をどうするのか？

AIに限らないのですが、ソフトウェアが正しく挙動することをどのように保証するのか？というのは非常に重要な問題になります。ただ、通常のソフトウェアの場合、アルゴリズムの変更・更新が不連続であるため、リリースのタイミングで事前にテストを行うことで保証するのですが、機械学習でアルゴリズムが連続的に変更されるものである場合、事前にテストを行う、ということは出来なくなります。

その場合、アルゴリズム自体に「不適切な」もしくは「まちがった」結果を回避する仕組みを事前に入れ込んでおく必要があります。実際、この分野の研究も行われているようなのですが、確立には時間がかかるのかなぁ？という印象です。

となると、それまでは「不完全な人間」による判断に頼らざるを得ないのでしょうね。