「AIが○○という結論を出した」とか騒ぐ前に。
- AIが使うルールは人間が直接作っている場合もある（機械学習でないもの全般）
- AIの中でも（最近流行りの）機械学習ではデータを元にルールを作る
- 人間が恣意的に特定のルールを導くようにデータを集めている可能性がある
- 恣意的な思惑がない場合でも「あらゆる観点で中立」なデータを集めることはそもそも難しい
- AIによる出力を人間が恣意的に「読み解く」場合がある
ディープラーニングとかビッグデータとか流行りの語が出てきたら、機械学習の話だと思っていいはず。難しいのは機械学習の2項めに挙げたやつ（1, 3項は論外なので）。
例えば「社内の過去のあらゆる実績データを元に社員の給与を決定する」仕組みを作ったところ、まったく同じ仕事をしていても性別や人種で給料が変わる「差別」がルール化されてしまったケースがあるようだ。それは、過去の実績にその差別的な要素が含まれているからで、AI（機械学習）が悪いわけではない。
給与に影響を及ぼすべきでない「性別や人種を除いたデータ」を学習に用いるべき、というのは誰でも思いついて、すぐにできる対処だろう。では、休暇の取得状況は？病歴は？個人の気質みたいなものは？過去の「公平でない管理職（による不当な給与の差）」の扱いは？取り除くべきなのかそうでないのか。
そういうものがなくても、予期できない思いがけない（不当に給与が上がったり下がったりする）穴ができる可能性は？
……などと考えていくと、ビッグデータを使った機械学習ではなく、最初から仕事の種類や量に応じた給与算定ルールを、人間が作ってオープンにした方が中立ではないかという話にもなる。（機械学習で作ったものでも可視化できればそれでいいのかもしれないが。）
まあ、これまで実際に騒ぎになっているのは、（過去の記事に書いた通り）そんな大層な話でもなく、往々にして「AIの処理と関係ない部分に欠陥がある」「AIをダシにして人間がテキトーなことを言っている」ケースだったりするのだけど。ただ、完全に中立なAIというのも（中立な人間と同程度には）難しいという前提で考えるべきだと思う。