「人工無脳・アルゴリズムの限界」、「悪意のないミス」が極めて侮辱的であった場合の非当事者の反応について。技術と人間の社会について。

今もあんまり変わらないのかもしれないが、かつて、「オフィスのオートメ化」（「オートメ」＝「オートメイション」）が喧伝されていたころに、「コンピューター・システムを導入すれば何でもやってくれるんだろ」ということで無理難題を押し付けられ、「できなくはないのですが、現状の技術ではそれを自動化することは途方もなく大変です」ということを納得させたくて、「コンピューター・システムの限界です」という表現を使うと、逆に相手を怒らせてしまうことがある、という話を、読んだか聞いたかしたことがある。「限界とは何だね、きみぃ！ それを何とかするのが技術ではないのかね！」と言われてしまう、という話だ。

そういう「限界」は、確かに「今後の（長期的）課題として取り組むべきこと」ではあるかもしれないが、今この場でその「限界」を突破せよというのは、「屏風から虎を出してみせよ」と言うに等しい。

そしてその「限界」をずっと「今後の課題として取り組むべきこと」として放置するのではなく、「今ここでできる最大限の対処」をして少しずつではあっても着実に改善していくことが期待されるのが「技術」で、今回の下記の事態でGoogleは（Googleとしての限界の中で）それをしているのだと思う。

【アルゴリズムの限界】Googleフォトが「人間」を「ゴリラ」とタグ付けた件。
http://matome.naver.jp/odai/2143577241885275601

表題の件について、英語圏での報道だけでなく、「騒動」の発端からGoogle社の人の対応を中心に記録してある。

写真が「ゴリラ」とタグ付けされたとTwitterで怒りを込めて報告した人（NYCのソフトウエア開発者であることがプロフィール欄に記してあった）に対し、GoogleのChief Architect of Socialの方が迅速かつ的確に、まったく理性的に、相手に敬意を持ってTwitterで返事をし、ちゃんと人間と人間の関係らしいやり取りを行なっている光景に私は素直に感銘を受けたのだが、考えてみればそれは当たり前のことかもしれない。

一方で、「通りすがり」的な野次馬が、何と言うか……技術がこういうことをするときに「悪意」などないということは、ソフトウエア開発に携わっている人なら当然わかっているし、本人もそれは次のように明示している。しかしそれを読まずに「はいはい、また黒人が差別だ差別だと騒いでるんですね」的な反応をしてくる人などもいるわけだ。

Like I understand HOW this happens; the problem is moreso on the WHY. This is how you determine someone's target market.

— diri noir avec banan (@jackyalcine) June 29, 2015

そして、上記の「まとめ」にも収録していないのだが、Googleのアルゴリズムによって非常に失礼な扱いをされた人の最初の投稿につけられた反応の中に、ひどくmindlessなものが散見された。発言主の名前やアバターを見ると東アジア人もいるしアラブの人もいる。単に「あはははは」と笑ってみせているだけの、何が言いたいのか判断しかねるようなものもある（投稿主の友達が「これはひどい」という意味で笑っているのかもしれないし、投稿主が「ネットで見つけたネタ」を投稿しているのだと思っているのかもしれないし……など）。

そして、ガチな人種主義に日々接しているのであろう投稿主は、それらの「あははは」に気分を害していることを表明している。

And here goes the jokes or veiled racism. https://t.co/LaXtWQCPXK https://t.co/Scgt3JkJbF pic.twitter.com/nFTlI0JzIr

— diri noir avec banan (@jackyalcine) June 29, 2015

彼はGoogleの技術が「レイシスト（差別的）」だと言っているのではなく、その技術が導き出した結論（その技術を使う人間から見れば「完全な間違い」だが）に人間が示す反応について「ヴェールをかけた（婉曲的な）レイシズム」なのか、と言っている。

それを見て、また、「黒人が騒いでいる」と騒ぐ人々がいる。それが人間の社会だ。

それは技術がどう発展しようとも変わらないと思う。（「ネットの集合知」などを本気で信じていた一昔前の「サイバー・ユートピア」論者は、人間社会のそういうところも、技術が発展すれば変わっていく、改善されると思っていたのかもしれないが。今では、何らかの形で制御・統制・編集しない限り、「勝手に集合知が形成される」などということはないということは完全に常識になっていると思う。）

それにしても「お粗末」としか言いようのないことである。個人的には、英国のIT系ニュース、The Registerの表現が一番しっくりくると思った。まさに「人工無脳」（「無能」ではなく「無脳」。「無脳」であるがゆえに「無邪気」でもあるが）の引き起こした騒動だ。

Brainless Google Photos app labels black people 'gorillas' http://t.co/ovQ0n13Zf9

— The Register (@ElReg) July 1, 2015

その「無脳」に、人間の社会の中で居場所を得られる程度の「まともな判断力」を与えていくにはどうしたらよいかということが、技術者が今取り組んでいる最大の課題だと思う。「ディープラーニング」はその点についての今のバズワードだが、正直、「ディープ」ではないものを「ディープ」と呼ぶところから始まっているような印象は、今回けっこう深い部分で、受けている。

Holy Crap. Google got some explaining to do. Their deep learning aint so deep I guess. https://t.co/43mn6fZyde

— nutanc (@nutanc) June 30, 2015

@yonatanzunger see zunger, biggest inventions r made by mistake. May be this is the ultimate turing test AI wanted. Its happening. Now.

— Piyush Agarwal (@dumbagarwal) June 30, 2015

そして根本的な疑問点は、やはりこれに尽きる。最初の報告主（ジャッキーさん）の「いったい、どういうサンプル画像をベースにしているのか」という疑問（「まとめ」参照）は、ここに集約されるだろう。

When software teams have representative diversity, things like this get picked up in QA. https://t.co/YZZHTXQ2WR

— Scott Hanselman (@shanselman) July 2, 2015

ディープラーニング、ビッグデータ、機械学習　　あるいはその心理学 浅川伸一 by G-Tools

---

この件、日本語圏、微妙だ。
http://b.hatena.ne.jp/entry/jp.wsj.com/articles/SB10468926462754674708104581082773456994848

幸いにも先人たちの積み重ねと、その積み重ねにアクセス可能になっている社会状況・技術のおかげで、「人種主義とは何か」は、どれか本を1冊読めばわかるようになっているので、「また黒人が差別だ差別だと騒いでいる」と思った人は、週末に本を読んでみるといいと思う。地元の図書館にもあるはずだ。

人種主義の歴史 ジョージ・M・フレドリクソン 李孝徳 by G-Tools

※この記事は

2015年07月02日

にアップロードしました。
1年も経ったころには、書いた本人の記憶から消えているかもしれません。