今回の題材は、２０１８年２月１５日付けの The Economist 紙に掲載されたエッセイ、Humans may not grasp why AI act.  Don’t panic  ”人間は AI が機能する仕組みを理解していないようです。混乱する必要はありません。”  です。全文の和訳はオリジナルの次にあります。

Inside the black box

Humans may not always grasp why AIs act. Don’t panic

Humans are inscrutable too. Existing rules and regulations can apply to artificial intelligence

Print edition | Leaders

Feb 15th 2018

THERE is an old joke among pilots that says the ideal flight crew is a computer, a pilot and a dog. The computer’s job is to fly the plane. The pilot is there to feed the dog. And the dog’s job is to bite the pilot if he tries to touch the computer.

Handing complicated tasks to computers is not new. But a recent spurt of progress in machine learning, a subfield of artificial intelligence (AI), has enabled computers to tackle many problems which were previously beyond them. The result has been an AI boom, with computers moving into everything from medical diagnosis and insurance to self-driving cars.

There is a snag, though. Machine learning works by giving computers the ability to train themselves, which adapts their programming to the task at hand. People struggle to understand exactly how those self-written programs do what they do (see article). When algorithms are handling trivial tasks, such as playing chess or recommending a film to watch, this “black box” problem can be safely ignored. When they are deciding who gets a loan, whether to grant parole or how to steer a car through a crowded city, it is potentially harmful. And when things go wrong—as, even with the best system, they inevitably will—then customers, regulators and the courts will want to know why.

For some people this is a reason to hold back AI. France’s digital-economy minister, Mounir Mahjoubi, has said that the government should not use any algorithm whose decisions cannot be explained. But that is an overreaction. Despite their futuristic sheen, the difficulties posed by clever computers are not unprecedented. Society already has plenty of experience dealing with problematic black boxes; the most common are called human beings. Adding new ones will pose a challenge, but not an insuperable one. In response to the flaws in humans, society has evolved a series of workable coping mechanisms, called laws, rules and regulations. With a little tinkering, many of these can be applied to machines as well.

Be open-minded

Start with human beings. They are even harder to understand than a computer program. When scientists peer inside their heads, using expensive brain-scanning machines, they cannot make sense of what they see. And although humans can give explanations for their own behaviour, they are not always accurate. It is not just that people lie and dissemble. Even honest humans have only limited access to what is going on in their subconscious mind. The explanations they offer are more like retrospective rationalisations than summaries of all the complex processing their brains are doing. Machine learning itself demonstrates this. If people could explain their own patterns of thought, they could program machines to replicate them directly, instead of having to get them to teach themselves through the trial and error of machine learning.

Away from such lofty philosophy, humans have worked with computers on complex tasks for decades. As well as flying aeroplanes, computers watch bank accounts for fraud and adjudicate insurance claims. One lesson from such applications is that, wherever possible, people should supervise the machines. For all the jokes, pilots are vital in case something happens that is beyond the scope of artificial intelligence. As computers spread, companies and governments should ensure the first line of defence is a real person who can overrule the algorithms if necessary.

Even when people are not “in the loop”, as with an entirely self-driving cars, today’s liability laws can help. Courts may struggle to assign blame when neither an algorithm nor its programmer can properly account for its actions. But it is not necessary to know exactly what went on in a brain—of either the silicon or biological variety—to decide whether an accident could have been avoided. Instead courts can ask the familiar question of whether a different course of action might have reasonably prevented the mistake. If so, liability could fall back onto whoever sold the product or runs the system.

There are other worries. A machine trained on old data might struggle with new circumstances, such as changing cultural attitudes. There are examples of algorithms which, after being trained by people, end up discriminating over race and sex. But the choice is not between prejudiced algorithms and fair-minded humans. It is between biased humans and the biased machines they create. A racist human judge may go uncorrected for years. An algorithm that advises judges might be applied to thousands of cases each year. That will throw off so much data that biases can rapidly be spotted and fixed.

AI is bound to suffer some troubles—how could it not? But it also promises extraordinary benefits and the difficulties it poses are not unprecedented. People should look to the data, as machines do. Regulators should start with a light touch and demand rapid fixes when things go wrong. If the new black boxes prove tricky, there will be time to toughen the rules.

This article appeared in the Leaders section of the print edition under the headline “Peering into the black box”

< 全文和訳例 >

パイロットの間に古くから伝わるジョークがあります。それは、飛行機の理想的な乗務員とは、１台のコンピュータ、一人のパイロット、そして一匹の犬から構成されるというものです。コンピュータの任務は飛行機を操縦することで、パイロットの役割は食事など犬の世話をすることです。そして犬の仕事は、万が一パイロットが自ら操縦したくなりコンピュータに触れようとする際に、かみついてそれをやめさせることです。

複雑な業務をコンピュータに任せることは、昔から行われています。しかし、人工知能（Artficial Intelligence（AI）））の一分野であるマシーン・ラーニングにおける最近の著しい進歩は、以前には手に負えなかった多くの課題にコンピュータが対処することを可能にしました。その結果が、医療診断、医療保険審査から自動運転の車に至るまでのあらゆる生活領域にコンピュータ利用が進むことによる AI ブームの到来なのです。

もっとも、問題もあります。マシーン・ラーニングは、コンピュータにプログラムを自ら組み立てて与えられた課題に適用する学習能力を付与することで作用します。人間は、如何にしてコンピュータが自ら構築したプログラムを駆使してその課題に対処しているのかを正確に理解しようと苦労してきました。そのプログラムによるアルゴリズム（処理手順）が、チェスをしたり見るべき映画を推薦する様なあまり複雑ではない業務を実行する際には、この “ブラック・ボックス” 的な問題点は無視してもかまいません。その一方で、コンピュータが、ローンの審査、仮出獄を認めるか否か、混雑した都市部での自動運転の様な判断をしている際には、人間に有害な結果をもたらす可能性があるのです。そして大きな手違い － 最善、最高のシステムでさえ不可避的にそうなるはずです － が発生した時、その利用者、規制者、そして裁判所は、何故そうなるのかを理解する必要があります。

一部の人にとって、このことが AI の活用をためらう理由となっています。フランスのデジタル（経済）担当大臣のムニール・マジュビは、政府は、合理的に説明不可能なマシーン・ラーニングによるアルゴリズムを使うべきではないと述べました。しかし、これは行き過ぎた反応です。確かに、その輝かしい将来性にも関わらず、学習能力を備えたコンピュータが提起した難題は未曽有のものです。とはいえ人間社会は、この問題含みのブラック・ボックスに対処してきた経験が豊富にあるのです；そのブラック・ボックスの中で最も身近なものは、人間と呼ばれています。もう一つブラック・ボックスが増えることは試練ではありますが、克服不可能ではありません。人間が持つ欠点を把握することで、社会は一連の実用的な対処の仕組みを発展させてきました。その仕組みとは、法や規制措置のことです。ほんの一部改良することで、これらの多くはコンピュタにも応用可能なのです。

人間の何たるかを、冷静に分析することから始めれば良いのではないでしょうか。人間とは、コンピュータ・プログラムよりも理解することが困難な存在です。科学者が、高価なスキャニング・システムを用いて頭脳の内部を凝視しても、目にしているものを理解することは出来ないはずです。そして、人は自らの行動について説明可能であるにしても、それらは往々にして不正確です。それは単に嘘である、あるいは本心を隠しているからではありません。最も正直な人間でさえ、意識下で何が起きているのかについては、ほんの一部しか分かりません。彼らが提供する説明は、精神作用についての全ての複雑な処理手順の要約ではなく、事後の回想に基づいて合理化したものに近いのです。マシーン・ラーニングの仕組み自体がこのことをはっきりと示しています。もし、人間が自らの思考パターンを正確に説明出来るのであれば、コンピュータがその思考プロセスを模倣するようにプログラムすることが可能なはずです。しかし、それは現実として不可能なので、マシーン・ラーニングという試行錯誤を繰り返して自ら学習する仕組みに頼る他ないのです。

その様な高尚な哲学的議論はさておき、人類は、過去の数十年間に渡りコンピュータを活用して複雑な業務をこなしてきました。航空機の自動操縦だけではなく、コンピュータは銀行口座の不正取引を監視し、保険金の要求が妥当であるかを判断します。そのようなコンピュータの活用法から得た一つの教訓は、可能な限り人間がコンピュータを監視すべきであるということです。冒頭のジョークにも関わらず、AI では対処不可能な状況が発生した場合、パイロットの存在は極めて重要となります。コンピュータの利用が広がるにつれて、企業や政府は、必要であればコンピュータのアルゴリズムに優先する指示を与えることが出来る人間こそがコンピュータの判断ミスに対する最前線の防衛手段となる仕組を確保すべきなのです。

完全な自動運転の車の様に、人間が全ての “必要な情報” から遮断されている場合であっても、現在の製造物責任法は適用可能です。コンピュータのアルゴリズムとそれをプログラミングした人間のいずれも、コンピュータの動きを適切に説明出来ない際には、裁判所は責任の所在の判断に苦しむかも知れません。しかし、現実に発生した事故が防止可能であったか否かを判断するのに、シリコンチップに組み込まれた AI であれ人間の頭脳であれ、それらが実際にどの様に機能したのかを正確に知る必要はないのです。その理由は、もし別の行動を選択していたのであれば事故を防ぐことが合理的に可能であったかどうかという、従来と同様の問を裁判所は発することが出来るからです。もし防ぐことが可能であったのであれば、事故の責任は誰であれ当該システム販売したか、あるいは運用していた者が負うことになり得ます。

それ以外にも、いくつかの懸念があります。旧来のデータで学習してきたコンピュータは、文化的志向性の変化などの新しい状況に適応することは容易ではなさそうです。人間によって学習機能を組み込まれる場合、アルゴリズムが結果的に人種差別や性差別の判断をすることになったという複数の事例があります。しかし、ここでの問題点は、偏見に満ちたアルゴリズムと公正な判断力を持つ人間の関係にあるのではなく、偏見を抱いている人間とその人間が創造するコンピュータとの間にあるのです。人種差別的傾向の裁判官は何年もの間、そうあり続けるのかも知れません。裁判官の意思決定を支援するアルゴリズムは、毎年数千の訴訟で活用される可能性があります。そうすることで当該アルゴリズムは最早有用ではない大量のデータを廃棄することになるので、それまでの偏見は速やかに特定され修復され得るのです。

AI はいくつものトラブルを経験するはずです － それを避けることなど不可能でしょう。しかし、同時に途方もない利益が期待でき、AI がもたらしそうなトラブルは既に経験済です。コンピュータと同様に、人間もデータに目を向けるべきです。規制を実施する立場の人間は、軽度の規制から開始し、それが実情にそぐわなくなれば、直ちにアルゴリズムの修正を命じるべきです。もし、新たなアルゴリズムが問題を起こしそうであれば、規制を強化する為の時間はあるのです。

To be continued.