誰が誰に仕えるのか？

人工知能は、あらゆる専門家にとって複雑な謎です。魔法や神秘、お金、気が遠くなるような技術・倫理のパラドックス、そして遠い未来にも近い未来にも私たちに影響しうる SF 的な難問で満ちています。その一方で、すでに私たちの日常を形作っています。すでに物事はうまくいかなくなっていて、しかも誰も責任を取りません。私たちに何ができるでしょう？

電卓は、ここ数十年ずっと、数学で私たちを打ち負かしてきました。ソーシャルメディア上の人間の会話に影響を与えるようにプログラムされたボットは、bot-or-not と呼ばれる日常のチューリングテストに中指を立てています。偽アカウントを走らせる宣伝屋やマーケターは、何百万人もの声を装って、私たちの善意につけ込もうと計算しています。いまだにカリフラワーをプードルと見間違え、フクロウをリンゴと見間違え、猫をアイスクリームと見間違える機械もあるかもしれませんが、会話認識や顔認識では私たちを大きく上回り、チェス、囲碁、ポーカーでは世界王者を破り、いまではほとんど自分自身と競っています。機械が、あらゆる個別の競争で人間知能を上回り、シミュレートし、性能で勝ることにほとんど疑いはありません。機械式ロボットが物理的にあらゆる面で私たちを上回るのと同じように、ボットはどんな自然な存在よりも大きく、速く、強くなるでしょう。ルールが決まれば、機械は私たちを粉砕します。

「大事なのはルールを決めることだ」とカスパロフは言いました。「ルールを決めるということは、周囲を定めるということだ。そして、機械がその範囲の中で、最終目標が何かを知ったうえで動けるなら、それが唯一の情報だとしても、機械には人間が競えないレベルに到達するには十分なんだ。」 ¹

機械が人間の脳を完全に上回る時点がいつなのかは、実際にはどうでもいいのかもしれません。定義された分野で私たちに勝つなら、ネットワーク化された機械は、個人としても種としても私たちを上回るでしょう。私たちはただ起こるのを待つこともできます。すでに制御を失いつつある速度を見ているのに、未来を専門家に委ねるのは、笑ってしまうほど怠惰です。

技術は、私たちの生活を楽にし、私たちに仕えるために作られています。ボット、ロボット、そしてそれらの糸を握るオズの魔法使いたちは、それをひっくり返しています。コンピューターが自意識を持つ必要はありません。コンピューターは私たちの認知を食べているのです。私たちは自分の経験で Facebook を育てています。私たちは Google のために見て、考え、書き、話し、生きています。Amazon は世界最大の Mechanical Turk を回していて、それをそのままそう呼んでいます。私たちが誰であるかという究極の秘密は、心臓ではなく iPhone にあります。ビッグファイブは、消防車でデータ銀行を強盗しているのです。

機械を子どものように扱うべきだ、という人もいます。よく扱えば、機械もまた私たちをよく扱ってくれる。機械は私たちより賢くなるのだから、怒らせたり、「実存的トラウマ」を与えたりしないようにすべきだ、と。² そうですね、じゃあ潜在的な感情を傷つけないようにしましょう。もう頭がぐるぐるしていませんか？

何を望めばいいのか？

重要なのは、どこまで行けるかではなく、どこへ向かっているかです。なぜ人工知能を作るのでしょう？機械は何をするためのものなのでしょう？機械の用途とは何でしょう？

機械は、私たちが彼らの所有者に仕えるのと同じくらい、私たちに仕えるのか？
人間は機械に仕えるべきなのか、それとも機械が私たちに仕えるべきなのか？
私たちの代わりに決定を下すための技術的・法的・政治的権力を機械に与え、私たちをそのプロセスに従属させていいのか？

技術は、人間の身体の増幅器、または拡張として説明できます。ハンマーはこぶしの延長、ナイフは歯の延長、テレビは目と耳を誇張したものです。Marshall McLuhan は、あらゆる拡張は別の部分の自動切断をもたらすと主張しました。

「人類のあらゆる拡張、特に技術的拡張は、別の拡張を切断または修正する効果を持つ。[…] 自動車のような技術の拡張は、よく発達した歩行文化の必要を『切断』し、その結果として都市や国は異なる発展をする。電話は声を拡張するが、同時に定期的な文通によって身につく筆記の技芸を切断する。これらはほんの一例だが、私たちが思いつくほとんどすべてが同様の観察の対象になる……私たちは、あらゆる拡張を称賛し、自動切断を軽視する人々になってしまった。」 ³

機械が対等、あるいはそれ以上になるかもしれない、という考えは、刺激的であり、同時に恐ろしいものとして語られます。機械が拡張のままで、私たちを助けてくれるなら刺激的です。私たちに敵対するなら恐ろしい。人間の存在を、つねに均衡を探す生物学的な存在として想像するなら、どちらのシナリオも不安をかき立てます。身体の一部を拡張すれば、論理的には別の部分の感覚は鈍くなります。ハンマーが硬いほど、私たちは釘を感じにくい。これが意図されたものなら、それはそれでいいのです。

「Hans Selye や Adolphe Jonas のような医学研究者は、病気であれ健康であれ、私たち自身のあらゆる拡張は、均衡を保とうとする試みだと考えている。彼らは、私たち自身のどんな拡張も『自動切断』とみなし、知覚能力が刺激の原因を見つけられず避けられないとき、身体がこの自動切断の力や戦略に頼るのだと考える。私たちの言語には、このような自己切断を示す表現がたくさんある。『皮を脱ぎたい』『気が変になりそうだ』『気が狂いそうだ』『頭が爆発しそうだ』といった言い方をする。そして私たちはしばしば、スポーツや遊びという制御された条件のもとで、現実生活の刺激やストレスに匹敵する人工的状況を作り出す。」 ⁴

人工知能によって、どの切断が起こるリスクがあるのでしょう？認知？思考？知能そのもの？自由でしょうか？

何をすべきか？

機械がいつ私たちより賢くなるのか、そして本当に知能を持てるのか、という議論は、人を催眠術にかけるようです。自動運転車が二者択一の状況で誰を殺すべきか、という問いは、驚くほど娯楽的でもあります。SF を語り、論理パラドックスや倫理的なひっかけ問題を議論するのは、すばらしい雑談になりますし、ビジネスプラン、儲かる約束、安っぽいマーケティング、見事な詐欺、楽しいゲーム、人目を引く図解、半端な知識、派手なニワトリ小屋、世界記録級のでたらめ、すばらしいクリックベイトを生みます。人間と機械の行為に関する倫理原則をきちんと考えなければ、こうした議論は雑談のままです。

倫理は、科学中心の頭にはうるさく感じられるかもしれません。自然科学は「今あるもの」を見て、いつでも再現できる形で記述しようとします。倫理は「あるべきもの」を見て、それをみんなが現実にできるようにしようとします。人間は大きく言えば自然によって定義されています。同時に、私たちには現実をいくつもの規範的プロセスによって定義する奇跡的な力もあります。人文科学、言語、芸術、文学、政治、法律、経済は、私たちがものごとをどう知覚し、どう処理するかを決めます。不思議なことに、自然科学自体も人文科学がなければ成り立ちません。

さて倫理的には、機械に誰を殺すべきかを教えるなんて、実用的・数学的・単なる論理的な問題のように扱うことはできません。アルゴリズムの計算、バグ、想定外の不具合の結果として誰が責任を取るのか言えないなら、倫理的にまずいのです。倫理的には、まず機械に私たちの生活に対してどれだけの権力を与えたいのかを決める方法を見つけてから、誰を殺すべきかを伝える必要があります。

市民機械に、誰を殺すかを計算する権力を与えるべきか？
道徳的価値は測定され、重みづけされ、数値化され、したがって「処理」できるのか？
その計算が基づく道徳的コアバリューとは何か？できるだけ多くの人にとって最大の利益？義務？幸福の最大化？経済的収益性？
人間と機械の相互作用に関わるどの倫理原則が重要かを、誰が決めるのか？

ほとんどの人は、誰とデートするかを機械に計算された結果に従うのは気が進まないでしょう。皮肉なことに、Facebook は、私たちの湿った身体が狂ったホルモンでいっぱいの状態よりも、すでに誰とデートすべきかをよりうまく計算しているかもしれません。⁵ しかし、機械がどれだけ統計的に私たちの不完全な本能を上回ったとしても、多くの人は、自分たちの自由を、想像上であれ現実であれ、電気仕掛けの機械の手に委ねることに不安を感じます。

「人間は機械に支配されたくない。なのに、私たちはますます機械に支配されつつある。私たちはスマホに依存し、自分には理解できないアルゴリズムから情報を与えられ、ロボットに仕事を奪われる危険にさらされている。これはおそらく、今後 30 年の物語になるだろう。」 ⁶

誰も未来を知りません。おかしなことはいくらでも起こるでしょう。Facebook が私たちの結婚相手を決め、その Facebook 結婚が自然な結婚より 45% 低い離婚率を示す未来を想像してください。失敗した結婚や失われた時間の責任は誰にあるのでしょう？機械を信じた人たち？機械を作った人たち？誰もいない？

機械のほうが人間より政治的に優れた決定を下せることが、科学的にも道徳的にも明白になると想像してみましょう。議会に座るその機械を、誰が動かすのでしょう？誰が監視するのでしょう？そして結局のところ、機械そのものではなく、機械を作り、管理し、運用し、所有する者たちに私たちは従属させられているのではないでしょうか？機械のほうがよい決定を下すと、誰が決めるのでしょう？機械を権力の座につけた有権者？より賢い機械？市場？ロビイスト？ Slack 上のプログラマー集団？自律した機械？あなたなら、そのような決定を誰に委ねたいですか？

おかしな話に聞こえるかもしれませんが、これはどれも SF ではありません。今まさに起きています。機械はすでに、私たちが意思決定の根拠とする情報をふるいにかけ、並べ替え、選んでいます。私たちの投票まで数えています。私たちが時間を使うタスクを選び、誰と話し、誰と会うかを決めています。私たちの生活のもっと多くの重要な側面が、情報技術によって決定されるようになっています。そして、物事はうまくいかなくなります。機械は人間が作るものです。私たちが失敗する限り、機械も失敗します。

何かがおかしくなったとき、双方、つまり機械を使う人たちと、情報技術を作り、管理し、所有する人たちは責任を回避します。利用者は自分に力がないことの陰に隠れ、所有者は「アルゴリズム」の陰に隠れます。彼らは人工知能を Deus ex Machina のように売り込み、失敗したときにはそれを単なる機械として機械のせいにします。

「誰が誰に仕えるのか？」という問いは、2047 年の専門家だけの話題ではありません。今日、この場で、いま、私たち全員にとっての重要な問いです。機械が知的になれるかどうかは、単に技術的・科学的に重要なだけではなく、実存的な問題です。

何を知れるのか？

知能は “intellegere”、理解することに由来します。人工知能ではなく自然知能には、理解が必要です。私たちは、ほかの人の言葉が理解できるときに「自然に理解」します。耳にしたものや見たものを身体で認識するとき、言語を通して相手が感じたことを自分も感じるときです。ほかの人の言葉の意味がわかるときです。感情や言葉、意見を分かち合うときです。あなたの脳はコンピューターではありません。

今に至るまで、機械は理解しません。感じることも、認識することも、共有することも、意味することもありません。意図も、立場も、視点もありません。命令とは何かという自覚もなく、曖昧な命令に従うだけです。彼らはパターンを受け取り、照合し、処理し、計算し、シミュレートします。感じることも、考えることも、理解することもなく、何をしているのかさえわかっていません。あなたのコンピューターは脳ではありません。

自分自身を知らず、他者を理解せず、あるいは自分が何をしているのかすらわからない存在を、どうして知的だと言えるのでしょう？

機械は知的ではありませんが、知性をシミュレートするのはもう得意です。私たちに、理解しているように見せること、私たちを知っているように見せること、わかっているように見せること、チェスをしているように見せることが本当に上手です。まあ、私たちをだますのはそれほど難しくありません。操作されなくても、私たちは普通に、トースターに感情があり、車に人格があり、ケチャップのボトルに意図があると信じてしまいます。外の世界に自分の内面を投影するのは、私たちの本性なのです。

そんな投影を重ねても、私たちは自分の心をまだ理解していません。AI をいじっているエンジニアの多くは、人間の知能が何なのかを知りたがりもしません。アルゴリズムはあまりに複雑になり、それを作る人ですら仕組みを理解していないほどです。魔法だと言うこともできるでしょう。あるいは試行錯誤だと言うこともできます。でも、どちらも理解されていないからといって、寄せ集めの数式を人間の知性と同一視するのは大きな誤りです。

人間が作った機械は、なぜかわからないまま人間の脳に似た結果を出せます。だからといって、私たちが同等だとか、自分たちの知能を再現したとか、超えたという意味ではありません。意味するのは、私たちがいじるのが好きだということです。

機械の中で何が起きているのかを知るために、エンジニアは自分で説明する逆アルゴリズムを書きます。これは面白い仕事です。ですが、やはり機械を自意識のあるものにはしませんし、私たちを作ったものの責任者にもしてくれません。むしろ逆です。きちんと理解していないものを、私たちに信じさせるのです。

3 年後、30 年後、300 年後には、機械が私たちよりずっと多くを理解し、すべてを説明できるようになる、と夢見る人もいるでしょう。人工知能の熱烈な支持者は、人間の理解そのものを疑うかもしれません。「理解とは、バイオ電気の処理や計算、シミュレーションの上に乗った幻想にすぎないのでは」と。もし私たちの理解が幻想だったら？いや、ちょっとやめてください。理解は哲学的にも生物学的にも複雑ですが、黒魔術ではありません。本質的には、自分の考えを感じることです。考えが間違っているかもしれません。理解が間違っているかもしれません。感情があなたを誤らせるかもしれません。それでも、知覚の中に意味があると感じた瞬間に、あなたの理解は現実になります。

人間の現実は不純です。事実と虚構、自然と規範が混ざっています。歴史、芸術、哲学、詩、経済、文化、道徳は、完全には測定できませんし、これからもそうでしょう。人文科学はつねに進化し、私たちを記述するのと同時に定義します。自然科学がその発見を表現し議論するのに人間の言語を必要とする限り、人文科学に依存しています。自然科学自身も、測れないものがあると発見しました。純粋な測定も、絶対に測定可能な純粋現実もありません。そうしたものがあれば、人文科学の不純さから私たちを解放してくれるのでしょうが、そんなものはないのです。数学も自然科学と同じくらい人間的です。純粋な測定などなく、規範のない測定も、関係のない規範もなく、知覚のない現実もなく、解釈のない言語もありません。Kant はずっと前に言いました。もの自体なんてないのです。

人間が機械に仕えるべきか、機械が人間に仕えるべきかは、科学だけでは決められません。車が誰を殺すべきかも、論理だけでは決められません。これらは、きれいに切り分けられる事実問題ではなく、規範的な問いです。倫理は「何があるか」だけを問うのではなく、「何があるか」を「何があるべきか」との関係で問います。何ができるかは、何をすべきかと照らし合わせて議論しなければなりません。

「『人間的なもの』は、人類の種としての特徴という一般的な意味だけでなく、とりわけ、動物などほかの生き物と対比された人間の本質の多様性を広く見渡すことも含む。[…] 人々の行動を決めるあらゆる実践的・政治的決定は、規範によって定められ、その結果として規範を定める効果も持つ。」 ⁷

では、自分が支配する領域をきちんと理解していないものに、権力を譲るべきでしょうか？理解のない人に物事を動かさせるべきでしょうか？理解のないものに私たちの生活を運営させてよいのでしょうか？何も考えないものに、私たちが何を考えるかを決めさせていいのでしょうか？

権力には責任が伴います。私たちの行動がもたらす可能性のある影響を理解せず、自分たちの決定の実際の結果を把握できなければ、機械は自分たちがすること、あるいは私たちにさせることに責任を負えません。責任を取れないものに権力を与えるべきではありません。自分自身に責任を取れない者やものが、ほかの者に責任を負うべきではないのです。⁸

機械が知的になれるかどうかは、ただの雑談の話題ではありません。どれだけの権力を与えるべきかを議論するとき、それは本当に重要になります。疑いなく、機械は人間知能の特定の形をシミュレートし、増幅できます。私たちの代わりに実存的な判断を下すには、機械が私たちを理解し、関わり、私たちのようである必要があります。そしてそのためには、人間の身体が必要です。理解とは、自分の考えを感じることです。

人間とは何か、機械とは誰か？

人間知能のシミュレーションは、本物の知能の複製ではなく、突然それが本物になるわけでもありません。人工知能は定義上 本物ではない のです。人工は、自然に対する人工物という意味でもありますし、今日に至るまで、シミュレートされた、見せかけの、偽物の、装った知性を意味します。人工知能は、人工皮革が皮革であるのと同じくらい賢く、ポケット電卓が数学を知っているのと同じくらい自覚的です。自意識を持つには参照点が必要です。自分の考えを感じる必要があり、身体が必要です。

歴史は、何が可能で何が不可能かを正確に知っているのだと私たちは学びます。しかし、その判断を下す予言の力を持っているのは、悲観論者でも楽観論者でもありません。私たちは時間を逆向きに歩き、前には過去があり、目の端にいまが現れます。未来を見ることは誰にもできません。過去を見てわかるのは、それが狂っていて、汚くて、複雑になるということだけです。それでも、目の端からいまを見ると、手がかりは得られます。

私たちはすでに、認知を機械に与えています。気づかないうちに機械に話しかけ、機械が言ったことを自分でも知らないうちに繰り返すことがあります。技術が人間らしい拡張と増幅器であり続け、human と artificial のあいだのエントロピーを増やし続けないようにすれば、少しは単純にできます。できるだけシンプルにしておきましょう。これまでに私たちが作った情報技術と、それが生み出すデータの混沌だけでも、もう十分に制御が難しいのです。

人間の知能は、人間の身体と、それが生まれ育った自然史・文化史を再現しなければ複製できない、と考えるのは妥当です。理論上は、Blade Runner 的な未来を想像できます。そこでは機械が自分で人間知能を作り、再現し、人間と機械の区別がつかなくなるところまで行く。そうした未来が望ましいかどうかは、また別の問題です。

「人間に似た成長ニューロンを使って人工の wet brain を作ることができるなら、その思考は私たちのものにもっと似るはずだ、というのが私の予測です。そのような wet brain の利点は、基盤をどれだけ似せるかに比例します。wetware を作るコストは非常に高く、組織が人間の脳組織に近づくほど、いっそ人間を作ったほうが費用対効果が高いのです。そもそも人間は 9 か月で作れます。さらに、前述のとおり、私たちは脳だけでなく身体全体で考えます。腸の神経系が『合理的』な意思決定プロセスを導き、予測し、学習できることを示すデータは豊富にあります。人間の身体システム全体をモデル化すればするほど、複製に近づくのです。」 ⁹

いま私たちが気をつけるべきなのは、人間的なものと人工的なもの、偽物と事実を区別できなくなり、自分たちがどんな存在を生きたいのかを決める根拠を失う未来に育ってしまわないことです。今、私たちがすべきなのは、人間と機械の区別を明確に保つことです。そして、未来を決めるのは情報技術を所有する者ではなく、私たちであることを確かなものにすることです。どうやって？

最初の一歩は、機械が私たちに話しかけるとき、自分が機械だとわかるようにすることです。処理された音声は、人間の音声と判別できなければなりません。法的にも視覚的にもです。私たちが使うべきなのは、私たちの認知とプライバシーを食い物にするのではなく、人間の条件と選ぶ権利を守る技術です。

私たちは、機械と話しているのか、人間と話しているのかを知る必要があります。コンピューターと話す時間に自分の時間を費やしているのか、それとも生きている存在と話しているのかを。ほかの人間が感じたことをもう一度感じようとしているのか、それとも、ロボットに自分の心と時間という自然資源を使わせるために、自分の時間と認知を少しずつ差し出しているのかを。誰がそれらのロボットを動かしているのかも知らなければなりません。そして、それがどう動くのかも知らなければなりません。ボットに匿名でいる権利はありません。人間の存在に最深部で影響するアルゴリズムは、営業秘密であってはならないのです。

私たちは、虹彩スキャン、指紋、公開プラットフォーム向けの blockchain 認証のような検証手段を追加する必要があります。そうすれば、私たちが読む情報が、身体と心を持つ人間によって作られたものだという一定の安心が得られます。完全に安全な方法はありません。そして、あらゆる技術と同じく、悪用されうるし、悪用されるでしょう。しかし、これらの手段は悪者に高い障壁を作り、「ルールはある」と伝える重要なメッセージになります。

今日、目前にある技術の脅威は、もはや物理的な力だけではありません。情報技術には、私たちの認識を形づくり、機械の見えない所有者に有利なように現実を歪める力があります。究極的には、情報技術は、私たちが世界を望む形に作り上げる基本的な能力を奪う可能性があります。古臭い、感傷的、非科学的、あるいは「仕方ないけど避けられない」と思う人もいるでしょう。自然法則は与えられていますが、人間の自律は、自然法則を超えるために苦労して勝ち取った成果です。現実を形づくる自由、善悪を選ぶ自由、失敗し、責任を取る自由は、重力と同じくらい現実です。その超能力を、機械を動かす者たちに譲ってはいけません。