人工知能とは（tweets まとめ，2012 年 12 月 30 日 14:05）

An Inquiry into Artificial Intelligence 西田豊明（Toyoaki Nishida），京都大学 年明けに「人工知能」についての小論を刊行することに

なった．これまで書いてきた人工知能研究についてのエ

ッセイより，本質的な話題であり，難しい．まずは，twで思考空間を広げよう． 新しい試みとして，多人数会話スタイルをとってみる．

たとえば，【数】は，私が思っている典型的な数学者とい

った具合．その他は明示しないで敢えて読者の想像に任

せることにしよう． 会話スタイルのメリットはいうまでもないが，議論にお

ける一貫した視点を明示するにはいいように思える． （少し準備をしたが）あらかじめ用意したものでもなく，

どこへ行くかも，いつ終わるかもしれない．まさに tw

向き．とにかくはじめてみよう． 【Ｎ】人工知能とは知能をもつ機械、ないしは、心をも

つ機械のこと．

【Ｎ】機械とは，抽象的な意味．ふつうはプログラムだ

ったり，さらにメカが加わってロボットになったり，将

来は，新しい素材や計算原理で作られるかもしれない．

【Ｎ】「機械」の代わりに，「人工物」，「人工システム」

といってもいいが，単に発音のし易さだけでこうするこ

とにした．「機械」の反対は「自然現象」，「自然物」，「生

命」など 【Ｎ】人工知能研究は人工知能の実現をめざした研究． 【私】言葉の上ではそれでいいかもしれないけど，疑問

はいっぱい．知能と心は同じ？そもそも人工知能って実

現できるの？… 【Ｎ】直観的には，心と知能は違うものでしょう．昔の

テレビや映画には，賢いけれど良い心，あるいは美しい

心をもった人，悪い心を持った人が出てきたでしょ？「賢

い」は「（高い）知能をもった」に対応し，そのうえでい

ろいろな「心」が出てきます．私の立場も同じです． 【認】高い知能は他人や自分の心を操作できることもで

きる．

【社】それは社会知能というんだ．感情知能や問題解決

知能と区別されている． 【数】【物】心も知能も定義されていない． 【生】知能はともかくも心については，脳内メカニズム

もよくわかっていないんですよ．何の根拠があって知能

とか心とか言ってるのだ？ 【人】人工知能の研究者は，これまで考究されてきた広

大な精神世界のことを踏まえて，心とか知能って言って

るんでしょうね？ 【哲】認識をはじめとして知の問題や心の問題は哲学で

は紀元前から考察されてきた． 【工】人工知能の実現技術を明確にして評価しなさい

っ！ 【Ｎ】はい，はい，いちいちごもっともです． 【Ｔ】そんなこと言うけれど，人工知能研究は 1956 年

以来いくつもの輝かしい成果を世に出してきたぞ． 【 Ｎ 】 こ れ ま で の 人 工 知 能 の 発 展 の 歴 史 は https://www.jstage.jst.go.jp/article/johokanri/55/7/55_461/_article/-char/ja/ でおさらいした通りです．とくに，

ここしばらくは人工知能技術の成果が世の中をにぎわし

ていますよ．Siri, IBM Watson，Google Driverless car，…． その背後には，ヒューリスティクス，推論，知識の表現

と利用，機械学習，言語処理，パターン処理など膨大な

技術体系がありますよ． 【数】定義を示しなさいって言ってるでしょう！ 【Ｎ】まだ誰も知能や心の満足のいく定義は示していま

せん．直観的には知能のほうは何とかなるかもしれませ

んが，心ははるかに難しいですね．およそ定義できそう

に思えません． 【Ｔ】定義は人工知能の本質じゃない．

【Ｎ】ところで，どうして定義を示さなければならない

のですか？ 【数】（しばし絶句）定義がないと，理論ができないじゃ

ないかっ！ 【Ｎ】理論って何ですか？ 【数】与えられた定義の上で必ず成り立つ性質の体系だ

っ．〔今更，当たり前のことを聞くなと言わんばかりの形

相で…〕 【Ｎ】人工知能研究者が知能や心の厳密な定義をせず研

究をしてきたのは，知能や心を厳密に定義してそこから

必ず導かれる性質を調べても肝心の知能や心の理解に格

段の進歩があると思ってこなかったからです． しかし，人工知能技術の進歩に応じて，知能の近似的な

定義はたくさんしてきました． 【Ｎ】1960 年代の人工知能研究では，大規模探索空間を

多くの場合に効率的に探索する能力，と規定してきまし

た．その結果，ゲーム関係で大きな成果が生まれ，（よく

定義された）ゲームであれば，人間はチャンピオンです

らも人工知能に勝てなくなってしまいました． 【Ｔ】これが意味することはいろいろあって，まさしく

知能や心の議論の本質になるのだが，取りあえず，それ

はペンディングにしておこう．おいしいところを後に残

すのは私の性格だから仕方あるまい． 優劣の差が客観的に決まるような世界は難しくなってく

るでしょうね． RT @covanekosuki: ゲームは複数の答

えはあっても最適解がある。だが創造に最適解はない。

ここで人はまだ勝てるはずです。RT@toyoakinishida …ゲームであれば，人間はチャンピオンですら… 【Ｎ】1970 年代では，知識の効果的な表現を許し，それ

に基づいて（見かけ上）高度な推論を効率的に実行する

記号体系の運用能力が知能に力を与えると考えられてき

ました． 【Ｎ】1980 年以降になると，大量のデータのなかからパ

ターンをみつける能力，さらには，それに基づいて自己

の行動能力を高める能力が知能の核心と思われ始められ

てきました． 【Ｎ】一方，心については，認知神経科学の進歩を取り

入れて，新たな展開がはじまりつつあるように思われま

す．

【Ｎ】①自分や他人の感情を理解して行動する情動的な

知性，②他者の意図を読み取ったり，他者と協力あるい

は上手に交渉したりして社会を動かす社会的な知性，③

他者に共感して自分の行動を変えたり，他者の共感を呼

び起こして社会を変えたりする高度な知性への関心が高

まりつつあるように思えます． 【工】どうやって評価するの? まさか評価なしで済ませ

ようというのではあるまいね？ 【Ｔ】鋭い質問! 【Ｎ】部分的な評価はされています．データマイニング

アルゴリズムだと計算量や，正解データとの一致度やノ

イズへの耐性などで評価しますね． 【Ｎ】このあたりは，情報検索などの手法を用いて，正

解を与えたデータに対してアルゴリズムを適用し，正解

のどれだけをみつけられたか（再現率），見つけた解の中

のどれだけが正しかったか（適合率）で指標化してみる

とか，… 【Ｎ】機械学習の場合は，実験データをトレーニング用

と検証用に分割し，トレーニング用データでトレーニン

グした学習アルゴリズムが検証用データでどれくらいい

いスコアを出せるかを示したりしますね． 【Ｎ】実験科学的に捉えて，知能アルゴリズムを用いた

ときのほうが，用いないときよりスコアが挙がること，

あるいは，ユーザによりよい印象を与えることを統計的

に示すとかもあります． 【工】そのあたりはよくわかるけど，人工知能としての

全体的な評価はどうするの？ 【Ｔ】またまた，痛いところを… 【Ｎ】人工知能がどれだけ実現できたかという評価は難

しいですね．人間の能力を評価するのに似てます． 【Ｎ】入試問題を解かせてみて何点取れるかで，試作さ

れた人工知能を評価することは十分考えられます． 【Ｎ】入試問題を解くことは，知能全体からすると限ら

れたことではありますが，人間社会では十分難しいこと

だと考えられていますから，入試問題を解かせてみると

人間に匹敵する，あるいは上回る得点を獲得するような

システムができたら大きなブレークスルーになると思い

ます．

【Ｎ】よくご存じのようにこれはすでに東ロボプロジェ

クトで取り組まれていますね． http://21robot.org/ （つづく） ○その通りです．人間が偉いのは価値を創り出せるから

です． RT @covanekosuki: 客観的に決まるなら、法則

があるはずです。人工知能で対処できるのは法則やなん

らかの決まり事のある世界でしょ。主観と創造には未知

の法則があるかも知れないし、カオスかも知れません。 ○換言すれば，価値の体系が確立され，計測可能なとこ

ろに入っていくと人間は人工知能（コンピュータ）に勝

てなくなるでしょう？人間が素晴らしいのは価値を発行

し，共有しているからであるといっても過言ではないで

しょう． 【Ｎ】入社試験ではもっと広く人間力を評価します。こ

れまで、人工知能研究者はそれほど知能の評価の問題に

取り組んできませんでしたが，これからは重要な研究課

題になると思います． 【Ｎ】一方，心については，測るものでなければ，競う

ものでもないと思います．ゆくゆくは，人間性が主張で

きるのは，心の世界になるでしょう． 【Ｎ】競うときの参加者を人に限ったり，機械を相手に

自分の力を試すのであれば，悪くはないと思います．コ

ンピュータの方がはるかに速いだろうと思いつつ，私自

身数独は好きですし，考え方を変えれば，コンピュータ

と囲碁を打つのも悪くないと思います． 【Ｎ】ただ，場を精神世界に変えると，囲碁を打つプロ

グラムをバッティングマシンの囲碁版だとは思いにくく

なるでしょう．私たちは高い知性に対して畏敬の念を抱

くものであり，メディアの等式であれば，相手がコンピ

ュータであっても畏敬の念を抱くことになるのではない

かと思います． 【Ｎ】評価ということに関しては，1997 年に日本で立ち

上げられたロボカップ世界大会のように，ＡＩコンペを

主催して総合的な力を競い合うという図式もあります．

相対的なものですが，10 年以上たって映像を比べてみる

とずいぶん進歩していることがわかります． 【Ｔ】もうちょっと本音を言おう． 【Ｎ】評価も大事なのですが，評価をする前に，「賢い！」

と自分やビジターが直観できるシステムを作ることが大

事ですね．

【私】でもなかなかそのレベルには到達しないですよね．

人工知能が登場する映画を見てから研究室のレベルを見

ると，がっかりすることが多いです． 【Ｎ】人工知能を描いた一番わかりやすい映画はインド

映 画 の 「 ロ ボ ッ ト 」 http://ja.wikipedia.org/wiki/%E3%83%AD%E3%83%9C%E3%83%83%E3%83%88_(%E6%98%A0%E7%94%BB) だと思っています．映画の中に出てくる人工知能

「Chitti」は，前半は，スーパーインテリジェンス，後

半は，理想化された心，になります． 【Ｎ】でも，「理想化された心」を見ていると，やはり自

分は人間なんだ，と思えます．ロボットだと思ってみて

いると，その人間性に驚かされて感情移入してしまいま

すが，ふと我に返ると自分はこんなに素晴らしくはなれ

ないだろうなと，逆に距離を感じてしまいます． 【Ｎ】現存の「人工知能」と「Chitti」の違いは大きい

のですが，その違いを生じさせている大きな要因の一つ

は素材ではないかと思っています．現在のロボットの身

体能力は非常に悪い，つまり，遅くて，重いですね． 【Ｎ】知能や心を強化することも大事でしょうが，人間

を超える身体（より軽く，より素早く，よりしなやか，

より正確で，持久力のある身体）ができたとしたら，人

工知能に大きな貢献をするでしょう． 【Ｎ】今日は人工知能に関わるいろいろな話題の頭出し

をしたところまで… --- 【私】数学者にとっては，定義と公理が出発点になると

いうことですが，どうやって定義と公理をつくり出すの

ですか？ 【数】解きたい問題を見つけたとしよう．その問題を解

くための（数学的）な道具を作るために，問題を記述す

る．問題を定義＋公理として一般化された問題を解き，

元の問題に適用する． 【私】帰納的なアプローチですね． 【数】多くの人が自分の作り出した道具（理論）を活用

することを願ってなるべく一般化するのだ． 【私】どういう定義や公理系にしたりするか，たとえば

試しに定義と公理系をつくって，定理を導き出してみる

といった試行錯誤をするのですか？

【数】試行錯誤はするがそれほど大変なことにはならな

い． 【私】そうであれば，一つの定義＋公理系があれば，そ

の近くに少し違った定義＋公理系があるのですか？ 【数】群論なんかバリエーションが多いね．公理とそれ

を記述するための定義は，一つの話題について 50 くら

いかな．そのほかに出てきても泡沫となって淘汰されて

しまう． 【私】昔からそうだったのですか？直観的には昔は方程

式の解き方みたいな術をあみ出すことが中心だったので

は？ 【数】こういうスタイルは 18 世紀フランス革命から 19世紀ころまで．ブルバキ，ガロア，アーベルが出てから．

その後は数学は抽象的なアプローチが主流になった． 【私】ありがとうございました． 【Ｔ】人工知能でも，一般化すれば，成果の一部を社会

で役立てることができるのは同じ． ○いいえ，ここは非常に興味深い点です．人工知能研究

者はその壁を越えたいのです… RT @covanekosuki: 人

工知能は有能な助手になりえてもそれ以上ではない、と

いうことですね。@toyoakinishida その通りです．人間

が偉いのは価値を創り出せるからです．

【Ｎ】いくつかの人工知能は狭いながらも人間の能力を

超えています．これは人工知能研究者だけでなく，多く

の人にとって朗報です． 【Ｎ】たとえ狭い範囲でもいいので，人工知能研究者は

人間を凌駕する知能を作ることにもっと力を入れるべき

です．論文を書くのはそれが達成できてからでもいいで

しょう． 【Ｎ】手段は問いません．人間に似た方法を使うのが近

道だと思えばそうしたらいいし，いわゆる brute force methods を使いたければそれでもいいでしょう． ○ここは要議論 RT @covanekosuki: つまりイコール

パ ー ト ナ ー を 目 指 し て い る わ け で す ね 。

@toyoakinishida いいえ，ここは非常に興味深い点です．

人工知能研究者はその壁を越えたいのです… RT @covanekosuki: 人工知能は有能な助手になりえても

○人間の高い能力が求められる領域で，ということです．

RT @covanekosuki: 狭いながらも人間の能力を超えて

いると仰います。そうかもしれません。だが、ロボット

は多かれ少なかれみなそうなのです。問題は、どういう

点でどういう意味で超えているのかではないですか？… 【Ｎ】多くの人が願い，血のにじむような努力をしなが

らめったにそこに到達できないレベル，たとえば，チャ

ンピオンクラスのチェスプレイヤー，最近では IBM Watson（クイズ）などはブレークスルーの象徴です． 【Ｎ】いま取り組んでいると主張されているもので，成

功すれば大きなインパクトをもたらすのは東ロボ（完成

したら東大入試で合格点を取れるロボット）． 【Ｎ】さらに，取り組んでいる人がいるかどうかは知り

ませんが，イチローを超えるロボットバッター，フェデ

ラーを超えるロボットテニスプレイヤー等々． 【Ｎ】多少のハンディは構わないし，チャンピオンレベ

ルに近づくだけでも大きなインパクトがあります． 【Ｎ】科学に貢献しようと意図がある開発者は，自分の

人工知能が人間を凌駕するレベルに達したのであれば，

進んで「頭脳」を科学コミュニティにオープンすべきで

しょう． ○ここが議論の分かれ目です． RT @covanekosuki: ということは、人工知能は知的行動のレベルでよき協力者

となってくれる、存在を目指すということですね。機械

は基本的にはツールですから。@toyoakinishida 人間の

高い能力が求められる領域で，という… 「弱い人工知能」（第一段階）は，人間にとっての知的ツ

ールという位置づけでいいでしょう．しかし，それは人

間にとって薬になるかもしれませんが，毒になるかもし

れません． 私自身は，これまでツールを越えて「よい心をもつパー

トナー」を実現すべきだと主張してきました．そうする

ことで大きなメリットがあるとともに，ツールは強力で

あるほど悪用される恐れがあるからです． 私の思っている「人間の良きパートナーとしての人工知

能」が人工知能研究で言われてきた（感情など心を持つ）

「強い人工知能」と同じものかどうかは，議論が必要で

す． しかし，より重大な課題は，「人間の良きパートナー」が

実現可能か，そして，それを実現することが倫理的，社

会的に許されているかどうかです． この疑問について議論するまで，もう少し自分自身の考

察が必要だと思っているので，現時点では先送りしたい

と思います（ただし，年内には帰ってきたい）． その通りです． RT @covanekosuki: なんのための人工

知能かということですね… RT @covanekosuki: とい

うことは、人工知能は知的行動のレベルでよき協力者と

なってくれる、存在を目指すということですね。機械は

基本的にはツールですから。 ただし，何のための人工知能か？という点（＝人類にと

っての主題的側面）だけから考えるのは不十分であり，

そもそも，心をもつ存在を作ることが人類にとって許さ

れているのか？という（「道徳」ではなく哲学的な意味で

の）倫理的な側面からの考察が必要だと思っています． ここを掘り下げましょう．RT @covanekosuki: まったく

その通りと思います。議論ありがとうございます。

@toyoakinishida しかし，より重大な課題は，「人間の

良きパートナー」が実現可能か，そして，それを実現す

ることが倫理的，社会的に許されているかどうかです． 昔はロボットを作ることは問題だと思っていませんでし

た．そのとき思っていたのは人間に役立つことをしてく

れる，「心をもたない」ロボットでした． ところが，「心をもつ」ロボット（人工知能でも同じ）と

いうことになると，問題が全く異なります． 多くの人工知能研究者は，「鉄腕アトムを作りたい」と平

気で言います．それがはるかに遠い間はまあよかったの

ですが，ある程度現実味を帯びてくると，簡単に賛同で

きなくなってきます． 大きな社会的問題だと思います．RT @covanekosuki: さらに多くの議論への参加者が欲しい問題ですね。一般市

民も交えての。@toyoakinishida ここを掘り下げましょ

う．RT @covanekosuki: まったくその通りと思います。

議論ありがとうございます。 「鉄腕アトム」を作ると大罪を犯すことになるのではな

いかという感覚です． 「鉄腕アトム」にも，ダークサイドがときどき出てきま

した．また，先に紹介したインド映画の「ロボット」 http://ja.wikipedia.org/wiki/%E3%83%AD%E3%83%9C%E3%83%83%E3%83%88_(%E6%98%A0%E7%94%BB) を見るとそのダークサイドはよりはっきりしてき

ます． 鉄腕アトムの英語版の Astro boy もダークサイドを含ん

でいます．人間が心をもつロボットを「生み出したり」，

「殺して」いいのか，という問いです．他には，そうし

たロボットが人類（の一部）に悪用されたり，人類を滅

亡させてしまわないか，という危惧もあります． 原点に戻る必要がありますが，過去とは違ったマインド

が必要だと思います． RT @covanekosuki: そもそも心

とは何か。そして心を持つ機械としてのロボットや人工

知能はなぜ必要になったかという、ここに立ち返る必要

はありませんか。迷ったときは原点に戻るのは基本と思

いますが。 「必要」という観点は難しいです．必ず要るかと聞かれ

れば，そもそも人工知能などいらない，ということにな

るかもしれません． でもあった方がいいかどうかと問われると，そう思う人

は多いのではないかと思います． 私が「良い心をもつパートナー」を作ろうという主張を

する主たる理由は，そのようなパートナーがいないと

我々が複雑性の淵に沈んでしまいかねないからです． そのような倫理的な観点からの議論が必要だと思います．

ロボットだけでなく，研究者倫理も議論の対象になるで

しょう． RT @covanekosuki: まさにロボット憲章の必

要性が現実味を帯びてきたということでしょうか。

@toyoakinishida その通りです．非古典的な考察が必要なのは，純粋に善，

純粋に悪という心を考えられないからです． RT @covanekosuki: ある意味、天使と悪魔の問題と言えそ

うですね。@toyoakinishida 現実に存在し得る心は，ある角度から見れば天使，別の

角度から見れば悪魔といったものではないかと思います

ので，たくさん議論をしないとても理解できそうにあり

ません． 使い勝手というのは程度の問題，一方が他方より少しま

し，ということですが，いまや死活の問題に発展しつつ

あると思います． RT @covanekosuki: では、なぜ人工

知能、そして心のあるロボットが必要か。でしょう。遣

い勝手の向上という点はないですか。 換言すれば，人工知能の助けがないと生きていけなくな

る時代に入りつつある，ということです．

そこまで人工物は進化しました． RT @covanekosuki: 人間の霊性の進化が求められる局面を齎す研究なのです

ね。@toyoakinishida その通りです．非古典的な考察が

必要なのは，純粋に善，純粋に悪という心を考えられな

いからです． 仮にすごい人工知能ができたとします．その人工知能に

助けてもらおうと思えば，自分の意図を「非常に効率的

に」伝えたり，人工知能の意図を「非常に効率的に」理

解できなければなりません． 意図のコミュニケーションに多大な時間を取られたら，

人工知能は救いになりません． つまり，人間は人工知能と阿吽の呼吸でコミュニケーシ

ョンできなければならない．ここで疑問になるのは，「心

をもたない存在と阿吽の呼吸でコミュニケーションがで

きるか？」ということです． この問題に対する私の推察はＮＯです．つまり，相手が

心をもっていないと複雑な意図の効率的な交換はできな

い（これは必要条件です．心をもっていても複雑な意図

の効率的な交換ができるとは限りません）． そう思っています． RT @covanekosuki: 遣い勝手の内

容と質が、そもそもの出発点から問われるわけですね。

@toyoakinishida 使い勝手というのは程度の問題，一方

が他方より少しまし，ということですが，いまや死活の

問題に発展しつつあると思います こ れ に つ い て も そ う 思 っ て い ま す ． RT @covanekosuki: 高度な知性の助けなしには生きられな

い時代ということですね。@toyoakinishida 使い勝手と

いうのは程度の問題，一方が他方より少しまし，という

ことですが，いまや死活の問題に発展しつつあると思い

ます そうなのです．RT @covanekosuki: 人はいやおうなしに

神の領域に踏み込んだわけですね。生命科学でもそうで

すが。@toyoakinishida そこまで人工物は進化しました． @covanekosuki: 人間の霊性の進化が求められる局面を

齎す研究なのですね。 そういう領域に素朴な思想のまま踏み込んでいいのか？

これが私の持っている大きな疑問の一つです． でも，技術が成熟してくると，倫理と言っているあいだ

に，いろいろな動機で一線を超えてしまう人は続出する

でしょうね．

コミュニケーションがうまくいかないときはひどくなり

ます．が，逆に賭けたいということです． RT @covanekosuki: 確かに、人と人であってさえ意思の疎

通は難しいです。というより、心があるからかえって厄

介とさえ言えますね。 昔から多くの人が取り組みながらなかなか実用化されな

い課題があります．その代表例は，日常の日程調整です． 皆さん，自分の手帳相当のものをお持ちだと思います．

問題は，それに基づいて自動的に日程調整をするプログ

ラム（間違いなく人工知能）をつくること． 品質を問題にしなければ簡単です．スケジュールリクエ

ストがあれば，空いているところにどんどんアポを放り

込む，詰まり過ぎを避けるためにランダムに一定の割合

で空き時間を作り出しておく，なんてプログラムを作っ

たらとてもひどいことになってしまうでしょう． いちいち，ここどうですか？と尋ねられてもかなわない． 高品質のリゾリューションを得るためには，スケジュー

ル調整をしている人との間の人間関係，アポの持つ重要

性，メリットとリスク，不確実性など多種多様な情報を

考慮に入れなければなりません．いったいそんなことを

どうやってスケジュール調整人工知能に伝えたらいいで

しょうか？ 科学的観点だけでは解けないということでしょう． RT @covanekosuki: つまり最新科学は、皮肉にもある意味

神学的側面を持たざるを得ない局面を迎えているという

ことでしょうか。@toyoakinishida そこが，「心」の機能が求められるところです． RT @covanekosuki: だから、察してくれる人工知能が欲し

い。理想を言えば、空気を読んでくれるくらい

(笑)@toyoakinishida しかし，心の機能が求められるからと言って，必要に駆

られて，心をつくってしまっていいものなのか？ たとえば，心の失敗作は破壊していいものなのか？ 心が人々に害を与えないのであれば，破壊しなくてもい

いのかもしれませんが，現実には「人々に影響を与えな

い心」をイメージすることは難しいですね． その通りです．しかし，これを突き詰めていくと精神的

な奴隷をつくろうということになります． RT @covanekosuki: 価値観を共有してくれないと、役に立

たない。ある意味、有能な秘書であり執事であってほし

いわけですね。 道具を廃棄することにはあまり抵抗を感じないのですが，

パ ー ト ナ ー は と て も そ う は い き ま せ ん ． RT @covanekosuki: で も 機 械 は 道 具 で す ね 。

@toyoakinishida その通りです．しかし，これを突き詰

めていくと精神的な奴隷をつくろうということになりま

す． 影響を与えないのなら役にも立たないということなので

… RT @covanekosuki: ロボットの破壊力は半端じゃ

ないですから。だから困る。人となら喧嘩も良いけど。

@toyoakinishida …現実には「人々に影響を与えない

心」をイメージすることは難しいですね． 心，ないしはそれに近い存在が破壊されると心がひどく

痛みます． RT @covanekosuki: アトムの中でも、大き

な課題として出てきましたね。これが現実味を帯びてき

たのですね。@toyoakinishida たとえば，心の失敗作は

破壊していいものなのか？ 解は無理としても理解を得たい… RT @covanekosuki: 限りなく人に近いことが求められるが、人になられても

困る。ジレンマですね。@toyoakinishida そこが，「心」

の機能が求められるところです．@covanekosuki: だか

ら、察してくれる人工知能 問題はここに存在します．さらに急速に変化する世界

RT @covanekosuki: 複雑化した現在、なにがもっとも優

先順位が高いかの判断も難しい。にもかかわらず迅速な

判断が求められる。その判断のパートナーとしての人工

知能が求められるということでしょうか。 人の世界に人工物が深く浸透したことが原因です． RT @covanekosuki: 人は人しか生きられない以上、この問

題は避けて通れない。この問題に否応なしに機械もまき

こまれた。それが、ロボットや人工知能の必要性となっ

たということでしょうか。 ペ ッ ト 以 上 の 存 在 に な る と 思 い ま す ． RT @covanekosuki: ペットは単なる動物ではなく家族です。

人工知能やロボットもその仲間になるわけですね。

@toyoakinishida 道具を廃棄することにはあまり抵抗

を感じないのですが，パートナーはとてもそうはいきま

せん． 機械に心が宿るかどうか？要議論 RT @covanekosuki: これはまさにアトム、そして手塚治虫の流し続けた涙で

あり、それが現代人すべてのものとなる時代がそこまで

来ているのですね。@toyoakinishida 心，ないしはそれ

に近い存在が破壊されると心がひどく痛みます． そう思います．わかってもらえるか否かは別にして，と

にかく考え，議論してそのプロセスを発信しなければな

らないと思います． RT @covanekosuki: もっと研究者

は、市民に分かる言葉でロボットと人工知能の抱えるジ

レンマを発信しないとならないのではないですか。 人工知能と共生することでサイバーエージェントになる

のでしょうか． RT @covanekosuki: しかし、人は道具

を使うことで人になったと言えます。また、家畜を使い

こなすことでひとになった。ロボットと人工知能は道具

と家畜、さらに厄介なことに奴隷との垣根さえ壊しつつ

ありますね。 ロボットは誰なんでしょうか？ RT @covanekosuki: でしょうね。ある意味分身化した存在でしょうから。

@toyoakinishida ペット以上の存在になると思います．

@covanekosuki: ペットは単なる動物ではなく家族です。

人工知能やロボットもその仲間… アーサー・ケストラーによれば「機械の中の幽霊」とな

ります． RT @covanekosuki: 機械の心、それはそうで

しょう。でも、故障の原因としてはどうかです？

@toyoakinishida 機械に心が宿るかどうか？要議論 人間とロボットの共生は聞こえは良いがハードです．

RT @covanekosuki: まさに、マン＝マシンインターフェ

イスとしての人工知能であり、ロボットの時代というこ

とですか。@toyoakinishida 人工知能と共生することで

サイバーエージェントになるのでしょうか． 少なくとも自分の試みが人類にとっていかなる意味を持

つか，真摯に考えなければならないと思います． RT @covanekosuki: それだけに、技術論に流れやすい研究

者の意識改革も要るということでしょうか。 宗教的観点は人間の存在や行いの意味を根源から問い直

す と い う 意 味 で 重 要 だ と 思 い ま す ． RT @covanekosuki: ある意味、宗教と科学の融合の時代で

すね。 大変有益な議論をありがとうございました．ここでしば

し reflectionをしたいと思います． RT @covanekosuki: ある意味、宗教と科学の融合の時代ですね。 これからの人工知能の研究では必要不可欠だと思います．

RT @covanekosuki: 少なくとも、研究者は哲学、倫理や

価値観という意味で、が問われる時代になってきたとい

うことでしょうか。 ありがとうございました．近いうちにまた続きをしまし

ょう． RT @covanekosuki: 長い時間、ありがとうござ

いました。とても楽しい時間を過ごさせていただき感謝

します。@toyoakinishida 【Ｎ】昨日の@covanekosuki さんとの議論で，今回考察

しようと思っていた話題およびそれを超えた話題に関わ

る多くの論点が出てきました．その掘り下げ（あるいは

発展）と整理はこれから少しずつ行っていくとして，取

りあえず位置づけだけはしておきましょう． 【Ｎ】第一は，人を超える人工知能（これをスーパーイ

ンテリジェンスと呼ぶことにします；字数を稼ぐために

「スーパー知能」あるいは「超知能」かも）の（近似的

な）定義と特徴づけ，その実現可能性，実現のもたらす

意義と利害，でどうするのかという議論． 【Ｎ】第二は，心をもつ機械（いい呼び方が見つかりま

せん．直観は「人造魂」または AM"Artificial Mind"または AS"Artificial Spirit"あたり）の定義と特徴づけ，

その実現可能性，実現のもたらす意義と利害，「でどうす

るのか」という議論． 【Ｎ】スーパー知能については，昨日少しふれました．

（少なからぬ数の）人々が長時間かけて取り組んできた

問題を，人以上に解いてしまう人工システムです．解き

方はどうでも構いません． 【Ｎ】スーパー知能の実現には人工知能分野は多くの貢

献 を し て き ま し た ． https://www.jstage.jst.go.jp/article/johokanri/55/7/55_461/_pdf や http://www.ii.ist.i.kyoto-u.ac.jp/?p=3333&lang=ja に

まとめた通りです． 【Ｎ】人工知能の外に眼を向けると，Google のような検

索エンジンもスーパーインテリジェンスと言っていいで

しょう．昔は，いろいろなことを広く知っていることは

「識者」の大きな素養の一つだったはずですが，今や教

授より Google on the net を信じます． 【Ｎ】通常の意味で，Google（も他のネット上の検索エ

ンジンも）は人工知能とは言えませんが，「博識」という，

昔はその達成に一生をかけた人もいた目標に関して，い

まのネット上の検索エンジンは人を凌駕していると言え

ます． 【Ｎ】そのようなスーパー知能が出現すると，たとえそ

の中身は完全に透明化されてなくても，人はそれを自分

の仕事に役立て，そこから学ぶことができます．また，

その「頭脳」を解剖してみれば，人の知能がどうなって

いるかということについて多くの知見が得られます． 【Ｎ】普通の反応は，「人間の知能の本質の一部は含んで

いるけど，人間の知能はこんなもんじゃないっ」という

ものかもしれません．しかし，それによって，知能の本

質を探る我々の旅のイメージが非常にはっきりします． 【Ｎ】もっとさかのぼれば，コンピュータの出現によっ

て知能の輪郭はそれ以前より格段に明確化したのです． 【Ｎ】いまや，囲碁や将棋やクイズ王が誕生しました．

バックギャモンやオセロなどはとうの昔に人工知能は人

間のチャンピオンを凌駕しました． 【Ｎ】スポーツについては，ＡＴＲの川人氏や東大の石

川先生が運動や視覚で人を凌駕するレベルのロボットを

実現されたのですが，素材の問題が残されています． 【Ｎ】次のチャレンジは，人間と同等の大きさ，人間と

同等以下の体重，同等以上の持久力で，スポーツをこな

すロボットでしょう． 【Ｎ】私は趣味でテニスを長いことしてきたのですが，

夢はフェデラーや（最盛期の）ナダルとラリーをするこ

とです．現実には，そのようなチャンスはあり得ません．

トップ選手を模したフェデラーロボットやナダルロボッ

トが出て相手をしてくれたらどれだけ嬉しいことか 【Ｎ】もちろん，実力差があるので，ラリーにはなり得

なくても，たとえ骨折してもナダルのぐりぐりトップス

ピンを受けてみることにはとても興味があります． 【Ｎ】トップ選手はそのようなトッププロロボットを使

ってトレーニングをしたり，さらに高度な技を編み出そ

うとするかもしれません． 【Ｎ】2012 年 3 月 17 日に囲碁ソフト Zen が武宮宇宙流

に挑戦５子一番手直りに連勝したときの，プロ棋士の一

人が，「これで人間とコンピュータがコラボして最善譜作

りができるようになった」といった趣旨の発言をしてお

られたことが思い出されます． 【Ｎ】スーパー知能の出現は，人の生き方に大きな影響

を与えます．これまでは，（範囲を限れば）自分だけにし

かできないと思ってきたことやサービスが，機械によっ

て安価に再現できるのです．

【Ｎ】昔は，（学校の）先生は「博識」にかけては周囲に

いる人よりは確実に優れていたのですが，いまや先生の

博識は高々知識への気づきにすぎず，「そういうことか

…」とわかってしまえば，知識の中身のほうは先生より

ネットサーチの結果のほうを信じるでしょう． 【Ｎ】そういうことに気づけば先生や先生になろうとす

る人は自分の生きていく道について真剣に考え直さなけ

ればならなくなります．そもそも先生の役割は何か？自

分だけにしかできないことは何か？… 【Ｎ】囲碁や将棋は人にとって輝きを失っていません．

自分は人にしかできない活動に参加しているとか，自分

はコンピュータより賢いといった不遜なことを考えず，

もっと純粋に楽しみを見い出せばいいのです． 【Ｎ】自分は他者に勝つためにゲームをしているのでは

なく，ゲームのもたらす世界を理解を深めていったり，

そこでチャレンジしている自分や他者のなかにヒューマ

ニティを見い出すのが楽しくてゲームをしているのだと

いうことがわかればいい． 【Ｎ】あるいは，長時間数独の難問に取り組んでいると

次第に浮かび上がってくる抽象的な世界の様相，没頭で

生じる透明な思考の世界を楽しんでもいいかもしれませ

ん． 【Ｎ】数独の場合は一般的な解法を自分で見つけたとき

の喜びは格別です．換言すれば，数独は weak methodで必ず解けるのですが，数の配置がもたらす制約のパタ

ーンを使うと weak method に依拠しなくてもよくなる

（はずです．まだ極めていません）． 【Ｎ】入試問題にも同様のところがあり，力づくでもい

いから，与えられた問題に対して説明性のある解答（つ

まり，なぜその解答になるかという説明を伴う解答）を

生成できる人工知能ができると多大なメリットがもたら

されます． ○続きもあるから怒らないでくださいね。 RT @backgammon_jp: RT @toyoakinishida: 【Ｎ】いまや，

囲碁や将棋やクイズ王が誕生しました．バックギャモン

やオセロなどはとうの昔に人工知能は人間のチャンピオ

ンを凌駕しました． 【Ｎ】入試問題の作成（作問）にも採点にも膨大な時間

がかかるのですが，やってみると問題を解くよりはるか

に面白いですね． ＣＮＮにバーバラストライサンド登場中．お年を召され

ても，「変わってない」のはうれしい．我々の世代では青

春のシンボルだった… 科学的には，変わってないと思

えるのがなぜか興味深い 【Ｎ】東ロボができたら，入試の様相も変わるでしょう．

万が一，クラシックなスタイルが踏襲されるならば，作

問者にも採点者にも朗報．作問者には出題ミスのチェッ

クばかりか，素晴らしい問題だとか，これは屑だとか，

評までしてくれそう． 【Ｎ】もう少し格好いい使い方は，入試で東ロボを使い，

作問コンテストをしてもいいかもしれない．「このモチー

フを使ってできる限りおもしろい問題を作ってみなさ

い」といった具合． 【Ｎ】試験監督ロボットを作るのは超細かいマニュアル

を渡され，「自分で考えるな，判断するな」と言われる監

督者にとっては朗報だが，全体を見渡すと超バッドスキ

ーマ． 【Ｎ】全国一律，同条件で人間を競わせるという考えそ

のものを改めるべきでしょう． 【Ｎ】スーパー知能は，前世紀型の教育を破壊するいろ

いろな手がかりを与えるはず． 【Ｎ】そもそも，今世紀後半になると教育の占める割合

は限りなく小さくなり，逆に，学習の占める役割が限り

なく大きくなるでしょうね． 【Ｎ】学習したいと思う人はこれからどんどん増えるで

しょう．同時に，教育を受けさせられたくないと思う人

も増えていくことでしょう． 【Ｎ】スーパー知能の実現可能性について．ずいぶん進

んだと思うが，まだまだ人間を凌駕する範囲が狭かった

り，検索エンジンのように人の解釈力に依存していてい

る． 【Ｎ】ここで次の引用をしておきたい．「情報理論とデジ

タル・コンピュータの発展は知覚の問題が容易に解決で

きないことを浮き彫りにした．しかし人の脳はこれを解

決している．」（クリス・フリス著大堀訳「心をつくる」

岩波書店，2009，p. 148） 【Ｎ】もうひとつは，人とスーパー知能をつなぐコミュ

ニケーションパイプラインが細すぎることでしょうね．

そのためにスーパー知能があってもそのメリットをなか

なか活用することができない．

【Ｎ】強い将棋ソフトができていても，その心の中で起

きていることを人に伝えられません．そこから学ぶこと

はあっても，本質を理解することは困難です．（人の場合

もそうであり，熟達の中身はなかなか語れませんし，語

られてもなかなか理解できなかったり，再現できたりし

ません）． 【Ｎ】人とスーパー知能の間の阿吽の呼吸を実現するた

めには，少なくとも社会知と暗黙知の領域に踏み込む必

要があります．そこは，理性だけでなく，感情，感性，

気持ち，価値感，人間性，生存，…が深くかつ不可知的

に絡み合ってきます． ○境界は明確ではないと思います．RT @kazushi_: 人工

知 能 と 自 動 制 御 は ど う 違 う の で し ょ う 。 RT @toyoakinishida: 【Ｎ】ただいま見つけたニュース．自

動操縦ということらしい（未確認）．もしそうなら…新し

い 人 工 知 能 …

http://security.slashdot.jp/story/12/12/27/092219/%E3%82%BB%E3%82%B3%E3%83%A0%E3%81%8C%E3%80%8C%E6%B0%91%E9%96%93%E5%88%9D%E3%80%8D%E3%81%AE%E7%A9%BA%E9%A3%9B%E3%81%B6%E3%82%AC%E3%83%BC%E3%83%89%E3%83%9E%E3%83%B3%E3%83%AD%E3%83%9C%E3%83%83%E3%83%88%E3%82%92%E9%96%8B%E7%99%BA もし，センサーライトとか温度計を用いた追跡であれば

自動制御に近いでしょうし，知識を使って人間の細かな

行動や「だます」「隠れる」などを細かく識別していた

ら人工知能に近いでしょう，いずれにしえても境界はそ

れほど明確ではないと思います． 【Ｎ】ここで，スーパー知能のもたらす恐れのある問題

についても指摘しておきたい． 【Ｎ】第一は，技術の乱用(technology abuse)．スーパ

ー知能が現れると悪用しようとする人が現れるのは世の

習い． 【Ｎ】第二は，責任能力の破たん(responsibility flaw)．スーパー知能のすることに対する責任をいったい誰がと

るのか？製造者も，販売者も，利用者（所有者）も責任

をとれない．保険に依存？ 【Ｎ】第三は，モラルの危機(moral in crisis)．スーパー

知能のなかに一定の社会知と倫理コードが組み込まれる

であろうが，そうなると人間はスーパー知能に任せきり

になって，他者のこととか，社会における自分の役割な

どについて考える機会を失いがちになる．

【Ｎ】第四は，人工物への過度の依存(overdependence on artifacts)．スーパー知能がないと生きていけなくな

ってしまう．…より詳細は AI & SOC 誌の拙著へ

http://link.springer.com/article/10.1007%2Fs00146-012-0403-5 【Ｎ】どの問題も科学技術に生きるものとしては何とか

解決法を編み出したいところだが現実はなかなかタフだ． 【Ｎ】第一のテクノロジーの乱用はこれから大変になる

だろう．その主たる理由は，表層では技術の高度化によ

る世界の複雑化であり，… 【Ｎ】深層では，先に引用したクリス・フリス著「心を

つくる」やナス著「メディアの等式」に書かれているよ

うに人間の脳が複雑化にそう簡単についてそうもないこ

と． 【Ｎ】つまり，クリス・フリスのいうように「我々が知

覚する世界も身体も脳が作り出した幻想である」とし，

その肝心の脳が太古の世界や身体の様相に基づいてつく

られているものであるとするならば，我々の脳は現代の

高度な技術が作り出す拡張世界を理解できないというこ

とになる． 【Ｎ】クリス・フリスによれば，錯視が生じるのは環境

から入ってくる大量の不完全で曖昧な情報を素早く解釈

するために脳が多数の解釈から最尤の解釈を「決め打ち」

していることの代償である． 【Ｎ】太古の自然界では錯視が生じるような状況はほと

んど起きなかったが今は違う．テクノロジーの導入でい

くらでも物理世界を加工し，見かけ上異なる世界に変え

てしまうことができる．そこでは脳は簡単にだまされて

しまう（それによって現実感も生まれる）． 【Ｎ】人工知能にできることがあるとすれば，人がそう

した罠にはまることを防ぐことである． 【Ｎ】こうした問題にたいして，名古屋大学の武田先生

の過信の研究 http://kashin-free.jp/ などのような取

り組みもあるのだが，イタチごっこになってしまうので

はないかという懸念もなかなか払しょくできない． 【Ｎ】スーパー知能の締めくくりは，やはり singularityになるだろう．Wikipedia によれば技術的特異点と和訳

さ れ て い る ． http://ja.wikipedia.org/wiki/%E6%8A%80%E8%A1%93%E7%9A%84%E7%89%B9%E7%95%B0%E7%82%B9

【Ｎ】Singularity 説との最初の出会いは（あの）IEEE Spectrum 2008 年 6 月号で報じられたとき．発明家の

Ray Kurzweil が提起した，一見 SF みたいな話題を多く

の論者が真剣に論じていたのがとても印象的だった． 【Ｎ】人工知能関係では，ミンスキー先生ばかりかもっ

と身近なところにいる MIT の Cynthia Breazeal もこの

問 題 を 論 じ て い る ．

http://singularityhub.com/2011/04/05/cynthia-breazeal-at-ted-were-making-robots-personal-video/ 【Ｔ】Cynthia とは奇しくも 2008 年 6 月に Bielefeld 大

の CITEC の開所式で記念講演をしたときいっしょにな

ったが，残念ながら singularity に関わっているとは知

らなかった． https://www.cit-ec.de/VirtualFaculty 【Ｔ】ow.ly/gp7LX などに報じられている通り，ロボッ

トを人のしもべとして位置づけるのではなく，パートナ

ーとして位置づけるという点は今回の tw のスタンスと

近い． 【Ｎ】ロボットの間に means（手段，あるいは手下）-end（目的，あるいは親分）の関係を作ってしまうと，ある

時点（＝singularity の期間）で flip して，ひっくりかえ

ってしまうのかもしれない． 【Ｎ】ひっくりかえる前は，人＝end，人工物＝meansだったのが，ひっくりかえった後は，人工物＝end, 人＝

means，つまり，人は人工物の手下に成り下がってしま

うというのだ．では，人間は人工物のどのような手段に

なるのか？ 【Ｎ】ここで，The Matrix 登場． ow.ly/gp8FA この映

画を見たときの衝撃は忘れない．いろいろ（反論したく

なる）謎のある映画だが，人間の役割がここまで貶めら

れるとは… 【Ｎ】しかしその後，singularity, the matrix と考え続

けているとあながち，荒唐無稽とは思えない． 【Ｎ】singularity が起こり得る日については，wikipedia ow.ly/gp92c と意見を異にする．人工物が心をもたなく

ても singularity は起こり得るというのが私の意見． 【Ｎ】singularity を引き起こすための人工物は，（心を

もつとは到底いえないくらいの）ただのスーパー知能で

よい．また，人間を殺戮せよというコードが書かれてい

る必要もない．単に，人間を（あるルールに従って）取

り締まる，ことを目的に動作すればよい． 【Ｎ】人工物は人を敵対視しなくてもよいし，自由を完

全に奪う必要もない，the matrix のように閉じ込めてお

く必要もないかもしれない．それどころか，人が法律を

順守し，争いをやめ，健康に生きるように仕向けるだろ

う． 【Ｎ】もし，（種としての）人工物が生存したいのであれ

ば，自分を滅亡させる要因をすべて取り除けばよい．人

間は人工物のしもべとして，人工物のメンテや改良に努

め，間違っても人工物を絶滅させようとなどという気を

起こさないように眼を光らせておけばよい． 【Ｎ】人間の側だってそう悪くはない．仲良く健康で生

きる限りは重宝されるだろうし，楽しみだって与えられ

て「幸せ」に一生を送ることができる 【Ｎ】という図式に歯向うのが大抵の映画の筋書きにな

っているが，そこは例えば，人が多すぎるから少し減ら

そうとか，無理筋も多いように思われる．著者の本音は，

手段であるはずの機械の手段に成り下がるなどあり得な

いという「ヒューマニティ」ではないか… 【Ｎ】換言すれば，人類あるいは個人の自律を守り，つ

まり，自分の運命を他者に託すのではなく，自分で決め

たいから，一見 Win^2 に見える妥協に立ち向かってい

るのではないかと思われる． 【Ｎ】しかし，世の中はどんどん Singularity に向かっ

ている．大学センター試験がよい例だ．監督者も受験者

も強烈な制約下でしか行動することが許されない． 【Ｎ】そのうち日常生活だって保険会社の監視下に入り，

掛け金のコントロールにより，生活習慣病などのリスク

を最小化するように運動をし，食生活をし，健全な毎日

を送らざるを得なくなるだろう． 【Ｎ】パブリックプレイスでは，他者に危害を加えるど

ころか，ハラスメントを与えるだけでも記録が残るから，

アウトローはいなくなる． 【Ｎ】映画に出てくるように，一握りの支配者たちがビ

ッグブラザーとして社会を監視するという図式はあまり

当たっていないと思う．監視をしているとしたらそれは

社会全体，つまり私たち自身だ． 【Ｎ】そう，スーパー知能は（集合としての）私たちの

化身として，社会の津々浦々まで思想を浸透させる役割

を担っているに過ぎないのだ．

【Ｎ】いままでは，コンピュータなどなかったから，個々

の市民を教育して正しい社会生活を送れるように仕向け，

警察などの力でそれを担保する，という原始的形態がと

られていたのだ，と考えることができる． 【Ｎ】singularity から心へ：たとえそれが人類（の一部

として）の我々自身の思想を反映したものであっても，

こんなにも無機質で無理解な人工物に支配されてはかな

わないから，人工物に心をもたせ，人と共感できるよう

にして，共生の道を探ろうということになる 【Ｎ】ここで，これまでの tw について整理してみよう． 【Ｎ】第一に，人工知能に対して「知能を持つメカ」，お

よび，「心をもつメカ」という 2 重の「定義」を与えた．

これらは厳密な定義ではない．知能や心を公理のように

厳密に定義してそこからいろいろな性質を導こうとして

もあまりメリットがないと考えたからだ． 【Ｎ】人工知能の研究の歴史において，「知能を持つメカ

としての人工知能」は，技術の進歩に従い，発見的探索，

知識の表現と利用，知覚，学習と進化，といった能力を

もつメカ（プログラムやロボットの抽象）と規定され，

その定義を最大限に満足する試みが行われてきた． 【Ｎ】このあたりは，数学と同じだが，人工知能研究者

はしばしば知能といった暫定的な定義を超えた発言をし

てきた．いい面も多いが，誤解も生みだしてきた． 【Ｎ】一方，「心をもつメカ」としての人工知能について

は，まだ思索の段階であり，大きな節目をもたらすよう

な成果は得られていないといっていいだろう． 【Ｎ】「知能をもつメカ」と「心をもつメカ」の中心概念

は大きく異なると考えられるが，両者の間の境界は概念

的にすらも明確ではない．しかし，境界のあたりについ

て議論を重ねることは非常に有益だろう． 【Ｎ】第二番目に議論したのは，スーパー知能について．

スーパー知能は知能を持つメカの能力が人間と同等かそ

れ以上になった場合を指している．すでに，Deep Blueや IBM Watson などいくつかの例を目撃している． 【Ｎ】スーパー知能の究極の例は，インド映画の「ロボ

ット」 ow.ly/gq0W8 の前半に登場する「Chitti」．（実

は前半でもその兆しが見え始めているが）後半には，

Chitti は心をもつ存在として描かれる． 【Ｎ】スーパー知能が出現すると多くの人々の役に立つ

と考えられる．科学的には，人間が自分の知性や理性を

理解する大きな手掛かりを与える． 【Ｎ】スーパー知能を実現するまでの主なチャレンジは，

人間と同等の知覚・運動能力をもたせること，人間との

間の太いコミュニケーションチャンネルを実現すること

に集約されるだろう． 【Ｎ】スーパー知能が実現されると，学ぶという人間に

とっての本質的な行為のあり方が一変されるなど人間社

会に大きなインパクトがあるだろう． 【Ｎ】スーパー知能には，技術の乱用，責任能力の破た

ん，モラルの危機，人工物への過度の依存など，ダーク

サイドがあることも忘れてはならない． 【Ｎ】技術的特異点(singularity)は心をもつメカによっ

てではなく，スーパー知能によってもたらされる問題だ． 【Ｎ】我々がまず目撃するであろう技術的特異点は，メ

カが人をさげすむとか，憎むとか，滅ぼそうとするので

はなく，人間が描いた桃源郷のなかに人間が住む（ない

しは住まわされる）という形で訪れるのではないかと思

われる． 【Ｎ】桃源郷は人間の理性の究極の姿である．人間が理

性で隅々まで縛られて生きることを強いられるというの

が，我々が最初に目撃する技術的特異点の姿だろう． 【Ｎ】心をもつメカは，理性のもつメカではなく，人間

と共感をもちえるメカとして特徴づけられる． 【Ｎ】心をもつメカには，2 つの発展段階があるように

思われる． 【Ｎ】第一段階は，人の心を投影するだけのレベルだ．

人は自分の心を外界に映し出している．ただの岩もそこ

に先祖の魂が宿るという心をもつと先祖が宿る岩になる．

人間社会では他者はそれを尊重している． 【Ｎ】第二段階は，（もしそのようなことが存在し得ると

すれば）「真の心」を宿らせたメカである． 【Ｎ】第一段階の心をもつメカの実現は可能であろう．

人が確かに心をもつと仮定すれば，人がいろいろなもの

に自分の心を投影して心を感じるという図式は考えやす

いし，心を感じさせるメカはすでにアーティストたちが

創り出してきた． 【Ｎ】これに対して第二段階の心をもつメカの存在を想

像することは難しい． 【Ｎ】誰かがそのようなメカを作ったといって目の前に

もってきたとしよう．どうすれば，そのメカに心が宿っ

ていると納得できるだろうか？ 【Ｎ】まず，それが「スーパー知能」レベルもしくはそ

れに近いところまで到達しているか調べてみるだろう． 【Ｎ】そのあとは，「あなたは誰？」，「何のために生きて

いるの？」，「人の命の重さはわかるかい？」といった問

いを次々に発するかもしれない． 【Ｎ】こうした問いには人間でもなかなか答えられない

が，そうしたやりとりの結果，自律的に行動した自律的

存在として，そのメカが目の前に「いる」と感じられた

ら，結構いい線にいったことになるだろう． 【Ｎ】こうした問いには人間でもなかなか答えられない

が，そうしたやりとりの結果，自律的に行動した自立的

存在として，そのメカが目の前に「いる」と感じられた

ら，結構いい線にいったことになるだろう． 【Ｎ】しかし，難しいのはここから先だ．心はふるまい

の中に存在するのか？ 【Ｎ】他者から見たらそう言えるだろう．2 つのケース

を考えてみよう．一つは，眼の前にいる人とやりとりし

ている場合．もう一つは，眼の前にいるのは人と寸分違

わないジェミノイドであり，遠隔地にいる本人の知覚上

見分けられないテレイグジスタンスになっている場合． 【Ｎ】目の前の存在がどちらか区別できないだろう．こ

のことから，他者から見ると心はふるまいをコントロー

ルする原因となる何かであるといっていいだろう． 【Ｎ】他者から見ても区別できないインタラクション（各

場面でのふるまいの総体）を生成するプログラムができ

たら，それを心をもつメカと言っていいのか？ 【Ｎ】古典的なチューリングテストの問題だ． 【Ｎ】外見的なふるまいにもとづく定義によって言説を

積み重ねてきた科学という観点からはＹＥＳという答え

になりそう． 【Ｎ】では，「自分と全く同じふるまいを作り出すプログ

ラムがいたとしたら，その心は自分（の心）と同じ

(identical)か」と聞かれたら，直観的な答えは「ＮＯ（同

じ格好をしているかもしれないが，identity は異なる）」

だろう． 【Ｎ】では，「アイデンティティを作り出すのは何か？」

という問いに対しては，「身体だ」くらいだろうか？ 【Ｎ】「人の心を壊すこと＝人を殺すこと」だったとして，

「（人の心と同一ではないが同じふるまいをする）メカに

宿った心は破壊していいか？」と聞かれると，これも直

観的にはＮＯ． 【Ｎ】このあたりの原理となるロジックがほしい． 【Ｎ】人とメカが異なるのは，我々はメカのアイデンテ

ィティに本質を認めていない．確かに，製造番号という

形でメカにアイデンティティを与えるが，それは違法コ

ピーに備えるために管理するといった別次元の社会的な

問題などに対応するためにすぎないと思っている． 【Ｎ】使っているＰＣに大きな愛着を感じていても，壊

れそうになるとあわててデータをコピーして，別のＰＣ

に移っていく．お世話になったＰＣのお墓を作るかもし

れないがそこまで． 【Ｎ】そこに心を投影していても，心があると感じてい

ても，心があるとは考えていない． 【Ｎ】私の感覚では，自我（アイデンティティ）は知能

とは分離可能だが，自我は心の本質であり，分離可能で

ないように思われる． 【Ｎ】人間世界では，他者の自我は心の中に埋め込まれ

てしまい不可視であるが，自分の自我は可知であるがゆ

えに，葛藤の原因になっている，ということか… あ と 暫 く お 待 ち を RT @mizonokuchi: @toyoakinishida … 高い知能…を持った AIを生み出

す／殺すことについての倫理的問題 … その後議論の

対象とされていなかった気がします。人権ならぬロボ権

について興味があるのですがどのようにお考えですか？ 人間の考え出した「幻想」がどういう意味をもち得るか

議 論 し て い ま す RT @shima__shima: .@toyoakinishida 心に相当する脳の

分子の配列と，それを心と見なすことに相当する分子の

配列が偶然ペアで揃っただけで，人間の場合も心という

ものは幻想にすぎないのでは？ 【Ｎ】どうやら心には「自我」が本質的に関わっていそ

うだということがはっきりしてきた．

【Ｎ】次のように考えてみたらどうだろう．①自我は個

体に唯一存在する．②心は自我が生み出す現象である． 【Ｎ】さらに，③自我が生み出した心は，その心を生み

出した自我への自覚がある．④ある個体が自我の生み出

した心は，他の個体が生み出した心に気づき，さまざま

な手がかりを使って他者の心が考えていることを推察で

きる． 【Ｎ】さらに… 他者の心の推察の方法は二つある． 【Ｎ】一つ目は，生得的なものである．自分の自我が他

者の自我と同じものだと仮定し，自分の自我を他者の自

我が置かれているのと同じ状況においてシミュレーショ

ンすることによって，他者の自我が生成する心がどのよ

うなものか知る． 【Ｎ】二つ目は，後天的なものである．生まれてから獲

得した知識を使って他者の自我が与えらえた状況でどの

ようにふるまうかを推理する． 【Ｎ】心の理論では，前者は simulation theory 後者は

theory theory と言われているものに相当する．後者は意

識的に行うしかないが，前者は無意識的に（意識下で自

動的に）行われる． 【Ｎ】いずれも仮定をともなうものであるので，常に正

しい結論が得られるというわけではない． 【Ｎ】しかし，両者が一致した時の結論だけを信じたり，

いろいろな手がかりを使って修正をすることで，高い確

度で正解を得ることができる，つまり，推察結果が実際

に相手の自我が生成している心と一致させることができ

る． 【Ｎ】これで，長い間自分にとって謎だった自他の心の

非対称性が説明できるようになった． 【Ｎ】自分の心にとって自我はいつも近くにあるから，

その存在には気付く．しかし，自分において自我と心は

別のものだ．心にとって，自分の自我の中身はときに謎

に包まれている． 【Ｎ】たとえば，何を好きかどうかを決めるのは自我で

あり，心はそれへの気づきで好きだということがわかる．

しかし，心はその活動基盤となっている自我の中身を完

全に知ることはできず，ときとして心は自我が望んでい

るものを見つけられなかったり，誤解したりしてしまう

ことがある．

【Ｎ】一方，他者の心は推察によって生まれるものだ．

いくら頑張っても演繹的に導くことができない．そのた

め，しばしば単純化を行い，割り切った解釈をしてしま

う． 【Ｎ】しばしば，自分の自我を持てあます一方で，他者

に対しては「どうせたいしたことはない」と他者の心の

深部を無視し，過度の割り切りをしてしまう． 【Ｎ】また，心は個体に固有の自我から生まれるものと

したので，mind uploading http://t.co/51ClfQyl といっ

たことが生じることはない． 【Ｎ】さらに，自我（あるいはそれが宿る個体）が滅び

れば，心も消滅するが，心というのはプロセスの一種だ

ということもできるので，その記録をとったり，そのふ

るまいをある程度予測することはできるだろう． 【Ｎ】自我はいくつの基本的な願望を生成する．そのよ

うな願望の中の基本的なものは生存欲だろう．生存欲か

ら，食欲のように肉体的な願望，快感をもとめる願望，

いろいろなことを知りたいという興味が生じると考えら

れる． 【Ｎ】また，それが自分のものであっても，他者のもの

であっても自我を尊重することは，我々に刷り込まれて

いるのではないかと思う． 【Ｎ】心が以上のようなものだとすれば，心を生じさせ

る自我を内包したメカを人工的に作り出せたら，心をも

つメカを作り出したと言っていいのかもしれない． 【Ｎ】しかし，我々自身のなかに自我を尊重することが

刷り込まれているとすると，心をもつメカをつくったな

らば，それを尊重しなければならないだろう．したがっ

て，人類は「心をもつロボット」の権利を認めなければ

ならない． 【Ｎ】難しいのは，心をもつメカを作り出す過程だ．途

中では，不完全な心をもつメカが必然的に作られること

だろう．そのような不完全な心をどう処遇したらいいだ

ろうか？不完全だからと言って破壊していいのか？ 【Ｎ】以上の議論によれば，心をもつメカの自我が我々

の自我と相当異なるものであったとしたら（そうなるこ

と が 予 想 さ れ る が ）， そ の 自 我 が 生 み 出 す 心 を

simulation theory を使って理解できなくなる点に注意

しなければならない． 【Ｎ】我々は人間以外の生命のなかに自我を認め，それ

を尊重するが，限定されている．だから，ある種の生物

を殺したり食べてしまったりする． 【Ｎ】それは，人間が人類以外の生命の物質的な自我は

認めても，それが生み出す心までは認めていないからで

ある．しかし，自分がかわいがっている生物や文化依存

に規定される種には心が宿っているという思いを抱き，

殺戮などとんでもないことだと思っている． RT @shima__shima: .@toyoakinishida 人を構成する原

子は日々入れ替わっていていてテセウスの船状態です．

自我が個体に固有であれば昨日の自我と今日の自我は違

ったものになるはずで，それはここで呼んでいる自我と

は違うと思います．＞続 これまでの考察では「自我」は，コピー不能，同一性の

根 源 と な る 仮 定 的 存 在 で す ． RT @shima__shima: .@toyoakinishida 続＞ そう考えると，

自我や心は純粋に情報でコピーもできるし，コンピュー

タ上にも構築できるようなたぐいのものではないでしょ

うか？ 「モノ」ではなく，それによって作り出される不動点（カ

オスアトラクタでもいい）のようなものだと思います．

ただしこれは日常生活の時間スケールでの話で，長期的

にはゆっくり移動していくことでしょう．病気などの原

因があると急激な変化があるかもしれません． より具体的には，身体の構成要素のダイナミクスが総体

的に作り出す（ミクロな時間スケールで見ると）不動の

アトラクタみたいなものだと思っています． 【私】知能はどこに行ったの？ 【Ｎ】ついつい心の核心に夢中になってそれを言うのを

忘れていました．知能は，知覚も記憶もセットになった

装置（現在認知神経科学者が解析を試みている脳部位）

が繰り出すプロセスとして位置付けられるのではないか

と思っています． 【Ｎ】人の心ももちろん脳のある部位（もしかしたらケ

ストラーのいうようにホロンかもしれない）で生成され

るプロセスであり，自我と一体化され，知能を「利用」

して活動している，と考えています． 【Ｎ】換言すれば，いろいろな場面で心は自我からの信

号と知能からの信号に基づいて最終的な判断を行ってい

る，と考えます． 【私】具体的な話がないとぴんと来ないなあ．例えば，

道に倒れ込んだ人がいて，駆け寄って介抱しようとして

いる人Ａ，通り過ぎていく人Ｂ，それを見ている私の心

は？ 【Ｎ】どの人の自我も危機状態にある自我を見つけて助

けようという信号を生成する．Ａはそれに従い，自分の

知能を使って行動を開始した． 【Ｎ】Ｂは，知能が何らかの理由（自分にも緊急の用事

がある，他の人が助けに行った，関わりたくない，等々）

で「助けない」という提案をして，心がそちらを採用し

た． 【Ｎ】そうした光景を見ていた「私」は，自分もそうす

るだろうと，Ａに共感した．Ｂには，嫌悪を感じるかも

しれないし，きっと何かの事情があったのだろうと察す

るかもしれない，このあたりは「私」の経験が組み込ま

れた「私」の知能がそのような判断を生成する． 【私】自我は心の産物では？ 【Ｎ】「心」は「自我」と一体化されていてどちらが鶏と

も卵とも言えないと思っています．上の考察では，自我

が心を生み出し，心が自我の存在に気づく，と言いまし

た． 【Ｎ】また，一方で，自我はふつうはゆっくりと変化す

る，短い時間スケールでみればアトラクタのようなもの

とも言いました．実際にはどちらも脳の上のプロセスで

あり，相互依存しているという意味で一体化されたもの

と考えていいかもしれません．