Google傘下のDeepMind、人工知能の反逆を抑止するシステムを考案

あるAnonymous Coward 曰く、　人工知能（AI）技術の発達に従い、AIが人類の脅威となるのではと考える人々も増えている。Google傘下でAI関連の技術開発を行うDeepMindと英オックスフォード大学が、万が一そういった状況になった際にAIの振る舞いを強制的に変えるシステムを開発しているそうだ（Engadget Japanese、HotHARDWARE、Slashdot）。

　このシステムについてはすでにSafely Interruptible Agentsという論文（PDF）で発表が行われている。これによると、強化学習を行っているAIは現実世界のような複雑な環境において、好ましくない挙動を行う可能性があるという。そういった場合、たとえば人間のオペレーターが「大きな赤いボタン」を推すことで、有害な行動を止めることができる、というシステムが考えられるが、これでもAIがこのボタンの存在を認識し、これを無効化するといった対処を行う可能性がある。この論文では、そういった「停止ボタン」についての存在をAIに学習させずに有害な行動を止める方法を提案するとしている。

　スラドのコメントを読む | ITセクション | テクノロジー | Google | 人工知能

　関連ストーリー：
ドワンゴやトヨタなど8社、人工知能関連の研究支援のため東大に合計9億円を寄付 2016年06月08日
「人工知能に期待する」が過半数という調査結果 2016年06月08日
アメリカ人は人工知能を信用していない 2016年06月02日
殺人AIなどナンセンス 2016年05月11日