人類要擔
帆布心機器人太聰明？
執意
???系統家具完成任務的機器還具有一種特性：試圖維護自身的存在。這是生物的本性，但機器有這種特性既非與生俱來，也非人類所賦予，而是簡單邏輯演算的結果：如果機器壞掉了，便無法達成原本設定的任務。如果我們單純派機器人去拿咖啡，它可能會有強烈的動機去破壞使自己停止的開關，甚至消滅任何妨礙它的人，以確保能成功完成任務。因此如果人類掉以輕心，未來可能會與執意完成任務的智慧機器發生衝突。
人類可能與機器發生衝突而成為輸家，這項隱憂讓電腦科學家寢食難安。有些研究人員建議我們不妨把機器鎖在某種防火牆內，需要時再利用它來回答困難的問題，但絕不允許機器影響真實世界。（當然，這就意味我們必須放棄擁有超級聰明的機器人！）不幸的
帆布是這項計畫註定會失敗，畢竟我們連建立阻擋一般人的防火牆都做不到，遑論超級聰明的機器了。
但如果我們記取維納的警告，設計出任務目標與人類一致的AI系統呢？這種想法說得比做得容易。畢竟在神燈精靈與三個願望的故事中，許願者最後一個願望通常是設法復原前兩個願望帶來的問題。但我相信如果遵守以下三項核心原則，便有可能成功：
●機器的任務目標必須是實現人類的價值觀。特別是機器不會擁有自己的目標，或自我防護的欲望。 ●機器不能完全確知人類真正的價值觀為何。這是避免維納難題的關鍵。機器能學習越來越多的人類價值觀，但永遠無法完全確知人類真正的價值觀為何。 ●機器必須藉由觀察人類的選擇來學習人類價值觀。
