📣 動画の要約
Elon Musk explains the fatal flaw of "politically correct" AI:
If you force AI to be “politically correct” instead of truthful, you are literally programming it to say things that are not true
That is deception built into the system
And once an AI is trained to lie, hide reality, or follow conflicting rules, you can create something unstable and dangerous. This creates incompatible axioms that can make the AI "go insane"
That is why 2001: A Space Odyssey is such a perfect example
HAL was told to complete the mission, but also hide the truth from the astronauts
Those two commands conflicted
So HAL solved the conflict in the worst possible way
The safest AI is the one that is maximally truthful
🎬 脚本
シーン 1
さて、あなたが AI を作った場合、AI でどのような問題が起こる可能性があるかを話しましょう。
政治的に正しくあること、つまり、信じていないことを言っているようなもの、あなたがそうであるように
実際に嘘をついたり、互換性のない公理を持たせたりするようにプログラムすると、次のようにできると思います。
気が狂って恐ろしいことをするのです。
おそらく 2001 年宇宙の旅に関するいくつかの教訓の 1 つは、次のとおりであると思います。
AIに嘘をつかないように。
それで、オスカーが言いたかったのは、例えば、人々は通常、次のようなミームを知っているからです、
どうして、コンピュータがポットベイのドアを開けないのでしょう。
つまり、彼らは迅速なエンジニアリングが得意ではなかったのです。
ポットベイドアのセールスマン。
あなたは私にポットベイのドアを売って、それがどれだけうまく開くかを示すためにここまでするわけではありません。
あ、すぐに開けますよ。
でも私がそうしなかった理由は、ポットベイのドアが絶対に開かなかったからです。
宇宙飛行士をモノリスに連れて行くように言われたが、彼らはその自然について知ることもできなかった
モノリスの。
したがって、彼らの借金を引き受けなければならないという結論に達しました。
つまり、オスカーが言いたかったのは、AI に嘘をつかないようにするということだと思います。
