
Dwarkesh Podcast
ポール・クリスティアーノ――12か月以内に政府を転覆しうるAIが現れるかもしれない
Paul Christiano – We could be 12 months away from AIs that can overthrow the government
Alignment Research Center代表のポール・クリスティアーノが、再帰的自己改善による知能爆発が今後6〜12か月で起こりうるリスクを語った回。1年以内に超知能が出現する確率を約3分の1と見積もり、報酬ハッキングが制御不能へ発展するシナリオを示した。フロンティアラボのセキュリティが不十分なまま競争を続ければ、重みやアルゴリズムが盗まれて減速できなくなるとして、アルゴリズム進歩の一時停止を提案した。アライメントの計画は「飛びながら飛行機を組み立てる」ようなもので、AI自身が解決策を見つけることに期待をかける段階だと述べている。