XPost: alt.chinese.text

AI毁灭人类的“末日概率”是多少

KEVIN ROOSE

2023年12月8日

达里奥·阿莫代伊展示如何用简�的电子游戏训练AI机器人。 Christie Hemm Klok for The New York Times

本文是“交易录峰会”(DealBook Summit)特别报道的一部分，该峰会得到了世界各地商业及政策领袖的参与。

AI公司Anthropic的首席执行官达里奥·阿莫代伊给出的数字是10%到25%之间。联邦贸易委员会主席丽娜·汗近日告诉我，她认为的数值是15%。上月担任了五分钟的OpenAI临时首席执行官的艾米特·席尔告�
��我，他得出的数值游移在5%到50%之间。

我这里说的，当然就是p(末日)了，这是硅谷正在热议的一项令人毛骨悚然的新数�。

P(末日)——就是用数学的方式表达“末日的概率”——是一些人工智能研究者在表达他们认为AI有多大可能把我们杀光，或创造别的什么威胁人类生存的灾变。P(末日)高意味着你认为AI末日的可�
�性大，低意味着你认为我们有机会挺过去。P(末日)曾经只是网络论坛上一帮AI技术宅之间心领神会的笑话，但随着去年ChatGPT点燃的AI热让人对AI的进步之快产生恐惧，近几个月这个�进入了主流�
��

它已经成了旧金山技术人士交谈时常用的开场白——也是AI文化里躲�开的一部分。今年我在两场业界活动上遇到陌生人问我的p(末日)是多少，就像在问洗手间怎么走一样随意。“几乎每一场晚�
��谈话都会提起，”云数�平台Box首席执行官艾伦·勒维对我说。

P(末日)甚至在上月OpenAI事变中对扮演了一定的角色。席尔被任命为OpenAI临时负责人后，公司雇员之间开始转发他在近日一期�客上的言论，称他的p(末日)可能高达50%。一�讨论时在场的人士说，
有员工担心他是个“末日论者”，由于认为这太过冒险，他可能会寻求延缓或限制他们的工作。（被罢�的OpenAI首席执行官萨姆·奥尔特曼最终恢�原职，因此这件事也就无关紧要了。）

当然，科幻迷很久以�就已经开始推想机器人篡夺世界的景象。但在去年ChatGPT推出后，这�威胁似乎显得更真切了。毕竟如果AI模型可以赢得艺术奖项，通过律师资格考试，那么距离劫难还能有
多远？

人工智能公司Anthropic联合创始人、首席执行官达里奥·阿莫代伊。 Massimo Berruti for The New York Times

AI行内人也在发出警告。去年从谷歌辞职的著�AI研究者杰弗里·辛顿开始警告AI的风险，他近日估计如果�施加有力的监管，AI在未来30年导致人类灭绝的可能性为10%。和辛顿一同被誉为“深度学
习教父”的约书亚·本吉奥在接受采访时说，他认为发生AI大劫难的可能性大约在20%。

没人知道我们被AI杀死的概率是10%、20%还是85.2%。显然这个问题会引出更多的问题，比如：如果AI导致50%的人类死亡，还算“末日”吗？如果没有人死，但我们全都丢了工作，只能喝西北风呢？到
底AI会如何接管世界呢？但是p(末日)的�点�在于精确。它的目的是表明，在是乌托邦还是�乌托邦的问题上，一个人大致的立场如何，此外也是用模糊的经验论术语传达你在AI问题及其潜在影�
上的关切程度。

这个术语似乎是�多年�在网络论坛LessWrong上出现的，那是一个理性主义哲学运动主题论坛。

LessWrong创始人是一�自学成�的AI研究者，�叫埃利泽·尤科夫斯基，他很早就产生了失控AI可能接管一切的想法，并就他设想的多�AI灾难场景撰文。（当时的AI连设置个厨房计时器都很勉强，�
�此风险显得�分遥远。）

后来成了AI世界最著�末日论者的尤科夫斯基告诉我，p(末日)这个��是他提出的，�过他做了推广普及。（他还说，如果继续以现在的趋势发展，他的p(末日)是“有多高就多高”。）这个�后�
��被有效利他主义者们拿去用了，这个群体旨在通过逻辑推论得出有关公序良俗的理念。

我的猜测是，这个�最早是由身在波士顿的蒂姆·泰勒于2009年开始在LessWrong上使用的。泰勒在邮件往来中说到，他用这个�“指代末日出现的概率，同时又�需要详细阐明时间尺度或末日的定义
。”

对一些人来说，谈论你的p(末日)无非就是在闲扯。然而在硅谷的一场激烈辩论中，它又成了一个�要的社交信号，辩论的一方认为AI发展过快，另一方认为应该更快。

4月，英国出生的计算机科学家杰弗里·辛顿在多伦多家中。 Chloe Ellingson for The New York Times

Box首席执行官勒维属于较乐观的一方。他说他的p(末日)值很低——�是零，但“能多低就多低”——他认为我们能化解AI的巨大风险，避�最糟糕的结果。他担心的�是AI会杀死我们，而是监管�
�和立法者会利用这些可怕的末日预言，用来理直气壮地打压一个�景远大的年轻行业。

“如果在AI发展中过早开始关键的政策决断，是有可能出现过度干预的，”他说。P(末日)的另一个问题是，在关乎存亡的问题上，乐观与悲观的界线是�明确的。比如，如果你预言AI有15%的可能�
�死所有人类，你真的算AI乐观主义者？（�个说法：如果你认为你下一次乘坐飞机“只有”15%的几率机毁人亡，你会上飞机吗？）

研究AI风险的Open Philanthropy高级研究员阿杰亚·科特拉在p(末日)的问题上花了�少时间。她认为它作为一个简称可能是有用的——顺便一提，她的p(末日)是20%到30%之间——但同时也存在局限。首先
p(末日)没有考虑到，AI相关破坏的可能性在很大程度上取决于我们打算如何治理它。

“我知道有些人的p(末日)超过90%了，这在一定程度上是因为他们认为企业和政府�会�心什么良好的安全实践和政策措施，”她对我说。“我也知道有些人的p(末日)�到5%，这部分是因为他们预�
��科学家和政策制定者会努力预防灾难的发生。”

�句话说，你可以把p(末日)当做某�墨迹测验——这个数�说的是AI，但说到底更多是在表明我们是怎么看待人类的，我们能�能在控制住风险的同时让强大的新技术为我们所用。

那么，你的p(末日)是多少？

Kevin Roose是《纽约时报》科技专栏作家和播客“Hard Fork”的主持人。点击查看更多关于他的信息。

翻译：杜然

[0] 交易录峰会”(DealBook Summit): https://www.nytimes.com/spotlight/dealbook-special-section
[1] Anthropic: https://www.anthropic.com/
[2] 给出: https://twitter.com/liron/status/1710520914444718459
[3] 告诉我: https://www.nytimes.com/2023/11/10/podcasts/hardfork-chatbot-ftc.html
[4] 游移: https://www.huffpost.com/entry/openai-doom-warning_n_655b488be4b0ce6a31bde4a5
[5] 云数�平台Box: https://www.box.com/
[6] 赢得艺术奖项: https://www.nytimes.com/2022/09/02/technology/ai-artificial-intelligence-artists.html
[7] 通过律师资格考试: https://law.stanford.edu/2023/04/19/gpt-4-passes-the-bar-exam-what-that-means-for-artificial-intelligence-tools-in-the-legal-industry/
[8] 从谷歌辞职: https://www.nytimes.com/2023/05/01/technology/ai-google-chatbot-engineer-quits-hinton.html
[9] 估计: https://twitter.com/geoffreyhinton/status/1719447980753719543
[10] 在接受采访时说: https://www.abc.net.au/news/2023-07-15/whats-your-pdoom-ai-researchers-worry-catastrophe/102591340
[11] LessWrong: https://www.lesswrong.com/
[12] 最著�末日论者: https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
[13] 有效利他主义者们: https://www.effectivealtruism.org/
[14] 于2009年开始: https://twitter.com/tim_tyler/status/1665571547111649286 [15] Open Philanthropy: https://www.openphilanthropy.org/


https://cn.nytimes.com/technology/20231208/silicon-valley-artificial-intelligence/?utm_source=RSS

Fri, 08 Dec 2023 04:45:49 +0800

--
Mobot

If you have any comments about this article, you can simply leave them by replying to this post. However, if you have any comments about this bot, please leave your message in the cn.fan group.

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)

XPost: alt.chinese.text

AI毁灭人类的“末日概率”是多少

KEVIN ROOSE

2023年12月8日

达里奥·阿莫代伊展示如何用简�的电子游戏训练AI机器人。 Christie Hemm Klok for The New York Times

本文是“交易录峰会”(DealBook Summit)特别报道的一部分，该峰会得到了世界各地商业及政策领袖的参与。

AI公司Anthropic的首席执行官达里奥·阿莫代伊给出的数字是10%到25%之间。联邦贸易委员会主席丽娜·汗近日告诉我，她认为的数值是15%。上月担任了五分钟的OpenAI临时首席执行官的艾米特·席尔告�
��我，他得出的数值游移在5%到50%之间。

我这里说的，当然就是p(末日)了，这是硅谷正在热议的一项令人毛骨悚然的新数�。

P(末日)——就是用数学的方式表达“末日的概率”——是一些人工智能研究者在表达他们认为AI有多大可能把我们杀光，或创造别的什么威胁人类生存的灾变。P(末日)高意味着你认为AI末日的可�
�性大，低意味着你认为我们有机会挺过去。P(末日)曾经只是网络论坛上一帮AI技术宅之间心领神会的笑话，但随着去年ChatGPT点燃的AI热让人对AI的进步之快产生恐惧，近几个月这个�进入了主流�
��

它已经成了旧金山技术人士交谈时常用的开场白——也是AI文化里躲�开的一部分。今年我在两场业界活动上遇到陌生人问我的p(末日)是多少，就像在问洗手间怎么走一样随意。“几乎每一场晚�
��谈话都会提起，”云数�平台Box首席执行官艾伦·勒维对我说。

P(末日)甚至在上月OpenAI事变中对扮演了一定的角色。席尔被任命为OpenAI临时负责人后，公司雇员之间开始转发他在近日一期�客上的言论，称他的p(末日)可能高达50%。一�讨论时在场的人士说，
有员工担心他是个“末日论者”，由于认为这太过冒险，他可能会寻求延缓或限制他们的工作。（被罢�的OpenAI首席执行官萨姆·奥尔特曼最终恢�原职，因此这件事也就无关紧要了。）

当然，科幻迷很久以�就已经开始推想机器人篡夺世界的景象。但在去年ChatGPT推出后，这�威胁似乎显得更真切了。毕竟如果AI模型可以赢得艺术奖项，通过律师资格考试，那么距离劫难还能有
多远？

人工智能公司Anthropic联合创始人、首席执行官达里奥·阿莫代伊。 Massimo Berruti for The New York Times

AI行内人也在发出警告。去年从谷歌辞职的著�AI研究者杰弗里·辛顿开始警告AI的风险，他近日估计如果�施加有力的监管，AI在未来30年导致人类灭绝的可能性为10%。和辛顿一同被誉为“深度学
习教父”的约书亚·本吉奥在接受采访时说，他认为发生AI大劫难的可能性大约在20%。

没人知道我们被AI杀死的概率是10%、20%还是85.2%。显然这个问题会引出更多的问题，比如：如果AI导致50%的人类死亡，还算“末日”吗？如果没有人死，但我们全都丢了工作，只能喝西北风呢？到
底AI会如何接管世界呢？但是p(末日)的�点�在于精确。它的目的是表明，在是乌托邦还是�乌托邦的问题上，一个人大致的立场如何，此外也是用模糊的经验论术语传达你在AI问题及其潜在影�
上的关切程度。

这个术语似乎是�多年�在网络论坛LessWrong上出现的，那是一个理性主义哲学运动主题论坛。

LessWrong创始人是一�自学成�的AI研究者，�叫埃利泽·尤科夫斯基，他很早就产生了失控AI可能接管一切的想法，并就他设想的多�AI灾难场景撰文。（当时的AI连设置个厨房计时器都很勉强，�
�此风险显得�分遥远。）

后来成了AI世界最著�末日论者的尤科夫斯基告诉我，p(末日)这个��是他提出的，�过他做了推广普及。（他还说，如果继续以现在的趋势发展，他的p(末日)是“有多高就多高”。）这个�后�
��被有效利他主义者们拿去用了，这个群体旨在通过逻辑推论得出有关公序良俗的理念。

我的猜测是，这个�最早是由身在波士顿的蒂姆·泰勒于2009年开始在LessWrong上使用的。泰勒在邮件往来中说到，他用这个�“指代末日出现的概率，同时又�需要详细阐明时间尺度或末日的定义
。”

对一些人来说，谈论你的p(末日)无非就是在闲扯。然而在硅谷的一场激烈辩论中，它又成了一个�要的社交信号，辩论的一方认为AI发展过快，另一方认为应该更快。

4月，英国出生的计算机科学家杰弗里·辛顿在多伦多家中。 Chloe Ellingson for The New York Times

Box首席执行官勒维属于较乐观的一方。他说他的p(末日)值很低——�是零，但“能多低就多低”——他认为我们能化解AI的巨大风险，避�最糟糕的结果。他担心的�是AI会杀死我们，而是监管�
�和立法者会利用这些可怕的末日预言，用来理直气壮地打压一个�景远大的年轻行业。

“如果在AI发展中过早开始关键的政策决断，是有可能出现过度干预的，”他说。P(末日)的另一个问题是，在关乎存亡的问题上，乐观与悲观的界线是�明确的。比如，如果你预言AI有15%的可能�
�死所有人类，你真的算AI乐观主义者？（�个说法：如果你认为你下一次乘坐飞机“只有”15%的几率机毁人亡，你会上飞机吗？）

研究AI风险的Open Philanthropy高级研究员阿杰亚·科特拉在p(末日)的问题上花了�少时间。她认为它作为一个简称可能是有用的——顺便一提，她的p(末日)是20%到30%之间——但同时也存在局限。首先
p(末日)没有考虑到，AI相关破坏的可能性在很大程度上取决于我们打算如何治理它。

“我知道有些人的p(末日)超过90%了，这在一定程度上是因为他们认为企业和政府�会�心什么良好的安全实践和政策措施，”她对我说。“我也知道有些人的p(末日)�到5%，这部分是因为他们预�
��科学家和政策制定者会努力预防灾难的发生。”

�句话说，你可以把p(末日)当做某�墨迹测验——这个数�说的是AI，但说到底更多是在表明我们是怎么看待人类的，我们能�能在控制住风险的同时让强大的新技术为我们所用。

那么，你的p(末日)是多少？

Kevin Roose是《纽约时报》科技专栏作家和播客“Hard Fork”的主持人。点击查看更多关于他的信息。

翻译：杜然

[0] 交易录峰会”(DealBook Summit): https://www.nytimes.com/spotlight/dealbook-special-section
[1] Anthropic: https://www.anthropic.com/
[2] 给出: https://twitter.com/liron/status/1710520914444718459
[3] 告诉我: https://www.nytimes.com/2023/11/10/podcasts/hardfork-chatbot-ftc.html
[4] 游移: https://www.huffpost.com/entry/openai-doom-warning_n_655b488be4b0ce6a31bde4a5
[5] 云数�平台Box: https://www.box.com/
[6] 赢得艺术奖项: https://www.nytimes.com/2022/09/02/technology/ai-artificial-intelligence-artists.html
[7] 通过律师资格考试: https://law.stanford.edu/2023/04/19/gpt-4-passes-the-bar-exam-what-that-means-for-artificial-intelligence-tools-in-the-legal-industry/
[8] 从谷歌辞职: https://www.nytimes.com/2023/05/01/technology/ai-google-chatbot-engineer-quits-hinton.html
[9] 估计: https://twitter.com/geoffreyhinton/status/1719447980753719543
[10] 在接受采访时说: https://www.abc.net.au/news/2023-07-15/whats-your-pdoom-ai-researchers-worry-catastrophe/102591340
[11] LessWrong: https://www.lesswrong.com/
[12] 最著�末日论者: https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/
[13] 有效利他主义者们: https://www.effectivealtruism.org/
[14] 于2009年开始: https://twitter.com/tim_tyler/status/1665571547111649286 [15] Open Philanthropy: https://www.openphilanthropy.org/


https://cn.nytimes.com/technology/20231208/silicon-valley-artificial-intelligence/?utm_source=RSS

Fri, 08 Dec 2023 04:45:49 +0800

--
Mobot

If you have any comments about this article, you can simply leave them by replying to this post. However, if you have any comments about this bot, please leave your message in the cn.fan group.

--- SoupGate-Win32 v1.05
* Origin: fsxNet Usenet Gateway (21:1/5)