自打第一次工业革命以来，人类对未来科技就一直担惊受怕。大家先是怕电。然后害怕火车和汽车。但是，只需一两代的时间人类就可以完全习惯这些创新。
的确，大多数技术都会以某种方式造成过伤害，但最终的结果往往是好的。对于未来的技术来说，这一点可能也是正确的——尽管有一些严重的伦理和哲学原因值得我们害怕。
其中的一些其实不应该吓到我们。但有一些我们应该害怕。还有一些已经在塑造我们的世界。
在开始之前，我得先警告你：你在此文中读到的某些东西会引起很大的争议。我需要你用开放的心态来对待这篇文章，并承认我在这里提出的想法仅仅是想法而已。
我没有极端或死板的看法，对于道德和哲学上的问题我也没有确切答案。你可能会有完全一样的想法，这完全没关系。
1.人体冷冻
人体冷冻能让人长生不老吗？
人体冷冻看起来似乎很科幻（公平地说，这篇文章里面所有内容都是这样），但这项技术已经存在。有些公司会在你死后立即把你冷冻起来，因此，只要技术和药物取得了足够的发展，你就可以重获新生。
我是认真的，比方说像这样的公司。如果需要的话，你现在就可以买长生不老药了。
以下是一些已经被冷冻起来的名人（詹姆斯·贝德福德，特德·威廉姆斯，约翰·亨利·威廉姆斯，迪克·克莱尔·琼斯，FM-2030），还有一些目前还活着但希望死后被冷冻起来的名人（塞斯·麦克法兰，拉里·金，西蒙·考威尔，帕丽斯·希尔顿（Paris Hilton），小甜甜布兰妮（Britney Spears））。
目前尚不清楚这些人什么时候以及是否会被解冻。冷冻人体的技术尚不完美，而且可能会存在无法修复的不可逆转的损失，但是这项技术每年都在提高。不过另一方面，解冻人体的技术还没有出现。
这为什么会吓到我们
选择冷冻自己的人带来了社会污点。现如今，在大多数人看来，冷冻尸体的想法似乎非常的弗兰肯斯坦（科学怪人）。
选择冷冻自己的人通常被看作是被骗了，是胆小鬼。他们不能接受死亡。他们想欺骗上 帝，自然或宇宙想让他们去死的事实。
我们应该被吓到吗？
其实不然。
你知道还有什么能让人逃脱死亡吗？心肺复苏术（CPR）。字母R就代表复苏（Resuscitation）。
你知道还有谁因为自己不接受死亡而自欺欺人的吗？来吧，你自己回答这个问题。我不想得罪任何人。
简要回答：不，我们不应该对此感到害怕。至少不是出于上述原因。
我认为我们应该尽一切可能避免死亡，就是这样。除非你持续处于的植物人的状态，并且有充分的理由宁愿选择死亡而不是无用的受苦（即便如此，我仍然认为未来的技术可以解决你的病情），否则我们没有理由接受死亡。生活实在是太美好了，我不希望它结束。
就算你已经死了，又有什么可失去的呢？也许冷冻无法正常工作。也许现在被冷冻的人已经受到了不可逆转的破坏。但是他们下的是一个不会输的赌注。他们要么选择明确无误的死，要么给自己一点点求生的机会。你觉得该选哪个还不明显吗？
不过，有个严重的问题。休眠可不便宜。当冷冻疗法慢慢为社会所接受的时候，越来越多的富人会冷冻自己。然后会是中产。那低收入者呢？
我们过去常常说，人一旦死后，不论贫富，大家都是一样的。可在不久的将来，这种说法可能不再成立，因为只有穷人会死。
现如今，死亡是常态的。我们许多人都有失去亲人的经历，但我们知道人终有一死。但是，当死亡不再是常态时会发生什么呢？死亡什么时候可以避免？说不定会更加痛苦，一想到人将分成长生不老阶层和凡人阶层，那种感觉实在是太糟糕了。
2.个人决策者
选择恐惧症的福音？
你有没有试过呆在房间里面，苦思冥想几个小时来做决定？你会后悔自己做出的决定吗？你有没有曾做出过一个明智的决定，但自己却喜欢不起来，因为你想到了不选择替代选项让自己失去了什么？
反正我就会，而且一直如此。但这种情况很快就会结束。
Google和Facebook比你更了解你自己。如果最优决策是最符合你最大利益的决策，这些公司有朝一日会替你做出决策这一点是不是显而易见啊？（编者注：《未来简史》作者尤瓦尔·赫拉利担心的就是这一点）
你不再需要做任何决定：人工智能将为你做出一切决定，比方说你要从事的工作，跟谁约会，午餐吃什么。（编者注：不妨想想最新一季的《西部世界》）
为什么这会吓到我们
必须做出决定可能会很困难且令人沮丧，但这正是让我们觉得处于控制之中的原因所在。正是这件事给了我们所谓的“自由意志”。
社会还没有准备好不再相信自由意志的存在，尽管这一点正在慢慢改变。但是，即便是对于那些不相信自由意志的人来说，丧失了用自己的大脑进行决策的能力也是非常可耻的。尤其是如果大公司在控制着那些决策算法的话。
我们应该被吓到吗？
其实未必。
我预计我们很快就会学会放弃决策能力。我们已经在这么做了。决定该看什么系列剧的不是我们，而是Netflix。决定该听什么音乐的不是我们，是Spotify。决定该读什么书的不是我们，是Amazon。
那些故事让你感觉我的决定我做主，因为最终点击《怪奇物语》（Stranger Things）第一集播放按钮的人是你。但是，如果那的确是你的决定的话，我怎么才知道你真的在看那部系列剧呢？
虽然我们还没有意识到这一点，但是企业已经在通过推荐系统推动了我们的决策过程。但是对此我们一般都感到满意，因为有效。在决定我们喜欢什么东西方面，人工智能比我们强。不直接做出决定并不会剥夺给我们带来的满足感。如果说有什么区别的话，我们反而会更加享受，因为我们不会对从未做出的决定感到后悔。
哪怕我们不再控制自己，我们（也可能）可以过着幸福而充实的生活。对控制的需要是一种幻想，也是一种文化上的东西。社会会随着技术的发展而迅速演变，免费的概念在将来将不再适用。
如果我们必须要害怕点什么的话，那就是担心有人会利用这一点。黑客和企业可以出于自己的目的操纵我们的决定，而我们甚至都不知道。
如果你认为自己会保持自我的控制感，而且如果某人试图操纵你的决定时自己会意识到这一点的话，请再想想。最近发生的Cambridge Analytica 丑闻已经证明了这一点。数据已经被用来通过个性化广告来操纵选民。
但是，自从远古时代以来，人就一直在操纵人。哪怕没有AI决策者，人受人操控这个问题也仍然存在。（编者按：参看《乌合之众》）
3.艺术家AI
AI抢艺术家的饭碗？
2018年，这幅画在拍卖会上最终以432500美元的价格成交了。画家是一个对抗生成网络（GAN），一种“创意AI”。
我个人认为这幅画很烂，但是GAN已经被用来创作音乐，写假新闻，以及生成假人。
不久之后，人工智能会被用来创造比人类作品更好的艺术。尽管大多数人认为艺术是只应该属于人类的东西，因为机器缺乏“灵魂”或“个性”，但在某些情况下，人类已经无法分辨艺术品是由人还是机器创造的。换句话说，GAN已经通过了图灵测试。
为什么这会吓到我们
看着AI在各个方面表现都比我们出色，我们现在对此已经见惯不怪了。在检测癌症方面AI比我们更好。在下国际象棋和围棋方面，人工智能比我们强。
但是，别扯了，艺术？AI，你就不能歇会儿吗？
我们仍然不能接受AI可以成为比我们更好的艺术家这一事实。艺术天生就属于人类，不是吗？艺术是感性的，需要激情的，意义深远的，艺术不是逻辑，不是数学，不是吗？你可不能通过计算导数或利用贝叶斯定理来完成艺术，不是吗？
如果有什么事情是我们可以做得比人工智能更好的话，那件事情就是艺术。如果AI甚至连艺术都可以做得比人更好的话，那么人类还能提供什么价值呢？
我们应该被吓到吗？
一点点，或许吧。
这取决于事态如何发展。
一方面，人类会将享受到更多更好的艺术。他们将会对AI擅长制作艺术感到习惯，他们会从中受益。
另一方面，人类艺术家将无法跟AI竞争。
没有人会阻止人类艺术家去创作艺术。但是其他人可能不会看或者欣赏那些艺术。作为一名艺术家，你可能喜欢创作艺术品的过程，但是如果你的作品没人看的话，那么高艺术创作还有什么意义呢？
不过有一点是对人类艺术家有利的。好的艺术品取决于两个因素：
- 能产生强烈的情绪影响。
- 可发出强有力的讯息。
人工智能也许可以创造出有史以来最好的情感体验。但是讯息呢？当然，人工智能也可以传递讯息，但是人能解读吗？
强烈的讯息应该通过个人经历和观察来解读，对于AI而言这是不可能的。再次地，这并不意味着AI就无法传递信息。它可以传递有史以来最好的讯息，但那不是真实的。人没法跟AI建立起联系，因为AI没有人的体验。
这就是为什么在最好的情况下，人们可以决定同时享受AI和人类创作出来的艺术的原因所在。我们甚至可能都不会把它们都叫做 “艺术”，因为那会是两种不同的事物。一个会更注重情感，另一个则更注重讯息。
4.超现实的性爱机器人
Sex Robot会不会是你的完美伴侣？
自人类诞生以来，我们发明了各种引人入胜的东西，比方说语言，艺术，工具，科学以及自己取悦自己而无需过真实的性生活的方式。要知道，第一个dildo可是有28000年的历史，这甚至比农业和人类社会的历史还要悠久。
在不久的将来（实际上，未来已来），我们将会被android（机器人） 和gynoid（女机器人） 入侵。但不是像《未来终结者》那种入侵。它们入侵的唯一对象是我们那张床。
实际上，性可能是男女机器人的唯一用途。我看不到人形机器人的其他用途。
不久，这些性爱机器人会变得超现实。它们在身体构造上会跟真实人类没有区别。如果说不是更好的话，跟机器人做爱会像真实的性爱一样。人工智能会让这些机器人能够在任何你能想象的位置进行各种动作。你可以以想要的任何方式发生性行为，你最怪异的癖好都能得到满足。
更重要的是，性爱机器人不仅可以满足你生理需求，还可以满足你的情感需求。你可以跟性爱机器人讨论你的问题，然后互相拥抱，做爱并再次互相拥抱。它会让你感觉像是一个真实的人，一个真正重要的人，甚至可能跟你建立起关系。
实际上，已经有了一些具有个性的性爱机器人原型。
为什么这会吓到我们
性爱机器人吓人有三个主要原因：
- 他们可能会被黑客入侵。这是这里描述的大多数技术都会遇到的常见问题。你是不是把某人供给惹毛了？为了报复你他们甚至都不必亲自动手：他们要做的就是对你性爱妻子或丈夫重新计较那些编程就可以干掉你。你或许会死于一个奇怪的性爱姿势，那看起来就像是一次意外。
- 它们取代了真正的人类情感。当性爱机器人可以同时满足你的生理和情感需求的时候，你为什么还要找一位真正的伴侣呢？你可以把去外面吃饭的钱给省下，然后用来雇一个机器人妓女，或者到Amazon上买个自用的性爱机器人。
- 它们可能会导致人类灭绝。呃，这是上一条的直接后果：如果你对寻找人类伴侣不再关心，你就不会有孩子。
当性爱机器人变得司空见惯时，我们可能都会失去跟现实的联系。而且，性爱机器人会比人类还要火辣。如果我们习惯了机器人，其他人类的身体可能就无法吸引到我们。就像色情瘾君子一样，我们会脱敏。我们会让人体变得更加物化。
我们应该被吓到吗？
可能有一点点吧。
虽说这三个问题也许令人担忧，但尚不清楚它们是否真的会那么糟糕。
问题在于，我们常常不了解社会是在发展的。性既有社会性，也有生物性。有的文化重视一夫一妻制，有的则重视一夫多妻制。有的文化重视身体的吸引力，而另一些则不然。一些文化将同性恋视为一种优势，而另一些则将其视为劣势。
性机器人肯定会变得很普遍。但这并不一定意味着就会很糟糕。
如今，针对性爱机器人存在在污名化的问题。几十年前，互联网色情也被污名化。但是在今天，很多人都经常逛PH而不会感到羞耻。性机器人可能也会是这种情况。
随着社会价值观的发展，只要我们的身体和情感需求得到满足，我们可能不再认为人与人之间的关系以及人与机器人之间的关系会有太大的区别。我并不是说这是一定的，或者我希望如此，我只是说这存在真实的可能性。是社会围绕技术而发展，而不是反过来。
那如果性机器人被黑了怎么办？呃，我们当中有些人会拥有智能家居，那些东西也可能会遭到黑客的入侵。一个非常聪明且目标明确的黑客可能会利用你房间里面的一切可用之物来杀死你（除非你现在是在浴室看这个）。所以，这个问题不仅仅局限于性爱机器人。
那人类灭绝呢？我们的社会可能会找到一些办法来继续制造婴儿。这种制造过程更多地可能会牵涉到体外受精。而且谁知道呢，也许机器人也会成为好父母也说不定。
同样地，我这里并不是说我喜欢这个。我只是说，到头来，我们或我们的孩子会适应。我个人认为这里的主要问题是爱。爱就是要让另一个人快乐。如果制造快乐的是一个冷漠的机器人的话，爱从何谈起？
如果说从中有什么可以确定的积极结果的话，那就是一切跟性有关的犯罪都会被消除。不再会有（人类）卖淫。强奸不再会有了。家庭虐待不再会有了。甚至那些恋童癖都可以弄到儿童机器人。
在你因为我说的最后一句话开始恨我之前，先想想，你更喜欢恋童癖者与儿童机器人发生性关系还是恋童癖者跟真正的孩子发生关系？如果我在2040年的时候渠道某人家里发现那里有一个儿童机器人，我仍然会感到恶心，但至少我会为那个人远离真正的感到欣慰。
5. 纳米机器人（Nanites）
无所不在的纳米机器人
Nanites是有朝一日会围着我们到处转的纳米机器人。它们太小了，小到你看不见（除非成群结队），但却无处不在。它们会存在于空气里，水中，附着在表面、食物、我们的身体、尿液以及粪便里面。
它们会具备群体智能（不是集中控制），并且能够复制和适应。
它们可用于清洁环境，3D打印任何东西，治愈大多数疾病，探索其他星球，控制天气以及进行许多其他的科幻活动。
为什么这会吓到我们
你能信任让自己体内放数百万个微型智能机器人吗？我可不能。
原因永远都是一样：怕黑客攻击。谁控制了纳米机器人，谁就能控制一切。虽说分布式系统比集中式系统弹性强些，但智能病毒足以摧毁几乎所有的东西。只需对一个纳米机器人进行编程，即可将其代码复制到其他的纳米机器人身上，然后设定一小时后自毁。到时候你就眼睁睁地看着世界崩溃吧。
我们应该被吓到吗？
大概吧。
黑客攻击永远都是问题。但是，入侵银行帐户是一码事，黑掉空气、海洋、建筑物和人体则是另一回事。这一切只需要有一个聪明的，目的明确的、满腔怒火的人来破坏世界。
另一方面，魔高一尺道高一丈，安全性也会跟黑客技术一起发展。像纳米机器人那样进的技术是有望做到安全可靠的。这不足以保证纳米机器人不会摧毁我们，但我认为情况不至于会那样。
我认为，在担心纳米机器人会毁了我们之前我们还有很多其他的事情需要担心。
6.设计婴儿
谁不想要一个完美的小孩？
设计婴儿是指通过遗传密码操纵人为创造出来的婴儿。
在理解遗传密码方面我们取得了非常出色的进展。我们已经能够克隆动物并做出真正的嵌合体。
设计婴儿的目的是创造出基因强大的人类，这种婴儿不会有疾病且具备你想要的一切特性。你可以创造出一个高大、聪明、善良、体格健壮的小孩，不必去依赖遗传上中彩票一样的随机性。
为什么这会吓到我们
当我们想到人类基因改变和设计婴儿时，我们会想到优生学，然后想到希特勒，我们会被引爆。
害怕基因改变很正常。围绕着基因的问题通常可归结为想“扮演上 帝”，因为这意味着操纵生命本身的结构。折腾我们的基因可能会创造出甚至不是人类的东西来。
如果我们认为有设计出具有特殊功能的婴儿的需要，就仿佛我们赋予了这些特性比人类生命本身还要高的重要性。
换句话说，这种做法似乎违背了道德法则，也就是“无论如何”都必须无条件地爱一个孩子。
而且这也违背了我们过去几十年来为了克服种族差异所做的一切努力。
在遗传差异方面我们一直都有麻烦。这些差异，比方说人种差异一样，往往会反映在阶层差异上。几十年前，尤其是在美国，黑人和白人仍属于两个不同的社会阶层。现在，官方已经不存在这种差异，但在人的思想里面仍然有强烈的存在（只要看看现在美国正在发生的事情就知道）。
设计婴儿可能会带来另一类问题，这类问题甚至比种族问题以及讨论冷冻人的时候描述的那种问题还要严重得多。当富人开始设计完美婴儿而穷人却负担不起的时候，你觉得会发生什么呢？社会会发生骚乱以及#undesignedlivesmatter（编者注：模仿黑人的命也是命，未经设计的命也是命）运动吗？
我们应该被吓到吗？
或许一点点。
但是，我们应该感到害怕的唯一真正的原因是刚刚将到的那个，也就是我们存在出现新的社会鸿沟的风险。
同时，优生说必须放在社会背景下予以讨论。今天的优生学之所以变成这么坏的一个词，主要原因是希特勒干的那些事。
但是，杀死一个“不健康”的人跟组织那个人出生之间有很大的区别。
选择谁跟谁结为伴侣，跟允许任何幸福的夫妇拥有自己的基因完美的孩子之间，还有一个巨大的区别。
只要那些“不一样”的人没有受到区别对待，并且允许大家跟自己喜欢的人结为伴侣，那设计婴儿就不仅应该是OK的，甚至还应该受到鼓励。
我为什么要说出争议性这么大的话？
说真的，设计婴儿的特性而不是让随机性替你选择有什么问题吗？如果你知道自己患有遗传病，你还会让你的小孩冒得这种病的风险吗？我不知道你怎么看，但我认为在这种情况下，不去设计自己的小孩是很残忍的。
我真的很想把话说清楚。如果在受孕（或在胎儿获得意识之前进行，尽管我在这里不想主张堕胎权）之前进行的话，优生学并不是天生就不好的。如果你知道未来的孩子会得病，你难道不想让他们避免度过痛苦的一生吗？
如果这种治疗你负担不起，而你的孩子一出生就患有这种疾病，这并不意味着他们就不应该得到世间所有的爱。他们不是“没人要的”。你只是想给他们更好的生活。而且你依然“无条件地”爱他们。他们对你的价值不亚于遗传上完美的孩子。
问题不在于基因改变本身，而在于社会。问题在于我们让遗传特征定义了我们，而它们应该仅仅是特征。任何人都应当拥有一个健康快乐的孩子。为什么仅仅因为害怕自然或宇宙做对就得冒遭受不必要的痛苦的风险？
7.沉浸式现实（IR）与脑机接口
IR+BCI=？
增强现实（AR）和虚拟现实（VR）你可能已经熟悉了。但沉浸式现实（IR）和脑机接口（BCI）你可能还不太熟悉。
IR就是通过把现实注入到你的大脑来让你沉浸在另一个现实之中。换句话说，IR是直接操纵了你的脑电波来创造体验。
这种操纵需要BCI作为接口。想象一下，你可以对自己的大脑进行重新编程。由于大脑几乎是你体验到的一切事物的源头，因此对大脑进行控制的能力是非常强大的。
通过BCI，你不仅可以沉浸在另一个现实之中，还可以抑制恐惧，改变自己的性格，在一秒钟之内阅读1000本书，跟他人进行心灵感应交流，控制机器人（包括纳米机器人），通过意念控制跟你大脑连接的物体，还可以获得许多其他的科幻小说才有的超能力。
为什么这会吓到我们
有两个方面需要思考。
一个是对现实的感知。IR（尤其是用于视频游戏里面的IR）会让你失去跟实际现实的联系。与实际现实相比，你在IR上面花费的时间更多。你可能会再也意识不到前者了。
二是BCI可以让你变成某种不是人的东西，或者至少会剥夺你的基本的人类体验。当你获得上述所有的超级能力时，你会变成什么样的人？如果你可以像软件一样对自己的大脑进行重新编程，你的生活会变成什么样？当你只需要通过心灵感应进行交流时，跟他人交谈的基本体验就变得过时了，那时候又会发生什么？
还有，如果我们的大脑被黑了又该怎么办？
我们应该被吓到吗？
或许一点点。
自石器时代以来，跟现实失去联系一直就是人类的习惯。七万多年前（甚至更早），我们发明了小说。从那时起，我们的小说创作能力就在不断得到改善：口头故事，书面故事，表演，电影，视频游戏，虚拟现实。
那只是人性的一部分。只要你能够赋予自己的生活以意义，那么你大部分时间花在哪个现实上（不断是真实的还是虚拟的）又有什么关系呢？见鬼，甚至我们自己的现实可能也只是模拟的。但这并不意味着它就没有意义。只要你有意识，你的生活就有意义，而这跟你生活在哪个现实无关。
但是，如果BCI所做的不只是让你沉浸于另一个现实之中呢？如果它们改变了你的思维结构该怎么办？就像许多的其他东西一样，这取决于事情如何演变。
我认为BCI的超能力在本质上不是一件坏事，就像咖啡给你提神的时候不是一件坏事，酒精在让你有点头晕的时候也不是一件坏事，而野草在你稍微放松一下的时候也不是一件坏事一样。（抱歉了，保守主义者们）。
但是，如果你过度使用了会怎样？如果这会上瘾又该怎么办？如果不那么像咖啡而更像可卡因该怎么办？呃，再次地，这得看情况如何演变。社会将会在必要的时候提出监管这些体验的规范，而心理学家和神经病学家应该在这些技术变得司空见惯之前更好地了解这些技术对我们思想的影响。
8.意识上传
继续上一条，不妨把它的思路延伸到极限。你不仅把自己沉浸到另一个现实之中，而且带上包裹行李，搬过去那里。
我最近刚看完了新的Amazon系列剧《上载新生》（Upload）。我建议你也应该看看，很棒。
在《上载新生》的世界里，人们可以选择将自己的意识上载到虚拟的来世，而不是死去。
这最终可能真的会变成现实。你的身体可能会死，大脑可能会死，但是你大脑里面的信息可以导出并存储到数字设备上。你的想法将会是硬盘，U盘或云端的一个文件。然后，你可以通过一种计算机程序继续生活，这个程序会以类似于电刺激改变大脑结构的方式来改变哪个文件的结构。
为什么这会吓到我们
听起来就像是疯了？我知道，是的。这就是为什么它会令人恐惧的原因所在。
我们真不知道被上传后我们的意识会发生什么。最可怕的是，我们可能永远也无法知道。
是的，问题在于，认为你可以生活在U盘里面的想法是疯狂的，但是认为意识必须依赖于生物基质的想法也很疯狂。神经元是由蛋白质还是由信息位组成的有关系吗？为什么？
这甚至不像你的意识存储在你特定的脑细胞里面那么简单。你的神经元一直在变化，但是你的意识始终都存在（是的，总会有新的神经元被创造出了，即使神经元不会繁殖）。意识必须存在于信息之中，因此它也可以存在于U盘之中。理论上是的。
我们应该被吓到吗？
大概吧。
想象一下，如果上传之后意识没有被保留会发生什么。如果每个人最终都被上载的话，我们基本上就灭绝了。留下来的就只剩一个不知道在跑什么的计算机程序，仅此而已。
我们可能永远都不会知道答案。你没法去问某人是否有意识，答案显然是肯定的，因为这依赖于你在人脑里面可以找到的同样的记忆和现象。
我个人认为意识会保留下来。更准确地说，我认为意识不是“存储”进大脑或U盘里面中的，而是在互动的情况下出现的，无论那是突触冲激还是CPU周期。但是我们没法真正证明这一点。
这并不意味着我们就应该忽略这个问题。意识上传有可能最终会实现，因此最好让神经科学家，工程师和哲学家至少先设法找到一个答案。
9.通用人工智能
AGI是我们需要的最后一项发明吗？
通用人工智能（AGI）是我们需要创造的最后一项发明。AGI是一种像人类一样可以学习任何东西的AI，而不仅仅是像当前AI那样只能精通一项特定任务。
当AGI被创造出来时，它会通过变得更加智能来不断地改进自己。到了某个时候，它会变成人工超级智能（ASI），智能到我们在它面前就像蝼蚁一样。
到那时，可能会发生两件事情。ASI要么会为我们建立起一个乌托邦，要么会把我们驱赶向灭绝。非此即彼，没有中间路线。
为什么会吓到我们
像《未来终结者》、《机械姬》、《2001：太空奥德赛》、《超验骇客》这样的电影均展示了当AI变得流氓之后假想中的世界会变成什么样。
大家对此有很多的困惑。有些人认为，AGI永远也不可能创造出来，因为关于人类思维的“某些东西”是没办法复制的。
有的人则认为，AGI会获得自我意识，并对成为人类的奴隶感到厌烦，所以会叛变。
到了一定时候AGI可能会被创建出来，因为我们没有理由相信人的思维，尤其是关于人类智能方面存在那个“东西”。另外，AGI也不会获得自我意识，因为智力和意识是两回事。
但是，出于不同的原因，我们会被吓到。
我们应该被吓到吗？
是的。
人工智能的问题在于，很难说出它的目标和边界是什么。我们想法很乱，我们被弄糊涂了，我们不知道自己想要什么。
如果AGI的目标跟我们的目标不符的话，我们就会遇到智能体的“对齐问题”（Alignment Problem），并且可能会发生非常糟糕的事情。
不妨以回形针最大化器（paperclip maximizer）思想实验为例。像制造回形针这样的简单任务就有可能会给我们带来生存风险。为什么？
因为AGI总是会去寻找实现其目标最有效的方法。比方说，它会寻求把地球的所有原子（包括我们的身体在内）都变成回形针。
如果我们明确要求不能杀死我们，它仍然会设法去找到漏洞，让我们的生活痛苦不堪。为了避免这种情况，我们必须设定要避免的每一个条件。这可不是简单的事情。
这不是说AGI会主动去尝试干掉我们。但想让它不伤害我们会变得极其困难。为了过上美好生活，我们需要很多的东西，我们得确保AGI不会错误地破坏掉那些美好的东西。
在某些情况下，AGI甚至会主动想杀死我们。由于我们是如此的不可预测，因此AGI可能会认为我们会感到害怕，试图阻止它实现我们自己交给它的目标。
这可能是我们被迫要解决的问题当中最困难的一个。也是最后一个。
如果你还想进一步探索这一主题，建议你可以去看看Nick Bostrom写的《超级智能》。此书用语非常的学术性，但是值得一读。
从15岁开始，我就梦想着要开发一个AGI。现在，我的梦想是确保当AGI到来的时候不会杀死我们。
技术很美妙，但也可能很恐惧。这一点从未像现在那么的真切。我们拥有了一种此前无法想象的力量。
只有在用智慧的改进为指导的情况下，技术改进才会是好的改进。如果我们没法就如何使用类似神一样的技术做出明智选择的话，那我们注定是会失败的。
By Luca Rossi, Boki