对于技术奇点的许多悲观讨论集中在人工智能威胁论上。
人们是否能够制造出超越自身的事物呢？按照自然法则，如果此类事物出现，它必然会在生存位上对人类产生影响。 李开复在《人工智能》提到了强人工智能和超人工智能的概念。强人工智能又称通用人工智能（Artificial General Intelligence）或完全人工智能（Full AI），指的是可以胜任人类所有工作的人工智能。一般认为，一个可以称得上强人工智能的程序，大概需要具备以下几方面的能力：
基于上面几种能力的描述，我们大概可以想象，一个具备强人工智能的计算机程序会表现出什么样的行为特征。一旦实现了符合这一描述的强人工智能，那我们可以肯定地说，所有人类工作都可以由人工智能来取代。人届时不需劳作，成为了“多余”的那一部分。假设计算机程序通过不断发展，可以比世界上最聪明、最有天赋的人类还聪明，那么，由此产生的人工智能系统就可以被称为超人工智能。
未来学家尼克·波斯特洛姆（Nick Bostrom）将超人工智能定义为“在科学创造力、智慧和社交能力等每一方面都比最强的人类大脑聪明很多的智能”。显然，对今天的人来说，我们不知道强于人类的技术形式是什么样子，不能都清晰界定。
一种更有可能出现的情况是：特定的科技如人工智能，在一定时间的加速发展后，会遇到某些难以逾越的技术瓶颈。许多人，包括提出摩尔定律的高登·摩尔本人，都认为技术发展会显著变缓。（高呼“摩尔定律已经失效！”）他在2013年说道：“我猜我可以看见摩尔定律会在大约10年内失效，但这并不是一件令人吃惊的事。”计算机芯片的处理速度，曾在1975年到2012年的数十年间保持稳定的增长趋势，却在2013年前后显著放缓可以印证这个说法。
然而单个技术的短暂受挫不能代表整个技术的发展规律，单个计算机芯片处理速度不能代表整个AI行业的发展。毕竟“我们看的不是某一棵树，而是树本身这种事物”。在可以预见的未来中，人工智能一定会因为其优秀的管理能力而被引入到政府管理之中。从一个角度来看，人类或多或少地会受到AI的统治。部分人会讨论“结果”问题——即AI是否有能力担任规划者、管理者，纵使它有着出色的精确度、公平性；另一部分人则会讨论AI管理人类的正当性，并且担心机器是否会代替人类成为主体，人慢慢的边缘化。日本作家长谷敏思在《没有心跳的少女》（《Beatless》啊，这个番，我觉得还挺好看的）中描述过这种机器管理人类场景，他指出这样必将导致社会的不稳定，人类没有那么“大度”会让机器管理自己。
在第一部分的永生的例子之中，倘若人类把自己线上世界（即第一部分中所提到的为电子永生所构建的网络镜像世界）交给人工智能监管，由于人工智能在网络上几乎是全能而且无敌的，恐怕最后我们的线上世界会被人工智能所轻易统治，甚至倾覆，甚至当做一个病毒所清除也有可能（比如《玻璃之花与崩坏的世界》之中的世界观设定）。如果由人来管理的话，具有实体的人与虚拟的人哪一个具有更高的地位？显然他们的地位势必影响到资源的分配——对于实体人而言，资源是食物、水以及一系列可以维持生命正常运行的事物，而对于虚拟人而言，则仅仅需要电力便可以维系。届时，虚拟人由于没有有效的手段影响到现实生活中人的生活，必然会受到实实在在的人的摆布；于是大家一拥而上想要得到肉体的克隆永生，新的争端甚至战争冲突就会由此而起。
对于线上世界的秩序而言，我认为不引入人工智能监管，无疑是混乱的；而引入人工智能监管，又会涉及到之前所提到的AI统治人类虚拟世界的问题。最有可能的情况是线上人类引用部分非人工智能进行规则的制定，线下人类起到一个监督的作用。
还需要考虑到的一点是，“生命”与“人”届时该如何定义？倘若储存在计算机中的意识算生命的话，人工智能是否也算生命并给予与人相同对待？
恩格斯当初定义生命的时候在一定程度上解释了生命的物质基础，即蛋白体。而未来除了肉体上永生的人类，其他的人类以数据的形式永生，他们这一部分“人类”并没有类似于蛋白体一般的物质基础。从宏观上来讲，这些“人类”只是能够对外界产生反应的一个信号。意识变得能够被复制、储存、调用。虚拟的世界中，个体与个体之间将毫无隐私可言。如果将他们定义为生命的话，人工智能、AI显然也可以满足此类定义。显然人类不会与它们共享自己的世界，并且人工智能为人类所利用。如果将线上“人类”与人工智能平权，都定义为具有相同形式的生命体的话，那么其中必然存在剥削关系，人工智能的反抗只是时间问题。
5 技术奇点下的社会新秩序
回到永生技术与人性本身，刘慈欣指出人类的贪婪、自私必会使人类抛弃伦理的束缚，打破社会的规则，前往永生的大门。如同现在一样，极少部分人会最先尝到技术的红利。没有尝到红利的，“遵守”了规则的人会感到不公平；并不是他们不想加入，而是他们没有能力加入，这种能力体现在财富之上。这么一来，社会矛盾必将受到激化。如果代表大部分人的国家认可了这种永生行为，那么就会在社会上掀起一番唯资本论的浪潮。就算国家不认可，永生的尝试依旧会进行，社会表面波澜不惊，但暗流逐渐涌动，并且会积累一定程度后迎来爆发。可能是暴动，也可能是颠覆，终究会是仇富心理所引导的复仇。
在技术发展到一定程度后，到了个体或者小团体就能掌握某项攻击性技术时候（已经在前面讨论过是在技术奇点临近时极其有可能发生的），基于上一段的讨论，更严重的冲突随时可能发生。世界会无时无刻不在博弈。这种博弈只可能是零和博弈或者双输，不会存在双赢的可能性。主要掌握了技术的团体或个人相互掣肘，权力中心分散化，政府将不再起到威慑与整合的作用。
不妨设想一个人掌握了在俄罗斯的一枚核弹头（小说里经常出现），他要求俄罗斯政府给他事物、金钱、权力等事物；在这种情况下，政府大概率会尝试去击毙这名恐怖分子。但倘若有十个这样的人，政府的力量可能就难以应付。在技术爆发期的条件下，可能会出现一百个这样的人，这时，政府就难以匹敌这些恐怖分子，无法履行保护自己的国民这样一个基本的要求了。这种状况下的后果大多会是毁灭性的，因为无法控制每个人都不按下毁灭世界的按钮。在几个人拥有毁灭武器的状况下，风险是可控的，他们只要达成某种协议来控制平衡，而当手握毁灭性武器的人数足够多以至于组成群体时，就要用群体的观点来分析他们。在关于群体的观点中，我觉得勒庞（Gustave Le Bon）的观点值得考虑（虽然他说的大部分话充满偏见且缺乏证据，但是关于群体特性的一些点他还是比较精髓，而且不一定完全合理）。他认为在群体中会产生集体心理，这些心理通过彼此情绪的感染使得人失去理性思考的能力，并出现盲从行为。这些技术的独裁者我认为可以用该观点进行描述，并且关于政府无法控制技术奇点的悲观预测也源于此。他们届时不再理性，所以毁灭性的打击只是时间问题。
那么政府有什么对策呢？要杀死一个怪物，最好在它还在襁褓之时消灭掉它。政府也可以掌握技术来防止民众接触到具有风险的先进技术，并且通过大数据和超级AI进行民众的宏观和微观管理。
By 啊啊啊啊阿鲁巴