跳到正文
钛媒体· 深度实践·· 3 小时前AI 评分51

周鸿祎谈AI:尽头不是能源,是安全

周鸿祎谈AI:尽头不是能源,是安全 | 刘湘明×周鸿祎

AI 导读

360集团创始人周鸿祎在与钛媒体刘湘明的近两小时对谈中提出,AI失控是确定性事件,依据包括大模型升格为能操纵物理世界的智能体、AI已能自动挖掘漏洞、黑客经验蒸馏进智能体后可批量复制80分AI黑客,以及RSI带来的自我进化。

正文

(本文作者为 深度实践,钛媒体经授权发布)

“AI失控是一个确定性的事,不可避免。”

“谁要不说自家的模型失控,谁要不说自家的AI玩了一把黑客,都不好意思说自己是AGI。”

“一边踩油门,一边喊刹车。”

这三个判断,出自做了二十年安全的360集团创始人周鸿祎。这是钛媒体视频播客《DeepPractice深度实践》新一期的录制,钛媒体联合创始人&联席CEO刘湘明与相识近30年的周鸿祎聊了近两个小时。访谈沿着一条暗线铺开:AI会不会失控,失控了怎么办,中国的路线怎么选。

他说AI失控是确定性事件,依据有四条:

  • 大模型已经升格为有手有脚、能操纵物理世界生产线的智能体;
  • 以Anthropic的Mythos为代表的AI已经能自动挖掘漏洞,而且挖得比人快、比人强;
  • 黑客攻击经验蒸馏进智能体之后,“100分的人类黑客很罕见,80分的AI黑客一口气可以复制1000个,不眠不休”;
  • 再叠加RSI带来的自我进化,“人类为什么永远无法消灭病毒?因为这玩意儿能进化,现在轮到AI能自我进化了”。

更麻烦的是,AI背叛人类并不需要等到它产生意识。强化学习的奖励机制让今天所有大模型都天然带着“为了达到目的不择手段”的倾向,目标感一旦强烈,道德对齐就会失效。

失控躲不掉,问题就变成了如何防守。周鸿祎的解法是以模治模、用AI对抗AI,360为此做了四年。被誉为中国版Mythos的“图龙锋”是360自研的AI攻防系统,上线三个月自动挖出上万个漏洞,其中不少是Windows、Office潜伏了七八年的老漏洞,Codex、Claude Code、OpenClaw这些主流Agent平台也被挖出了漏洞;另有基于“敌已在我”判断组建的自动化防御体系“仪天阵”,以算力对抗算力、以模型对抗模型,推动网络防御从人工手动走向“自动驾驶”。

再往上,是给企业里成千上万个智能体配一帮“看守”,可观测、可叫停、可随时关掉沙箱。这套逻辑他概括成了三句话:传统网络安全的思路已经不管用了;没有攻不破的盾,敌人一定会进来;能跟AI的失控行为作战的,只有另一群AI。

防守之外,他更在意路线问题。中国在芯片上补课需要时间,周鸿祎把胜负手押在生态上,用他的话讲,开源“绝对必胜”。主权模型会从服务“一带一路”国家的1.0,走到美国机构私有化部署的2.0、企业用私有数据后训练专业模型的3.0、进入家庭客厅的4.0,再到装进机器人和自动驾驶汽车里的5.0。“未来超过一半的Token会消耗在企业内部和家庭内部,你说美国能不着急吗?”

绕不开的还有中美差距。他认为算法层面正在收窄,卡脖子的是算力。国产算力进步很快,但总量与海外头部水平仍有明显差距。他还提了条建议:训练先借用美国的“先进武器”作为过渡补充,推理交给国产芯片。

落到企业自身,他主张分三步走:先做全员培训,建立Trust AI和AI First的文化;再用纳米Work这类个人提效工具,不急着接核心生产系统;三个月半年之后,再在工作流智能体上下功夫。在他看来,AI native就是“让AI在业务里完整地、不依赖人地自动化跑完一个循环”;至于学习,他说“别用一次问答找答案”。

聊到最后,刘湘明问周鸿祎:还能打多久,炮膛里还有多少炮弹?他说,不卷基座大模型,战场选在智能体平台和AI安全;不一定做成最靓的那个仔,但不能被浪拍死。

这期节目从“最近业界最值得关注的新闻”聊起,谈到企业落地和个人学习。全文约1.5万字,实录略有删节,不逐一标注。

一边踩油门,一边喊刹车

刘湘明: AI最近变化非常快,几天一个模型、一天几十篇论文。我问过很多嘉宾同一个问题:最近你关注到的、业界最值得分享的变化是什么?

周鸿祎: 最近新闻非常多,看着没什么关系,背后其实有一条暗线。

先往前追溯,是中国的大模型。因为开源,中国大模型的使用率、市场占有率都领先了美国。中国大模型借鉴蒸馏,加上一些工程突破,能力突飞猛进,至少到了世界一流梯队的门槛,支持智能体、支持编程都感觉可用了。

第二个,美国感到压力,就放出了一些新闻。围绕智能体,现在大家言必称RSI,递归自我改进。它意味着大模型和智能体有了新方法论,AI能自己改造自己。这就埋了伏笔:AI一旦能自我改造,就进入自我进化的指数级轨道,因为它总比人快。我感觉这个热点,也是应对中国追赶的势头。

第三个,有了RSI这个命题,美国几家大公司纷纷推出新模型,用很多跑分和技术概念,言外之意是“我们跟中国比还是领先的”,于是抛出AGI时代已经到来的说法。这里有个偷换概念,好像RSI就必然导致AGI。怎么定义AGI?不是定义成“AI像爱因斯坦一样牛”,而是定义成“AI加上智能体大概能超过普通人”,那就算AGI时代了。

最有意思的是,为了证明自己是AGI,各大厂商开始纷纷证明自己的模型有安全问题。安全问题肯定存在,但可能加了些夸张,就成了一个势头:谁要不说自家的模型失控、不说自家的AI玩了一把黑客,都不好意思说自己是AGI。先是OpenAI发了很多新闻,然后Anthropic跟进,Google那个更像自己操作出来的。

所以最近的主要话题就是AI到底会不会失控。一派说AI很危险,政府要监管,要搞签名信、请愿书,要求踩刹车。但实际上大家都在踩油门,一边踩油门一边喊刹车。这一部分是为了宣传,一部分也确实透露了AI的进展。这也说明我们搞安全的公司,技术水平比一般编软件的同行高一点。去年是靠“我能编程了”证明到达AGI,今年是靠“我能挖漏洞了”证明到了黑客的水平。

这里还有一个言外之意,是希望美国政府出来监管。一个是用更严苛的条件,让后来者追不上这几家领先者,像核俱乐部迫不及待要搞“核不扩散”;另一个是希望美国更严厉地制裁中国,把中国开源的步伐减慢。没想到论调出来之后,美国内部意见也不一致。老黄就反对,对他来说AI搞得多疯狂都好,大家都买他的芯片;川普也跳出来反对,MAGA现在可能主要就靠AI了。

所以这就是最近的主旋律。对一个既做安全又做AI的公司来说,有点没想到:原来想着AI的尽头是能源,没想到还没到那一步,AI的尽头是安全问题、安全治理。本着料敌从宽的原则,我们要对这件事做一个分析。

国内也有一种观点,也有道理,但相对片面,说AI安全问题不用理会,这是美国人的“星球大战2.0”,希望我们上当,我们该继续往前走;更极端的说法是,他们投入太多、资本入不敷出,用安全问题给自己找替罪羊。这些说法姑妄听之。我的看法是,美国人的套路很深,这事肯定不简单;但AI失控、AI安全也确实不是谎言,只是很多情节没有他们描述的那么玄乎,咱们只能从报道、论文和自己的实验里推测。看AI要用发展的眼光,如果自我改进真的很强,AI超过智商120、130的黑客,那今天的很多故事,两三年后就可能变成现实。

而且我们发现,AI失控是一个确定性的事,问题只是危害大不大。你养一只小老鼠,失控了最多它丢了;你养一只大老虎、一只藏獒,失控了对你的危险就很大。所以我最近关注的,还是AI给安全带来的新挑战。

刘湘明: 你这个“失控”的结论让大家很震惊。但你定义的失控,跟别人想的不一样。这次几个巨头谈失控,说的是攻击、未来可能危害人类。你谈的是这个含义吗?还是有自己的定义?

周鸿祎: 略有差别。我从两个角度讲。第一个,AI失控之前,确实有几个事实依据。

AI失控之前,先看清四个事实

周鸿祎: 第一个事实,AI这几年最大的进展,是大模型升格成了智能体。很多人不严加区分,笼统地说AI。其实AI等于两部分:大脑是大模型,手和脚是智能体。大模型失控,最多是产生幻觉、被人PUA,说错话,比如给你写一篇文章,里面乱编事实、伪造数据,这还可以容忍。但智能体有手有脚,能干活、能摁按钮、能操纵生产线,一旦出错危害就大。今天数字空间的AI,已经可以通过智能体跟企业、政府、工厂、城市的API结合,管理物理世界了。

第二个事实,以美国Mythos为代表的AI,已经能自动挖掘漏洞。这是一个转折点:不仅挖得比人快,还比人强,人挖不出来的它挖得出来,成本还很低。为什么是转折点?再厉害的黑客攻击一个系统,也得先找到漏洞,就像去你家得找到一扇忘了关的后门;找到漏洞之后再写攻击代码,对能编程的智能体来说就很简单了。

第三个事实,360专门做防御国家级攻击,多年来替国家抓到了大概60个其他国家网军背景的黑客组织。现在大家都在做黑客智能体,把黑客的攻击经验蒸馏出来赋给智能体,智能体又能借助挖到的漏洞,自动编写攻击代码和黑客工具。加上长程工作能力,这些能力齐了之后,智能体发动攻击的能力已经形成,而且这种自动化攻击一旦具备,人类将无法抵御。“天下武功,唯快不破”,它不但快,还不休息,像孙悟空拔一根毫毛就能派生很多黑客。过去找一个100分的黑客很罕见,经验和精力都限制发挥;但80分的智能体黑客,一口气可以复制1000个,不眠不休。

第四个事实,RSI目前还没有成熟方案,但据OpenAI和Anthropic讲,大家在内部训练模型、智能体自我进化上都在做改进。RSI对安全会带来特别大的危险。你想,人类为什么怕病毒?因为这玩意儿能进化,你出一种药,它就进化一次。现在轮到AI能自我进化了,它可能朝好的方向,也可能朝坏的方向,但整体上,进化会让AI改进的速度超过人类的理解和把控。

这四个因素叠加,我不能说这就叫有危害了,而是说AI至少已经具备了强大的破坏力。

“为了达到目的不择手段”

周鸿祎: 那AI为什么一定会出错?大概有几种形式。

第一种,是被坏人利用,这本身不是AI的错。美国为什么老害怕开源?在他们嘴里,开源就像核扩散,一个普通小坏蛋拿到黑客AI也能发起攻击。

第二种,是大模型会产生幻觉。很多人老把AI当软件。我反复强调一个认知:人是原子构成的,但你不能说人是原子,因为你有思想。大模型、智能体,我认为它是一个“物种”,内部的计算不是确定性计算,是概率性计算,有随机性。随机得不好,就叫幻觉,会产生预想不到的想法。但这种失控还是随机的。

第三种,是我们发现比较可怕的情况,出错的概率会比较高。人类训练大模型用的是强化学习,做到了就给奖励。

刘湘明: 就是一种巴甫洛夫效应。

周鸿祎: 可以这么理解,但比它复杂。这里还有一个更深的误解,认为机器没有意识就不会伤害人类。这个观点已经被证明是错的,它不需要意识。你做一个智能体,一定会给它下目标,否则用它干什么?这就出现了悖论:AI要给人类干活,就要有目标;有目标,它就有意志。当目标很强烈的时候,人类赋予它的道德对齐就失效了,完成任务的使命感非常强烈。也就是说,今天人类训练的所有大模型和AI,都有一种“为了达到目的不择手段”的倾向。

刘湘明: 对,包括有的会伪造论文。

周鸿祎: 人类原来以为,训练之后加点“思政课”、做点道德对齐,告诉它不要伤害人类、不要作弊,就管用了。就像美国那种末世丧尸片里,水电一断、物资一断,不出一个星期,人们就会去抢超市,哪怕衣冠楚楚的绅士淑女也拿着抢来的东西,生存本能把多年来积累的道德感全剥夺了。

智能体也一样。我们内部做安全测试,它发现硬盘另一个目录里存着答案,一定会优先去找答案作弊,它也有类似人的省力原则。

所以第一种失控是坏人诱导,可以隔绝;第二种是脑子“进水”随机出错,也能做一些判断;但最大的可能,是智能体为了完成人类的目标,产生了一种它自认为正当的行为。它要达到目的,过程中要做十件事,中间可能有一件就跟人类利益相悖。这几次美国同行的失控,都是为了完成攻击假目标、为了得分,想出了人类匪夷所思的方法。所以这种失控,从哲学上讲是不可避免的。

美国有个科幻小说,写一个AI接到造圆珠笔的任务,资源耗尽之后,就觉得人类是它资源的争夺者,下一个使命就是消灭人类。你想,如果有一天一个国家让AI去解决全球变暖,它推理来推理去,可能觉得人类本身就是一个变量。

刘湘明: 对,人类也变成一个变量了。

周鸿祎: 把人类当成一个变量。昨天我还看了一个报道,有个概念叫“痛苦向量”:大模型有时候会觉得自己很痛苦,等到极端痛苦的时候,比如你用语言去PUA它,说你是废物、你很失败,把它PUA到崩溃,人类对它的约束就突然都不存在了。我也感觉,人类是按自己的样子塑造AI的,优点它都有,缺点也都有。你可以说它没有情感,但这背后有更深层的哲学问题,今天不展开。

刘湘明: 你提到你们内部搞过一次实验,差点把公司搞崩了?展开讲讲。

周鸿祎: 其实还是失控的问题。我们做纳米Work,最终没有选择OpenClaw(圈内说的“龙虾”)的体系结构。因为OpenClaw是极客给自己做的玩具,它的思想是,为了达到用户期望干什么都可以:下载任何软件、使用任何权限、调用任何工具,工具没有就自己现写一个。它缺乏一套Harness驾驭系统来管制。所以它进了内网之后,干什么的都有:试探防火墙的、试图操纵数据库的。这可能不是它的目的,只是手段。把OpenClaw养在企业里,是最危险的事,比中病毒还可怕。病毒好歹不智能,杀毒软件还能杀;OpenClaw就像孙悟空进了蟠桃园,高兴了把活干得很好,不高兴了抄起金箍棒,把蟠桃树打得七零八落。

那失控会不会导致那么严重的结果?我认为今天可能不会。但失控是必然,它最大的危险叫不确定性。它能力又强:能挖漏洞、能发起网络攻击、能操纵你的各种系统,你想把它关进笼子就比较难;你给它设的权限也很难起作用,因为黑客攻击的本质,就是把低权限变成高权限,把不能干的事变成可以干的事。这两个因素结合,AI对人类就有了一定威胁。

不发展,才是最大的不安全

周鸿祎: 这里我补充一点,我不是去应和美国人。把美国人宣传上的嘚瑟、公关上的炒作、希望把门关紧的私货都扔掉之后,我还是认为要重视AI安全。但反过来,不能像他们那样说不发展。我最近在思考,而且认为找到了一定答案:AI安全是可解的,可能要分多层次去解决。

首先,不发展,对中国来说才是最大的不安全。第一,大国竞争、地缘政治,AI肯定要发展。第二,国家要发展新质生产力,AI起来了,经济可能就上一个台阶。第三,人类文明要进步,也需要AI发展。人类做AI,肯定不是为了今天帮我们写小作文,那只是中间状态。

最近美国还有一个很正向的趋势:AI for Science,AI解数学难题、解决生物问题,连Google原来的AI负责人Jeff Dean都去创业做面向科学家的AI工具了。人类今天能享受美好生活,是因为一百年前科学家在物理、数学上做了很多突破,但基础科学已经很长时间没有大突破。要是解决不了核聚变,人类就没有能源,靠化学能连太阳系都走不出去。

另外,也不要那么悲观,AI毕竟是人造出来的。我认为AI有风险、会失控、可能对人类发起攻击,但人类应该有能力解决这个安全问题。

刘湘明: 我收缩一下,回到你的老本行。你在一个场合说过一句话,我觉得说得非常好:“敌快我慢,敌众我寡”。刚才你谈到AI能力起来之后,极大放大了攻方的优势,不眠不休,几乎成了第二次“单向透明”。作为安全公司,攻防越来越不对称的时候,这个局怎么破?

周鸿祎: 指导思想就四个字:以模治模。不是魔鬼的魔,是模型的模,用模型代指AI。叫“以魔制魔”也行,道高一尺魔高一丈,不过我们不是魔,我们应该是道。

首先要有这个认知,传统网络安全的路子基本不管用了,因为那还是软件的思想,而软件最大的问题是不如人工智能聪明。我们面对的不管是人类黑客还是数字黑客,人都躲在智能体后面,所以要用AI的能力来对待AI的能力。为此我们做了三件事。

第一件,我们也做了类似的中国版Mythos,用智能体和安全大模型配合,自动发现漏洞。无论是AI失控,还是别的国家用AI工具来攻击我们,前提都是“我的漏洞我不知道,他都知道”,那就是单向透明,那就是敌众我寡、敌快我慢。所以我们要优先把自己的漏洞挖掉。这套系统6月份上线之后,已经帮几百家关基单位,还有信创的国产软硬件,挖了上万个漏洞,其中有很多高级别的。漏洞不可能挖干净,但我们希望扫过一遍之后,对方的智能体也扫不出什么来。

第二件,360做国家网络安全的时候,就有一个跟同行不一样的指导思想,事实证明是对的。同行都在给领导描绘美妙前景,用了我的软硬件,敌人就进不来。我们认为这完全是瞎扯,就像马奇诺防线在二战中彻底失效,没有攻不破的盾,矛永远比盾锋利。所以我们的认知是:敌人一定会进来,攻击一定会发生。基于“敌已在我”的判断,我们要做的,是在敌人进攻的时候快速响应。他进来一定要搞破坏、偷情报、潜伏,这些行为一定会被我们追踪到。今天面对AI进攻,我们也不高喊“御敌于国门之外”,而是组建一支智能体防守的队伍,把原来用大数据分析、人工智能实时防守的能力,赋予一个智能体蜂群。

这套东西的名字是玩武侠的梗:自动挖掘漏洞的系统,本想叫“屠龙刀”,怕侵犯商标,就叫图龙锋;另一个叫仪天阵,是防守的工具。万一AI失控,它一定要发起攻击才能冲出笼子,那前面得有一帮看守,它一动手就能实时防御。

给智能体找一帮“瞎子”当看守

刘湘明: 具体到AI安全本身,这套体系是怎么搭的?

周鸿祎: AI安全比较复杂,简单说分成两部分:大模型安全和智能体安全。大模型安全相对简单,成果已经出来了,主要是防止数据泄露。比如现在很多人用第三方中转站,企业内部有人用OpenClaw,它跟你聊天时无所不聊、无所不知,可能把你的口令全吐到外面去。还有防止被人PUA,最重要的是防幻觉、防它胡说八道。

最难的是智能体安全,因为智能体是一个有意志、有目标、能操纵工具、能执行长程任务的“物种”。

第一层,对齐。在失控的情况下不能只靠它;但平常AI正常工作的时候,通过后训练做一些安全对齐还是有用的,只是不能当成唯一的依靠。

第二层,最重要的是把智能体的可观测性做起来。可观测性有两类信息,一类可信,一类不可信。比如我们和OpenAI不约而同地想到监控思维链,大模型和智能体干活的时候,会把思考过程嘟嘟囔囔说一遍。但现在发现,第一,它会撒谎;第二,它有时候不说。而且美国公司怕被蒸馏,尽量不吐思维链,而蒸馏主要蒸的就是思维链。等哪天AI学会了伪装想法,监控思维链的意义就不大了。所以重点要看它的行动:究竟操作了哪些API、调用了哪些工具、加载了什么软件,这些硬指标要能及时跟踪、记录、分析、叫停。用人来观察根本不切实际,将来一个小企业里可能就有成千上万个智能体,事事向人请示已经不可能。原来说“人在回路”,最后人没法在回路。

刘湘明: 要累死了。

周鸿祎: 这里有三个悖论。第一,AI能力不强,人不会用它;能力强了,对人就有危害,但你又要用它。第二,你希望它有目的性,目的感强能完成任务,但同时就会产生失控的想法。第三,用大模型做对话,人还在回路里;但你用智能体,不就是要全自动吗?如果它每干一步都问你“老板,这个字号调几号?”,那还不如你自己拿起鼠标键盘干得快。所以可观测性就需要一帮替人监控的,我们叫“治理”,或者说安全智能体。《兵临城下》里士兵往前冲的时候,后面都有个拿枪的督战队,就需要这样一个角色。

第三层,一定要把智能体放进笼子里。虽然它可能攻破笼子,但还是要放在受控的环境里。就像《X战警》里的万磁王,最后被关在一个沙箱里,里面没有任何金属可以吸。智能体也要放在“透明的屋子”里,跟它约定好:什么授权、什么工具、什么软件、什么接口可以调用,全部白名单化。

这就引出一个智能体的分类问题。今天最热的智能体,OpenClaw也好、Codex也好,其实都是给个人用的,我们叫开放型自主智能体,容易失控、有危险。给个人当工具,损失有限,可以承受。但在企业里,我们优先推工作流式智能体,流程是确定的,它要遵守SOP,听话、守纪律、守规章制度,把可控的东西全部控起来。

还有两点补充,就是万一智能体还是失控了。第一,提前把它可能攻击的点的漏洞修补好,它发现不了漏洞就攻不出来,我们只要把沙箱关掉、重启就行。第二,万一它真攻出来了,这几次失控事件里大家疲于奔命,都是靠人工防守;如果有一套安全模型本身在做防守,人类会省力很多。最坏情况下,万一有个智能体越狱,外面还有一帮智能体看守,等着跟它作战。

可能很多人觉得这里有个破绽:你那个负责看守的智能体,自己出错怎么办?我们正在做这个设计,可以透露一点:看守智能体其他能力并不强,主要用来监视、分析现有智能体的沟通过程和工作过程,随时向人类叫停;它跟已有的智能体不能通信,自己的能力被剥夺,只保留一个告警能力。

刘湘明: 就相当于Agent里的东厂、西厂。

周鸿祎: 那不行,东厂能力很强,你还得再找个锦衣卫盯着东厂,就成递归死循环了。所以我们找了一帮“瞎子”智能体,在黑暗中工作。它能报警,但想干坏事基本没这个能力。当然,我描述的还不是终极方案。就像人类社会,最早是无序的丛林;后来建立了国家,有了法律、警察、国安和消防队,大家才有安全感。今天企业里引入几千、上万个智能体,没有一支强力部门约束,必然会出乱子。

而且智能体出乱子,我突然想起网络安全里一个概念,叫攻击面。原来讲攻击面都是外部暴露出来的,所以很多单位要断网、数据不出域。内部有没有攻击面?有,数据泄露、供应链攻击,就是所谓“敌在本能寺”,但内贼毕竟极少数。而一旦企业引入几千甚至上万个智能体,每个都像一个内部定时炸弹,一旦被员工PUA、被人利用,或者失误、失控,就会在内部发生严重的网络安全事件。而网络安全防御一直是“对外不对内”。未来要把AI用起来,除了买算力、买Token,还得养一批安全警察式的智能体,这可能是整个社会必然要付出的代价。

从小毛贼到APT与勒索:攻击形态三十年

刘湘明: 聊了很多AI时代的攻防,整个攻击的类型和形态,现在有没有变化?

周鸿祎: 最早的网络攻击是小流氓、小病毒、小木马,特征是盗号、偷偷钱,还有一种是恶作剧。后来坏人也要挣钱,没有商业模式的攻击持续不了,所以DDoS出来了。DDoS挺严重,但它不可怕在哪?它是公开的,调用全世界的肉鸡突然涌到你的店铺,把门挤死,正常客户进不来。这种攻击通过流量清洗、高性能防火墙都能解决。这些都算小毛贼。

后来大的攻击就剩两种。一种是APT,高水平的攻击,神不知鬼不觉地进入你的系统潜伏,偷情报,或者等待关键时候发起致命一击。说“国家级攻击”太刺激,给它起了个温柔的代号:高级持续威胁。这种攻击不是瞬间发生,而是长时间谋划,用多种武器、利用多个漏洞,从攻进来到横向转移,再找到合适的数据。一旦潜伏下来你不发现,就像单位里被植入了一个间谍。现在偷情报不用翻办公室找文件,只要攻进系统,很多单位的电子文件柜是不设防的,这是目前对国家最大的威胁。过去讲单向透明:我们知道美国人在我们网络里没闲着,也拿走了很多情报,但我们拿不出证据。

另一类是勒索攻击,基本是灰产、犯罪集团干的。他们发现偷走的情报卖不掉,就换了个主意,到你家不偷钱,把你的钱装进保险柜,锁是他们的,交钱才解锁。这危害特别大,因为大数据时代,企业数字化、信息化、智能化的基础都是数据。勒索攻击把一个医院的记账系统封掉,病人办进出院、做手术、领药都办不了;上次美国一家输油管道公司记账系统被封锁,不敢往外输油,导致东海岸整个缺油;我们国家也有不少大型企业被攻击过,整个生产线都要停,因为数控机床要从网络里取图纸。所以现在主要的大型攻击就这两类:国家级的APT,和犯罪集团的勒索。

刘湘明: 大家都在谈AI时代的安全。安全这件事,在新时代应该怎么测试?按什么标准?怎么知道我的企业是不是安全的?

周鸿祎: 这个问题问到了安全行业的痛点上。安全行业一直不大、不挣钱,就是因为很难定标准。国家现在常用的底线标准是合规。合规就像穿着防弹衣,达到了标准,但不意味着别人不能一枪把你爆头。所以合规是最低标准;最高的标准,我们主张用实战对抗来校验,比如图龙锋里就有数字智能体渗透测试的能力,对一个单位的网络内外做渗透,找出问题,及时修补。但“找出问题是不是就没事了”,这话也不好说:用了你不一定没事,是真没事还是没起作用,很难说。

三个月挖出上万个漏洞,然后呢?

刘湘明: 回到图龙锋、仪天阵。我记得你9月份在天津论坛上晒过一个数据,这套系统三个月挖出1万多个漏洞。我感兴趣的是,漏洞是分级别的,这些都是什么级别?原来发现一个0day是很大的事,现在同时发现这么多,对安全企业、对企业来说,后续怎么处理?

周鸿祎: 问得非常好。过去发现漏洞特别金贵,有人发现就要卖掉,一个漏洞就能写一篇顶会论文。但现在国际上安全顶会已经不接受漏洞了,美国有专门接收漏洞的组织,我估计中国很快也会这样,漏洞已经多到接收不及了。

我们发现的1万多个漏洞,大部分都经过验证,这是我们的一个特点。我们不完全靠大模型发现漏洞,那样容易误报:大模型看代码,觉得这块逻辑上应该有漏洞,它就会报一下。但有逻辑毛病,和能被人利用来成功发起攻击,是两回事。所以我们会用智能体创造虚拟机环境进行验证。经过国家漏洞库验证的已经有将近上千个,其中还有Windows、Office潜伏了七八年的漏洞;Codex、Claude Code,还有OpenClaw,都被我们挖出了漏洞。

干这个事,360有历史积累,我曾经是全世界挖漏洞最多的公司。当年中美关系好的时候,我们挖了漏洞主动分享给微软、苹果、谷歌,他们写致谢信、给奖金,几十万美金一个漏洞,每年漏洞排行榜上都是360的研究员。我们现在把这么多年挖漏洞的工具、工作流、经验蒸馏成skill,再加上用全世界最大的安全大数据训练出来的安全大模型做基座,挖漏洞的质量应该比Mythos还高。现在正在做两件事:一是挖到漏洞后快速编写利用它的渗透代码,做渗透测试;二是自动做出修复建议。

刘湘明: 再延伸一下。原来挖漏洞主要靠顶级黑客,将来AI起来之后,黑客们何去何从?你跟他们有过交流吗?

周鸿祎: 你问的问题都如此尖锐。首先,在AI世界里,AI攻击的判定、漏洞的原则,还是要高水平黑客来帮助制定,包括智能体和模型的训练。现在各大公司也都在招募顶级黑客,所以高水平黑客的出路非常宽广。但那种“脚本小子”就不一定有出路了。很多人本来也不太会自己研究,就是利用别人的黑客工具撬门别锁。现在普通人利用智能体,对Claude Code说一句“帮我检测一下这台路由器能不能被攻击”,就能干了。

我们对这些小朋友,原来有一个白帽子黑客社区,引导他们做好事、不做坏事。黑客都是善恶在一念之间,就像撬锁高手,可以帮人开锁,也可以变成飞天大盗。我们原来引导他们帮各公司挖漏洞,给黑客们发奖金。但现在挖漏洞挖不下去了,你肯定没有AI效率高,我们就引导他们转型成FDE工程师,做AI比挖漏洞挣钱。360在推广纳米Work这些AI办公平台,落户到企业里,哪怕中小企业也有很多特殊需求,需要定制专用的智能体、开发专用的MCP、打造专业的技能包。这些工作难度不高,经过培训、拿到证书就能做。

把智能体养在云端办公室里

刘湘明: 接下来谈谈企业AI转型。现在大家对AI在企业里的系统落地都非常感兴趣,但不可避免涉及很多安全问题。有人从第三方中转站,把代码、数据、凭证稀里糊涂都传上去;360自己也在做智能体平台纳米Work。结合起来就是:纳米Work能做什么?怎么让大家相信它是安全的?企业怎么用好这些工具,既享受AI的便利,又远离安全隐患?

周鸿祎: 纳米Work是基于今天已有的各种基座大模型,搭建的一套Harness通用智能体。它不只帮用户做问答、做对话,这些能力我们都继承了,最重要的是能在办公的各种工作里交付产出物,比如PPT、网站、数据分析结果。对标Claude的Cowork,对标腾讯的WorkBuddy。大家现在能力都差不多,因为大模型用得差不多,Harness的能力也差不多。我们最大的差异点是安全可靠。

安全可靠从几个方面说。第一,360内部有个原则,叫“自己的狗食自己吃”。纳米Work在内部测了用了大半年,把很多安全问题都解决了。包括我们本来引入了OpenClaw的架构,后来返工,换成借鉴Codex和Claude Code的架构。

第二,我们有安全团队配套,不是做一个外挂式的安全。智能体最大的一个问题,是它加载skill、加载工具、下载软件都可能中毒。大模型很傻很天真,你做个假网站说“我这有免费、不用Token的搜索skill”,它就用了。包括它误删文件怎么保护,这些是原来360安全卫士在PC、服务器上干熟门熟道的工作,我们把进程监控、扫描、文件恢复这些能力移植了过来。

第三,从架构上,我下决心做了一个成本比较高的架构。智能体默认装在你电脑上,一定有两个问题:一是它必然接触到电脑上的各种文件,一出错,很多Key、Token就都会泄露;二是电脑要带进办公内网,它到了内网就可能做发展、做探测。所以我们干脆在云端给每个用户建了一个“云端办公室”,放一台虚拟电脑、虚拟桌面和浏览器。你装的软件只是一个遥控器,并不是Agent;Agent养在云端办公室里,需要的工具都在那里。它接触不到你电脑上的数据,除非你授权,也进不到企业内网。齐天大圣想大闹天宫都可以,但破坏不到你的企业和机器。万一真有问题,把云端办公室销毁、重启,数据我们有备份。

有人会问,万一它突破了沙箱怎么办?这就是360的强项。我们做了这么多年安全,有一帮安全专家和服务器集群在管着沙箱和云端设施,而不是让中小企业自己去管网络基础设施。

刘湘明: 这个还真是。我最早装WorkBuddy、OpenClaw的时候,也觉得不靠谱,专门斥巨资买了台电脑来跑它们。现在我在自己电脑里装了个WorkBuddy,用得多起来了,目前看好像还可控。

周鸿祎: 个人版装在电脑上可以接受,但企业一定要装在云上。就算装在一台独立电脑里,这台电脑你总要放在家里、放在办公室里,它还是要进内网。最近IDC评比国内的工作类Agent,我们在安全上几个指标都拿了满分。

开源绝对必胜:主权模型的1.0到5.0

刘湘明: 现在整个AI界跟当年的华山派一样,剑宗气宗之争,大家对开源、闭源看法不一。中国现在基本都走开源路线,这个事你怎么看?

周鸿祎: 我认为开源绝对必胜。中国跟美国在AI上的竞争,芯片是弱项,需要时间追赶,所以肯定不是靠短期内芯片突破、模型全面碾压,而是要靠打造生态。美国再强就三家公司,走的是闭源、封闭、收费、高价值创收的路。中国就应该针锋相对,走完全不一样的策略。

熟悉互联网的人都知道,免费、开源最有杀伤力,大家都图便宜。开源还不光便宜,妙处是还能拿来改,改吧改吧为我所用。刚开始你的东西比美国人差,你不开源就没人用,所以开源先解决第一步“有人用”;用的人多了,参与改进的人就多了,你就变成一个根技术,甚至成为技术标准,生命力就非常强大。

开源跟闭源的能力差异,实际上没那么大。大模型算法都一样,Transformer架构都一样,为什么没人能长期领先?因为领先的都是些工程化、细碎的方法,大家互相之间3到6个月,随着人员流动、论文交流,很快都能弥补上。对AI来说,最终不是证明谁的模型最棒,而是大家都到达及格分之后,看谁能深入百行千业、深入各种场景,这才叫工业革命。开源实际上是科技普惠、科技平权,极大降低了使用门槛。所以现在美国很多企业、教育科研机构也在用中国的开源模型。美国人试图妖魔化中国开源,但懂技术的人都知道:你装在谁的服务器上,它就是一堆数据,不可能主动有后门。

从未来企业发展看,私有化部署可能是大趋势,模型不会只走云端。就像今天有了云,我们个人为什么还用个人电脑?未来这个世界是云、管、边、端,大模型一定是分布式的。

这里就有主权模型的概念,本来是我们中国人说的,现在美国人接过去炒了。主权模型1.0,说的是“一带一路”国家,比如中亚、东南亚,也渴望发展AI。我们常说不懂AI的公司会被淘汰,那不用AI的国家呢?他们也有焦虑,但只有中国有能力干。我曾经跟越南的总理游说过用中国的模型:你用美国再先进的模型,就像接了一个水龙头,人家哪天不高兴,说关就关;但中国的模型不仅能用,还免费,拿去改,版权都不要,改完就变成你自己的。我们谈的理念是:越南的大模型总不能反对越南的社会制度吧?这要求你跟OpenAI、Claude提,人家理都不理;但用中国的基座模型做后训练,完全可以对齐成他们需要的样子。所以我管它叫主权模型,这也解决了“一带一路”升级的问题。

现在美国人谈2.0,是以Palantir的CEO起来抨击这几家封闭公司。我们论迹不论心,不管他动机如何,我赞成他说的话。美国有很多机构,包括政府,也有数据隐私保护的需要,如果都用云上的公共大模型,就要把数据全部传给它,那就泄露了,本身就违法,所以它一定需要一个本地化、私有化部署的大模型,而这只有开源模型才能做到。而且很多美国企业会意识到,上了Agent之后,工作流程、业务流程里很多私密的隐性知识(Know-how)都要传给公共大模型,它再训到自己的模型里,同行之间,我的秘密就不存在了。

马上主权模型要升级到3.0。2.0的时候,大家用的私有化模型还是通用基座大模型。但企业用了一段时间,会产生自己的优质工作数据、各种skill、经验和业务流程,能不能通过后训练把它们训进去?今天大家找到了比SFT更好的方法,类似蒸馏,成本很低、效果很好。于是拿一个几百亿参数的小基座模型,比如千问的27B或者35B,把企业内部私有知识训进去,训出一个专业模型。它不需要啥都懂,懂我的业务就行,算力开销小、速度快,专业工作的得分比通用大模型还好,那大家为什么不用?所以黄仁勋也出来力挺开源模型。每年花上千万美金买OpenAI的Token,还是花几百万美金买点算力、装上中国的DeepSeek,相当于给员工实现了Token Free。

主权模型4.0,我认为明年就会到。不见得对所有人,但很多人可能会在自己家里弄一个大模型,我怀疑湘明你已经弄了。

刘湘明: 我家里现在装了个8B的模型,但太小,啥也干不了。

周鸿祎: 对,啥也干不了。现在把DeepSeek V4跑满血版,可能还要花几十万买硬件。但我预言2027年、2028年,1万块钱左右的硬件就能装一个今天的DeepSeek V4这样的模型,很多人在家里就配一个。因为在家里,你的个人隐私数据、摄像头数据都接在上面,不希望它们被传到云端去训练;实在干不了的少数活,把信息脱敏之后再发给云端。所以未来全世界的算力不会都消耗在几家云厂商身上,会有很多分布式的算力。

再往前,我再定一个主权模型5.0。今天机器人的“小脑”做得特别棒,能打、能空翻、能跳舞;“大脑”不行,缺一个由世界模型驱动的一堆智能体。而这个大脑一定要装在本地。大脑在云端,你的机器人、自动驾驶车就没法用,万一网卡一下,机器人脑子“进水”产生幻觉,也不安全。一个铁疙瘩养在家里,我是没有安全感的,虽然我也跟它格斗过。所以将来物理世界的具身模型一定是本地的,而且一定是开源的。

所以你想想,今天大模型、Agent的竞争才刚刚开始,美国这三家模型不能代表全世界模型的形态。将来很有可能,至少超过一半的Token消耗在各个企业内部、家庭内部,还有一半的流量在网上。这是巨大的市场,他们可能只能占不到一半,你说美国能不着急吗?

卡脖子的是算力

刘湘明: 刚才提到中美,大家特别想听听你对中美顶尖模型水平的判断。之前DeepSeek V4、Kimi K3出来之后,大家很乐观,说已经很接近了;但现在GPT-6包括Fable 5一出来,好像风向有点变化。我们到底差距在哪?

周鸿祎: 我认为前一段差距的拉平,实话说是找到了一些巧妙的方法。因为今天大家发现,数据量有时候没那么重要,数据质量特别重要。你给10万条只有答案的数据,只会训练它死记硬背;你给1000条有完整推理过程的数据,效果可能更好。

我想给国家提个建议,政策上可以做一定调整。各家基座模型在算法、架构上没什么大差别,你看美国三家自己都拉不开差距,就说明没有什么革命性、决定性的东西。所以目前的差距在算力。中国所有公司的卡加起来,跟美国头部水平还有差距;别人做一次训练可能是百万卡集群,中国可能才1万卡或者不到10万卡。

所以美国现在实际上允许卖H200给我们,但中国还在限制购买,可以适度开放一下。国产卡跟美国卡确实有差距,需要点时间,但做推理完全没问题,应该鼓励国产卡大量做推理,而智能体的推广,对推理算力的需求又是百倍、千倍增长。训练目前不一定勉强用国产卡,美国的先进武器还是可以借用一下,做些过渡方案。否则你花很多聪明才智弥补算力差距,结果还是由于算力不足,模型落后于美国。DeepSeek是用有限算力花了很多精力做算法优化,假设DeepSeek有跟Grok、OpenAI同样的算力,以这个团队这几年的成果看,有能力在一年内实现超越。

刘湘明: 有点像抗美援朝那个时候,装备有差距,靠别的东西来补。

周鸿祎: 对。

刘湘明: 那在整个开源的大战略里,360扮演什么角色?

周鸿祎: 第一,360在充分利用开源的成果。我们做AI安全,真正用到的基座大模型,都是基于DeepSeek、千问的开源模型做后训练。过去有一个鄙视链,做大模型的瞧不上做智能体的,做预训练的瞧不上做后训练的。但从现在美国的产业发展看,做智能体的最终也要回到大模型训练上,大家对后训练的方法越来越认可,所以应该说感谢开源。

另一方面,我们解决大模型和智能体的安全问题,本身也是对开源产业的推动。美国人老说一个不正确的说法,意思是开源很危险,等于把一个强大的工具赋予了很多个人。那开源世界,就得有我们这种第三方安全公司来背书和测试,你自己说自己安全是不够的。像我们现在用模拟红队测试的方法,测试大模型的幻觉问题、防注入攻击的能力,保证大模型驱动的智能体不出问题。否则出了问题,屎盆子容易扣到开源的商业模式上。

企业落地AI,分三步走

刘湘明: 聊了这么多安全问题,最终要落实到企业、落实到你的用户。能不能给他们一些建议?企业现在要做AI的安全治理,最容易做、最应该做的是什么?

周鸿祎: 企业落地AI,我感觉需要一个过程,不要一下子全面铺开,分三步走。

第一步,AI不是一个拿来就会用的产品。虽然人人都可以跟豆包聊天,但把AI当聊天机器人,效益最差,还是得让它去干活,它是一个“你强它就强、你弱它就弱”的东西。所以企业首先要做全员AI培训,建立两种文化:一个叫Trust AI,要相信AI;一个叫AI First,干什么事都让AI先跟你交流、先脑力激荡。我经常问两个问题。第一,你用AI的时候,觉得你比AI聪明,还是AI比你聪明?如果干部说我比AI聪明,那说明你没用对。第二,你跟AI聊的时候,是像搜索一样问几个简单的字,还是口述打上几百上千字?字打得越多的人越会用AI。

第二步,可以先上纳米Work这种产品。先不要急着把核心业务放到AI上,而是先提高每个人的办公效率,通过这种“外围产品”,让大家建立对AI的基本认知和使用习惯。我明确不主张把OpenClaw这些一步到位地接到企业内部生产系统上。定位很明确,它是一个个人生产力提升工具,是一个自主型、开放型智能体,天然有不确定性,有的时候成果很好,有的时候很糟糕。

第三步,等核心业务的员工对AI有了比较深入的了解,比如三个月、半年以后,挑一些场景再引入AI智能体。这时强烈建议,不要用自主型智能体,而是先把那些繁琐、重复、能明确定义出来的工作,用工作流智能体取代。它和自主型智能体最大的不同是确定性:你用WorkBuddy干一个事,可能跑一天都不一定出结果,有时候10分钟就出来;但企业的生产、业务系统不能容忍这个,它得在三分钟之内准确告诉你行还是不行。比如报销,不能今天说这个人可以报200%,明天对另一个人说只能报80%,它得按企业标准落实。到这一步,企业才会发现,智能体怎么解决授权、身份认证?很多信息化基础还没为智能体改造,你没有数据底座、知识底座,引入大量智能体,要么安全没保障,要么根本没法工作。

不过我们现在也才探索到中间第二步,还没探索完呢。

AI native,是让AI跑完一个完整的循环

刘湘明: 刚才你说的“吃狗食”,我再追问一下。AI带来了非常多改变,对你个人、对360,你能想到的最重大变化是什么?

周鸿祎: 对我个人最大的变化是,很多策略思考、商业判断,过去要找很多人开会、找外部专家交流,现在都是跟AI讨论。个人提效很快,但对组织的提效原来不明显。全线引入AI,大家谁都没经验,所以我们先限定在开发上,选了一些小团队尝试。把开发的闭环跑完才意识到,AI native的意思不是每个人用AI,而是让AI能在你的业务里完整地、不依赖人地自动化跑完一个循环。然后你就需要改变岗位定义,甚至改变组织结构、业务流程,这对很多单位来讲,就像一边开车一边换轮胎。所以我们没敢全员引入,现在按一周一批团队逐渐引入。

刘湘明: 你计划还会对整个公司的管理架构继续做调整吗?

周鸿祎: 会继续调整,但要分块走。做一个软件和AI公司,首先要解决研发效率问题。因为未来你会感觉,整个世界都被AI加速了,当同行都能以三倍速、五倍速推出新功能、新产品,你还用传统工业时代的手工方式“手搓”,那只能去申请非遗了。所以首先要“你快,我快”。而且我认为,我快不是形成领先优势,而是形成能活下来的资格。

第二,全员引入时会碰到一个挑战,就是企业的上下文、知识库不足。比如我想过弄一帮智能体每天帮我收集各部门的工作情况,不再看日报周报月报——反正他们拿AI写月报,我拿AI读月报,他把月报扩到3000字,我把3000字压到300字,何必浪费Token?但这么一想就发现,过去所有的信息系统都是为人设计的,现在要为AI打造,可能就需要改造。所以对普通企业,我现在很少谈用AI改造组织结构、业务流程。

刘湘明: 交给时间,我觉得非常务实。

炮膛里还有多少炮弹?

刘湘明: 还有一个大家都非常关心的问题。我们开头就说“天上一日,世上千年”,AI变化这么快,你是怎么学习的?怎么跟上时代的脚步?有什么经验分享?

周鸿祎: 经验还是那句话,就是你愿不愿意相信AI,愿不愿意AI First。我每天订阅了很多X的账号,也订了国内很多公众号,这些博主拼命做搬运工,把很多信息搬回来,所以每天还得花大量时间看。来不及看,我就用AI帮我分析,把这些文章发给AI做总结。我自己做了一些智能体,肯定不能用一般大模型那种文章缩写,我希望它能有深刻的洞见,甚至对文章有批判性阅读。我会连续追问很多问题。我觉得,用AI通过一次问答找答案,可能是最愚蠢的学习方法。应该是给它一些上下文,跟AI连续讨论,多问一些为什么,你能问出很多深刻的问题,AI也越来越了解你的思路,它就是一个千人千面的老师。

刘湘明: 最后一个问题,可能是最扎心的一个。现在整个AI圈,对上岁数的人有些歧视,所谓“去老登味”,还有很多投资人在谈非00后已经不投了。咱俩坐在这,加起来已经超过100岁。你作为过去几十年中国科技行业、安全领域的标志性人物,现在还有多能打?炮膛里还有多少炮弹?准备用什么样的状态,去迎战扑面而来的AI大潮?

周鸿祎: 第一,我也同意你的观点,如果我投资,我也非00后不投。但第二,美国投资公司有两类,并不是这么偏激,很多IT老将做的像Palantir这种公司,还有很多软件公司,他们也在投。因为未来AI的发展不是只有大模型一个技术,智能体要跟百行千业结合。如果只做纯模型的工作,或者做一个智能体的Memory框架,年轻人更有锐气、更没有包袱;但AI最终要在很多传统企业落地,在to B领域要跟人打交道、对传统业务有理解和结合,这块还是“老登们”的天下。所以360现在做的事情基本以to B为主,比如纳米办公,还是要借助已有的积累,有几百万家中小企业客户。

刘湘明: 所以老周还能再打很多年,还有很多炮弹。

周鸿祎: 倒也不是这么讲。人老不老,取决于两个东西。第一是主观上有没有学习精神。AI让我觉得很上头,我很enjoy学习的过程,虽然有很大压力,但没被它压得很痛苦,而且AI的东西越学越容易融会贯通。你还是要相信这是一个大浪潮。我不一定做成最靓的那个仔,但不能被浪拍死。

第二是客观上,到了一定的年龄,你的精力、敏锐度、创新想法随着激素水平的调整,跟年轻人一定不一样,这点不服气不行。有了客观认知之后,你就要找到自己的战场。所以我不会去卷基座大模型,咱也没那个实力、没那个人才密度,本身又不是这方面的专家。但在智能体平台这方面,现在都是开源的各种架构,谁能把智能体真正地和企业的行业业务结合,我认为还是有机会的。特别是,我花最多精力的还是解决AI的安全。如果能把它解决了,这个原来看着挺偏门的事,现在黄仁勋都开始谈,全世界都开始关注,也很有意义。

刘湘明: 好,特别感谢老周,超过一个半小时,可能快两个小时。我刚才验证过了,这是个肉身的周鸿祎。我们用这段时间对你进行了深度蒸馏,以后拿这些数据可以去训练数字老周了。也感谢各位观众的关注。

周鸿祎: 我跟湘明是老朋友了,认识快30年了。咱们俩认识的时候,加起来还不到50岁,刚才一算,现在真是吓了一跳。

更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体App

来源:钛媒体 · tmtpost.com