C114门户论坛百科APPEN| 举报 切换到宽版

亚星游戏官网

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

亚星游戏官网-yaxin222  三级军士长

注册:2007-10-294
发表于 2024-11-5 15:05:34 |显示全部楼层
“如果AGI必然发生,假设是7年以后,到了那天OpenAI‘一统天下’的时候,它想要来碾压大家,大家至少还有抵抗的余地。”
李开复似乎感到忧心。

大家的对话中,他有许多表达诸如此类:

“第一个做出AGI碾压对手的,它必然是一个商业霸权垄断者。而且,它会有成为一个终极垄断者的野心。”

“OpenAI是特别强大、垄断型的企业,Sam Altman可能会是有史以来最大的垄断者。”

“他今天还没成为垄断者,但他的谋略,他的野心,他把一二三步棋都想清楚,这些我很佩服他。但从一个从业者的角度,也很担忧他。”

“人人可用是什么意思?就是你在美国做了OpenAI不给中国人用,那就不是人人可用啊。”

这些言论全部指向一个宏大又现实的命题:如果美国形成AGI霸权,大家应该如何抵抗?

李开复1961年出生于中国台湾,11岁随兄嫂赴美,先后毕业于哥伦比亚大学和卡耐基梅隆大学。博士毕业留校做了两年助理教授后,他随即进入产业界,先后在美国任职于苹果、SGI、MicroSoft和谷歌,最高出任MicroSoft全球副总裁、谷歌全球副总裁和中国总裁。

在中国,他于2009年创立科技投资机构创新工场,并于2023年创办大模型企业零一万物,后者是中国大模型初创“六小虎”之一。

此前,在大家与杨植麟、朱啸虎、王小川、汤道生、何小鹏的多篇系列对话中,更多集中在技术趋势、企业生存与个体抉择。

由于李开复有40年人工智能从业经历,在全球科技界活跃,和中美各界联络广泛;这次,大家把话题推向了更为宏观的议题:AGI霸权与垄断、海外科技巨头的卡位与现状、超级应用的隐形崛起。此外,他也聊了零一万物的争议和战略转向(2C先走海外、国内聚焦2B)。

“如果说AGI必然发生,大家假设它是7年以后发生。到了那天OpenAI‘一统天下’的时候……他想要来碾压大家,大家至少还有抵抗的余地。”李开复说。

他提供了一个中国可以走的第二条道路的可能视角。

以下是对话全文。(为方便阅读,编辑做了一些文本优化)

1 终极的霸权垄断者

“极具野心的人都梦想自己有这么大一个霸权”

《潜望》:你在接受外国媒体采访的时候说,中国大模型企业和硅谷巨头最大的优势差异是,制造低价的模型和推理引擎,为什么中国团队更擅长做这件事?

李开复:我可以告诉你,大家跟谷歌、OpenAI都抢过人——当届博士——大家输的比赢的多。

这些博士在学校,就几张卡,做博士论文。谷歌、OpenAI说,你加入大家,我给你5000张卡,我给你1万张卡,你可以用3个月、6个月来做你梦想的事。

他们读博最苦的就是学校没有GPU资源,出来谁给他GPU资源比什么都重要。还有数据,还有场景。所以,他们去那里理所当然。

大家这边说,你来大家这,大家企业GPU蛮多的,有几千张。有5000张吗?有1万张吗?没有。那我为什么要去你这里?——我去那边一个人就有5000张了。

他们的做法是用资源吸引很聪明的博士加入,给他们资源做非常畅想的事。每几个月,说:哎,谁做出了点东西?大家能不能把它缩小,放到产品里去?

这是一种打法。如果你要打AGI,这个打法非常合理。你把最聪明的人拉进来,给他很多资源。反正你钱多,也不怕烧GPU,做出来一定是一大堆有意思的东西。但是,你让它缩小,就很难。

就像,你找人设计一个最豪华、美丽、壮观的厨房。你说,我家就几平,你把它塞进来。或者你设计一个最快、最大的引擎发动机,我就一个小小的电动车,你把它塞进来——塞不进来嘛。所以,从设计就要想到。

大家从头就想到,大家的目的,不是烧世界最贵的AGI,而是做世界第一梯队的模型,但必须有低价的推理。

这样的模型,大家的应用和别人的应用才能用上。把这个当目标,招聘时如实跟这些博士说。有人说,人家给我5000张卡,你不能保证,我为什么要加入你?但也有人说,我想做“接地气”的科研和有效的创新,你更适合我。虽然大家大部分时候没抢过OpenAI、谷歌,但加入的是跟大家思维、DNA一致的,能同心协力把这件事做出来。

我之前有一本书明确地说:黑科技发明的时刻,美国通常领先中国,且领先蛮多;落地实行的时刻,中国可以赶超,甚至超过美国。用的例子是,移动互联网,美国发明的,但中国的App强过美国;AI深度学习和卷积神经网络,美国发明的,但中国的应用、落地和产生的独角兽不输美国。

今天也一样。谁发明的GPT-4o?美国。谁发明的o1?美国。但它发明一个大家就能赶超一个。中国一方面有很多优化的方法论;另一方面,大家落地速度不仅很快且往往做得更低价。

大家每个人都想追求AGI。可要追求第一个做到AGI且完全碾压别人,这个梦想大家没有,也不能有。

《潜望》:如果能第一个做到碾压别人的AGI,能带来什么?这是一个科研梦想,还是一个商业梦想?

李开复:都是。如果你训练出超级大脑,它除了有今天的思考能力、推理能力;未来还有创新能力,能独立思考,甚至有自我意识;下一步了解多模态和世界模型;接下去做成具身智能走向世界——科幻成真嘛。

AGI还不需要那么多。就把它定位纯App好了。假设它的思考、推理能力,创造发明、独立思考能力,以及自我学习能力,远远比人强,AGI可以帮你发明很多新事物。

发明之一是,帮我设计一个商业模式,把其他大模型企业打倒;帮我设计一个公关策略,让大家信任我是最可信的企业;如果是坏人,帮我设计一个网络攻击方法让竞争对手瘫痪……你要做坏人会有很多其他坏事。

第一个做出AGI碾压对手的,它当然实现了技术理想,但它必然也是一个商业霸权垄断者。

而且,它会有成为一个终极垄断者的野心。

《潜望》:也就是说,AGI能带来什么超级应用大家现在不知道,但它一定能带来垄断者。

李开复:假如只有一家做出来,那它就必然是垄断者。它可以用这个工具确保它垄断。

过去,MicroSoft很难说Windows一统天下了:让Windows把全部的Mac弄没有,让Windows垄断手机系统——现在看来是不可思议的。AGI是一个大脑啊,做成了,它能诞生超级应用,甚至能帮你发明。

AGI圈还有一个想法是,到了GPT-6,是不是会有刚才说的一些能力?当你的AGI独立思考、发明事物,是不是你就可以告诉它:帮我维护垄断,得到更大商业利益,让我得到一些东西、让竞争对手失去一些东西?

这是一个很大的诱惑。

我想,有史以来所有极富野心的人都梦想自己有这么大一个霸权,但这对全世界并不见得是好事。

2 大家能走的第二条路

“它想来碾压大家,大家至少还有抵抗的余地”

《潜望》:如果大家不追求AGI,走的是另外一条路,这条路怎么推演?

李开复:第一个碾压式的AGI垄断者,梦想是做出强大的大脑,钱全部到我这,其他人都赚不到钱。这种垄断边界要比过去MicroSoft、谷歌的垄断大得多。

还有别的选择吗?

大家的一个选项是,怎样让生态成为护城河?

垄断者未必急于把推理成本降下来。它未必想很多应用冒出来。但不考虑垄断,大家作为用户,希翼有更多应用,对吧?

短期看,未来1-2年,推理成本会下降,每年降10倍——经过各种努力,也许能降20倍到50倍。这样会点燃很多应用——突然可以做搜索了,可以做社交了,可以做娱乐了,可以做电商了……应用会像雨后春笋冒出来。

一个生态里,纯美国AGI垄断者推动会导致什么?如果目标是AGI垄断,你做的就是拿最多钱买最多GPU不断地烧,直到烧出来为止,烧出来就赢了——这是它的游戏。带来什么副作用?英伟达赚超级多钱,因为钱都被丢进这里了嘛。

而一个良性生态,应该是芯片赚最少的钱,平台赚蛮多的钱,应用赚最多的钱;平台本身比任何一个应用都赚钱;但所有应用加起来比平台赚更多的钱。

PC、互联网、移动互联网是这样,云也是这样。AI是不是?绝对不是。

今天AI生态是芯片GPU占750亿美金>云厂商100亿>应用商ChatGPT这类只有50亿——是一个倒三角。如果持续是倒三角,AI-first的应用不会雨后春笋冒出来。用户不会得到福利,大家做应用不会那么快PMF(Product Market Fit,产品市场契合度)、赚到钱、融到资,不能达到良性生态系统的正向循环。

正常健康的生态应用是:应用创造的价值>云厂商>芯片GPU,只有用户得到好处才会付钱,付了钱App才会进步,App进步对平台才有要求,对平台有要求才会对芯片有要求,芯片进步大家再一起进步,就转起来了。

AI应用为什么不发生?是推理成本太贵了。

大家把顶级模型推理成本降下来,这样才会达到产生一大堆PMF的应用爆发拐点。应用爆发以后,它们靠品牌、用户数据,快速建立护城河。今天为什么很难打倒微信、抖音、脸书?因为它们在很弱的时候,发展了应用、用户群和护城河。

如果说AGI必然发生,大家假设它是7年以后发生。到了那天OpenAI“一统天下”的时候,大家已经有了一个很强的社交应用、很强的搜索、很强的Agent、很强的硬件。他想要来碾压大家,大家至少还有抵抗的余地。

《潜望》:为什么说AGI是7年以后发生?

李开复:前一阵有一篇文章《Situational Awareness: the Decade Ahead》(《态势感知:未来十年》,OpenAI前员工撰写),大胆说AGI三年会发生,有些假设值得商榷。

我觉得Epoch AI(一家非营利研究组织)说得更靠谱,他们在今年8月一篇文章《Can AI Scaling Continue Through 2030?》(《人工智能的规模定律能否持续到2030年?》)中,分析了四件事:

数据还能多快增加?

世界生产GPU的能力,还有HBM(高带宽存储器),就是内存的能力,能多快增加?

计算的耗损能多快增加?你作为一个神经网络,它的forward backward训练(前向传播和反向传播训练),使它不是GPU问题,而是传输问题。如果是一张变成两张传输还好,如果是100万张变成200万张,传输就会成为瓶颈。

还有一个,世界上有多少电?

——最后它计算的结果大概是2030年。

他的说法是说从GPT-2到4,从2019年到2023年,4年时间提升的level,和从GPT-4到AGI大概是一样的level。也就是从幼儿园到高中生,从高中生到天才,是类似提升。如果第一个提升(幼儿园到高中生)花了4年;第二个提升(高中生到天才)需要7年,就表示有diminishing return(边际效益递减)。

大家可以期待Scaling Law(规模定律)继续往下走,但它不会像以前那么快,而且非常、非常贵。

做到AGI要花多少钱?它说了一个超级天文数字。不见得一个企业做得起。

《潜望》:所以,大家的第二条路,是用生态去抵抗,是吗?

李开复:对。每个应用企业都可能自己也做AGI,AGI只要有了竞争,就表示垄断会比较难。

《潜望》:应用企业需要先自己形成生态,有商业化利润再去追求AGI,而不能从今天就去追逐AGI?

李开复:不管生态和商业化,只追求AGI,可能在追求梦想途中,你就没有弹药跑下去了,谈何实现?

《潜望》:但我有一个疑问,如果大家现在第一目标不是追求AGI,没有像在AGI主航道里那样让模型能力快速提升,应用会大爆发吗?

李开复:OpenAI在5个月前推出GPT-4o模型,现在10美金一个million tokens,今天大家的Yi-Lightning模型反超了GPT-4o(五月版本)。大家在5个月之间,API定价几乎降了数十倍,还有盈利空间。同时,这样的价格普惠点有可能推动更多应用。

《潜望》:以上,你提供了一个技术价值观:如果美国有可能实现AGI霸权,中国应该如何形成合力对抗他们。

除了推理成本的降低,还有什么大家需要做?

李开复:大家全中国把只落后美国5个月的模型先用起来,让应用比美国跑到更前面,后发制人。

我乐观认为,中国App最后一定做得比美国好,虽然今天还没有,但未来会发生。因为从移动互联网到AI 1.0已经发生过两次。

中国现在特别强大的,就是那批会做PMF的人。大家后发先至的力量就是这批会做PMF的人。

他们有PM(产品经理)、工程师。他们要跟模型专家在一起,最后能做出点燃火焰的超级应用。

3 OpenAI还藏了很多牌

“大家千万不要低估它”

《潜望》:业界同仁说你对海外十分熟悉,曾经在谷歌、MicroSoft、苹果这些大企业担任过高级管理人员,和各个大企业有密切的交流。

他们想让我帮忙问问海外进展:一是,有什么是未来1-2年能出来但还没形成共识的?二是,应用端预计在什么时候会出现一些显著性变化?

李开复:我刚从硅谷回来,这次见了很多人。几个比较大的认知——OpenAI还藏了很多好东西没有放出来,大家千万不要低估它。

它GPT-5训练得不是很顺利,但是,为了融资,就丢了一个o1出来。

它手中还有很多牌,不急着出这些牌。因为它每次出一张牌,全球技术企业包括中国的,就会看它出了什么牌、去猜、去做。就算不能打平,也能做到八九成。所以,它并不想把牌打光。它想留到最后AGI有望的时候,再比较有信心地打出来。

所以,这是一个技术实力非常强大的企业。我觉得它跟谷歌的距离,不是谷歌在拉近,而是差得越来越远。当一个企业有这么多技术储备,可以战略性决定什么时候放出技术。比如,需要融资、需要show muscle(显示实力)的时候。

但是,GPT-5训练碰到挑战,意味着3年达到AGI的预测可能过度乐观。本来GPT-5应该现在已经出来。现在看,即便出来,最快也是半年后了。不过,o1能递补上来,把这次融资完成。

o1本身并没有带来那么大推理和理解提升,但它把快思考、慢思考做成两套东西,以后相辅相成。对一个做技术的人来说,1年半前把全部精力放在pretrain(预训练),因为这个难度大,没人做过,只有一两家企业做过。现在,很多企业学会了。之后就发现,一个很难的硬骨头是要把post train(后训练),尤其强化学习做好。今天强化学习做得好的企业非常少。

这次又抛出了第三个,是推理时的Scaling Law。o1最利害的就是推理时的Scaling-Law,推理花越多时间思考做得越好,这是之前ChatGPT没有的。开阔了很多人的思考。

《潜望》:开启了另一个金矿。

李开复:这个金矿对全球都有很大帮助和刺激。

我预测,推理阶段的进步将会远远不止今天o1里的技术。大家内部讨论,可能是什么做成了o1,大家企业内部就出了3种不同方案。你再把它乘以20-30个很牛的企业,还有比大家更大的企业。几百个方案,一定有是前所未做过或想过的。

回到创业生态,现在一个“标准硅谷共识”就是Sequoia(红杉美国)那篇文章。你应该看了吧?

《潜望》:o1之后发的那一篇对吗?(《Generative AI's Act o1: The Agentic Reasoning Era Begins》(生成式AI的o1行动:代理推理时代的开启))

李开复:对。它以o1为title,但要读到最后,投资逻辑写得很清楚。国内创业者朋友可以看一看。这符合我跟硅谷创业者、投资人的沟通。

美国的感觉是,啊,大模型的pretrain会集中在少数几家企业手中,再投新做的大模型,看起来有人做了很酷的东西,但投资回报未必最好。从Infra(基础设施)来说,他们认为一些好的企业已经差不多出来了,不是最好的投资点。投App,还有投Service as a Software(服务即App)最重要——这个硅谷共识会带来美国投资的一种方法,中国VC可能会跟风。

我不完全认可他说的。在我看来,大模型——如果你有推理优势,可以做出不同打法;Infra——美国VC没有很懂Infra价值在哪,还是有机会;App——对投App我是同意的,但不能过度乐观。

过去大家说App是PMF。大模型时代我加了两个字是TC-PMF(技术成本x产品市场契合度),除了PMF,还需要知道TC——我需要多强的技术,比如多模态还是视频;还有推理优化,以降低成本和提升性能;还要预测这个技术谁可以做出来、什么时候做出来、以多低成本、什么时候这个成本足够低,并且需要对第一线市场保持敏锐,把这些要素对接起来,综合能力门槛非常高。谁最先找到TC-PMF,谁就能成为大模型时代的Super App,类似移动互联网时代的抖音。

一个好的App创业者,他需要对市场敏感,知道怎么做一个产品,这个产品对模型和技术的需求,怎么调这样一个模型,什么时候可以调好,调好时推理成本会不会够低。难度比以前加倍了。

零一万物比较有信心,因为模型在自己手中,这几个点的对齐,相对简单一点。

《潜望》:你对巨头的动作也很熟悉,能不能评价一下海外谷歌、MicroSoft、英伟达、特斯拉等巨头的动作,以及国内巨头,比如火力全开的字节。

李开复:英伟达肯定是现在最大获利者。之后它可能面临,随着大部分GPU不再做训练,而是做推理,优势能不能持续?这是它面临的一个问题。也许会持续,我不知道。

Meta是最大搅局者——它什么事情赢不了,就开源,用开源来做卡位。

我蛮佩服他们放一大批人做广告。他们能靠广告赚一笔钱,然后开源来做一个卡位。他们技术比不上OpenAI, 但开源卡位,很多人用它的开源模型,以后看有什么机会再推进。虽然我觉得Mark(扎克伯格)对AI不是很懂,但他就这么一招——打不过人家就开源——已经两次成功了。第一次是TensorFlow跟PyTorch,这次也好像蛮成功。Meta位置是OK的。

MicroSoft是位置最好的。它一方面靠AI赚很多钱,虽然投资养着OpenAI,但占了很多股,是可攻可守的一个位置。

它的挑战是自己的模型一直没做好。OpenAI跟MicroSoft是合作,但这个蜜月期可能会结束。OpenAI肯定做了Plan B,MicroSoft如果没有Plan B,到时候比较麻烦。但现在它处于非常好的短中期情况。长期如果做不出模型,跟OpenAI闹掰了,有挑战。现在MicroSoft和英伟达是最大获利者。

OpenAI是特别强大、垄断型的企业,Sam Altman(OpenAI CEO)可能会是有史以来最大的垄断者。

我讲这个不是贬义,是陈述事实。他今天还没成为垄断者,但他的谋略,他的野心,他把一二三步棋都想清楚,这些我很佩服他。但从一个从业者的角度,也很担忧他。

xAI实行力非常强,来自Elon Musk(马斯克)管企业就跟中国企业一样。他企业一些小将我都认识,非常能干,玩命帮他干。他今天得到的成就是,复刻了OpenAI跟谷歌早期的一些技术,他能这么快复刻,在美国比较罕见。要看他以后能不能结合特斯拉的具身和自动驾驶,加上xAI。无论如何,不能低估Elon Musk,他现在是一匹黑马。

谷歌是比较伤感的。

理论上它应该最强——最利害的大模型论文是谷歌做的,最利害的Reinforcement Learning(强化学习)是DeepMind(谷歌旗下)做的,这两个并在一起,没有产生很大杀伤力。

而它现在面临的是,搜索处于四面挑战的局面。

一方面大模型让一些用户有问题不先去搜索引擎,而先去ChatGPT,带走了一些量。更严重的是,最近很多用户买东西直接去亚马逊。在中国大家觉得本来就这样,买东西去淘宝或拼多多,其他搜索去百度。但现在同样的情况在美国发生。很多人要做commercial search(商品搜索)不在谷歌做了,直接在亚马逊做。所以,它这两面受敌。

再加上它的两难是,到底放不放大模型到搜索里去?放的话,有三种方法:

第一种是,取代你的搜索,就把所有广告业务都拆没了,企业可以关门了;

●第二种是,不放进去,做成两个入口,是掩耳盗铃嘛。明明是一件事,为什么放两边?

第三种是,两者并存,就是你做一个谷歌搜索,看到有一个Gemini Overview,再放搜索结果在旁边。这样你既会少收广告,用户体验也不极致,因为你给那么一点点overview,不解决问题。我问一个问题,我要一个答案,你给我一个overview干什么?于是,它就是变成“四不像”——又有搜索结果,一大堆链接,又有广告,还给overview,就不给我答案。这是它现在选择的做法。

另外有很多奇怪的事,比如谷歌的Gemini不能问大选的事,怎么会这样?还有之前碰到各种问题,什么吃胶水啊、吃石头啊,很多问题存在,理由是什么?我不太知道。

谷歌短期不看好。但谷歌有很强技术积淀,能不能触底反弹?就不知道了。

《潜望》:Perplexity是一个对的产品形态吗?它有可能颠覆、取代谷歌吗?

李开复:它是很好的产品。倒不是说谷歌做不出Perplexity,谷歌分分钟就可以做一个Perplexity,可是基于刚才的考量——它不能做。

Perplexity可以少赚钱甚至赔钱去弄一堆用户。谷歌每个搜索产生的收入是1.6美分。今天Perplexity Pro的用户收20块钱,但搜索成本很高,不能cover所带来的搜索,它用GPT-4o嘛。但Perplexity不在乎啊,它说我就赔钱——免费用户我当然赔钱,付费用户我也赔一些钱——只要烧出用户来,我就基于用户成长得到投资。谷歌呢?它不太能反击——这是Perplexity最大的优势,它产品做得不错,但没什么特别了不起的。

Perplexity做得很好的是,把可信的问题,部分让用户以为化解了,其实并没有。它用citation(引用)的模式,让你觉得这篇回答里有这么多citation,我可以一个个点开,看是哪来的,大部分靠谱,就觉得你没有幻觉了。其实绝对不是——大家衡量过Perplexity的幻觉,还挺高的——但用户觉得有citation,看到了放心。这是很有意思、很值得学习的一个用户体验的trick(把戏)吧。

还有使用场景,你如果要做research(研究)、得到insight(洞察),Perplexity的UI是正确的——它出各种图、视频、点击、文章、延伸、citation,像一个图书馆。Perplexity自称,企业愿景是做一个“瑞士刀”。有一把小刀,你搬出来什么都有。开瓶的、剪刀、小刀、开信封的,一个工具可以做比如12样事。

但我更相信Larry Page( 谷歌创始人之一)曾经说的。一次,我在谷歌早期一个会上,Larry Page说:大家的搜索打几个字,出一堆链接是不对的;正确搜索形态应该是问一个问题,得到一个正确答案。

大家现在的技术更能贴近一个问题、一个答案,反而做非常复杂的research tool(研究工具),未必是每个人需要的。但对分析师、研究员、教授、学生、记者,是好工具。

所以,Perplexity我是认可的。但说它取代谷歌,还是很困难。

《潜望》:它似乎慢慢变成了一个内容产品,而不是一个搜索入口。

李开复:但它也被内容生产商告,《纽约时报》最近告它了。这在美国是很严重的问题,《纽约时报》会一家、一家去告的。

《潜望》:说回OpenAI,Ilya(OpenAI前首席科学家)的离开会对OpenAI造成很大影响吗?

李开复:管理团队的离开不但没有影响,甚至还能让Sam Altman实行得更快。

那几位离职者不是他们觉得OpenAI做不成伟大企业,不是觉得产品、技术不够好,而是他们更重视做一个安全负责的AGI,超过他们要做一个商业成功的大模型产品。Sam Altman要的是后者,他们要的是前者。

你可以想象一个CEO要的目标不匹配他的每一个-1(减一级的高管),他做事一定有很多掣肘。他们走了,他可以放一堆他信任、跟他理念一致,或者和他追求一致的人,实行力会变强。但OpenAI产品安全性一定会下降。

《潜望》:国内巨头呢?

李开复:就评国外吧,国内就算了。

这些人说不定都是我的融资对象。(笑)

4 AI应用会在明年上半年爆发

“今日头条怎么进步的,

这些Chatbot就可以怎么进步”

《潜望》:现在有看到什么像样的应用、潜在的Super App吗?

李开复:每个Super App出来的那一天都不是Super App,Super App是一步步做成的。

而且,Super App的概念在大模型时代不一定完全一样,大家要保持这样的心态。

每个移动互联网的应用都会被颠覆重写一次。你投中颠覆者,你就赢了。颠覆可能是把原来领跑者的生意抢来,但这是最低level。大家更希翼它创造新模式,整合更多用户需求,在每个用户身上赚更多钱,拉入更多用户,再进一步,也许它能成为Super App。

第一阶段是把已有应用通通做一次,再有所延伸。Perplexity是把谷歌重新做了一次嘛。再往下一个阶段,是前所未有的应用。

《潜望》:就像移动互联网时的抖音?

李开复:抖音、滴滴、美团。它们相对的AI-first应用会是什么?再下面就有一些超级Super App的机会了。

有一个合理的理论,但也不是一定会发生。从用户界面看,应该有一个智能助手跟你对接。它不但能回答你的问题,还能帮你干活。如果这天发生,智能助手就是有史以来最大Super App,它能衔接和满足所有需求——你要买东西,它决定去哪个电商;你要旅游,它决定去哪订票。

刚开始一定不会那么强大,但逐渐地,用户会知道,我的助手比我更懂我自己。无论是为了企业还是私事,我基本委托信任它。从图形的用户界面,经过了语言的用户界面,走向委托式的用户界面。我委托我的助理。你比我聪明、能干、博学,又比我懂自己,我为什么不什么事都让你帮我干?

《潜望》:会是今天的ChatGPT或者是豆包、Kimi这种吗?

李开复:它们可以有野心成为这样一个Super App,这非常合理。

这天一旦发生,所有今天很强的App都会面临挑战。比如你是电商,用户不把你当入口,他通过助手接触你。这一下,你就变成被动竞价的一个仓库了,价值会下降。

当然,这个助手的崛起中,各个电商会拒绝合作。这个助手不能跟电商合作,它又怎么办?这一切有点回到了当年今日头条怎么从一个搜资讯的进化成一个核心内容载体(抖音)——所以,今日头条怎么进步的,今天这些Chatbot就可以怎么进步。

以后,AppStore可能不存在了,电商或App可能也不见得存在了。还要应用干什么?助手就帮你做了。

还有更大一个机会是,硬件也许会改变。

当然,手机可以是载体。好处是随身携带,把个人信息存在上面。坏处是,今天的手机没办法做到always on(始终开启)、always listening(始终聆听)。

当我委托助手干活,我真的不想把手机拿出来选App。我应该一句话讲出来,它给我反馈——无论是经过屏幕、眼镜,还是耳机。这样,我才有更大动力常和助手沟通、委托。要把40-50秒钟流程降为1秒。

《潜望》:全球来看应用会什么时候大爆发?

李开复:2C应用应该就是明年前半年。

《潜望》:这是预感还是有看到迹象?

李开复:从推理成本可以算出来。现在大家推理成本低到这个level,在美国、国内还有别家,虽然不如大家这么低,但也比较低,应该可以打造出一些PMF。

另一个风向指标是,很多VC开始说可以投应用。

创业者融得到钱是第一个要务,融不到钱,应用怎么爆发呢?

《潜望》:你还会作为投资人看和投这种项目吗?

李开复:会。

5 我的第一次和最后一次创业

“如果不做,那会是终身莫大的悔恨”

《潜望》:大家说回你自己。

过去40年,你在人工智能领域做了很多事——前10年在学界,后30年在产业界,这让你有了一些名号,比如“中国AI教父”、“青年偶像”。我很好奇,顶着“教父”、“偶像”这样的帽子创业,是一种什么样的感受,有包袱吗?

李开复:没有包袱啊。这件事义无反顾,必须是我做、应该是我做。

如果20年后,当我80岁回头有过悔恨,一定是我选择不做它带来的悔恨;而不是我试着做,即便做失败了,也不会悔恨。

我这一生职业的每条路径都是要来做这件事。如果不做,那会是终身莫大的悔恨。

《潜望》:当你去年决心以创业者、CEO的身份创立零一万物,犹豫了几天?就没有第二个选项吗?

李开复:当时有两个选项:一个是我做董事长、找个CEO,一个是自己做CEO。

《潜望》:第一种听上去更符合大家对你的预期。

李开复:但我认可的几个CEO都无法加入;有兴趣的,我不认为会比我自己做得更好。只有跳进去自己做。

《潜望》:当时有聊谁?

李开复:不太方便说。都是三四十岁,行业非常知名的一些人,不一定是AI的人。

《潜望》:为什么零一是在去年5月才正式宣布创立?像王慧文、杨植麟在2月左右,王小川、阶跃星辰在4月左右,开始找钱、找人。从ChatGPT发布到去年5月这中间有半年,你在做什么?想什么?

李开复:必须坦诚,慧文跟小川的创业点醒了我:这也是可以创业来做的。我之前做投资做久了,就是在想,我该投一个企业来做吗?但他们发了英雄帖后,我觉得,可以这样做。我有独特的经历跟资源,为何不试一试?

紧接着他们俩的宣布,我开始策划。2月到5月,大概是两件事:

启动联创团队,包括要不要CEO;

●要得到创新工场投资人的理解,允许我一边做创新工场,一边做零一万物。

我肯定不能离开创新工场,对基金要负责,但我要花不少时间在零一。是不是他们会同意?他们不同意,我是不能出来做的。

《潜望》:回顾2023年零一做的最重要几个决策是什么?

李开复:启动起来是最重要的决策。

《潜望》:2024年呢?

李开复:今年,大家在技术上做了很多重要选择。

大家非常早启动了混合专家模型的探索,大家不是第一家做出来,但很早义无反顾走这个路径。

跟着美国大厂去烧AGI,是大家或其他企业都烧不动的,这个决策非常重要。

一个相关洞察是,整个行业的引爆一定在应用端,而应用端需要非常便宜的推理。这个认知去年有,但今年坚决认为这是大家唯一要做的。

尚未验证的是,大家对多模态的固执和认可,这个技术是重要的,会有应用出来。不是每家大模型企业都同意这个观点。

其他就是团队了。如果说我在零一起的最大作用,就是做有史以来时间最短、最紧迫的一个猎头。说服他们,大家在一个上升火箭,你必须加入,加入后动态寻找每个人该坐什么位置、怎么合作。

《潜望》:听起来很像你当年组建MicroSoft亚洲研究院的过程。

李开复:对,谷歌中国也是,创新工场一定程度也是。

《潜望》:这是你第一次创立一家企业对不对?

李开复:对。之前孵化过一些企业,但还是不太一样。像创新奇智是我孵化的,我做7-8个月CEO,就转给新的CEO了。

《潜望》:这次有可能转出去吗?

李开复:承诺至少做到上市,也许更久。

《潜望》:你之前一直是投资别人,这次去找别人投资,有心理负担吗?——特别是如果他没投。

李开复:心理负担倒没有。创新工场最近几年,融资也一直很困难。不只是创新工场困难,是整个环境困难。我跟团队常常说的一句话,也是团队比较认可的地方:我是永不放弃的那种人。

我最喜欢的演讲来自Winston Churchill(丘吉尔),他的一个演讲是never、never、never、never、never、never……never give up。我觉得就是这样。

《潜望》:雷军说小米汽车是他最后一次创业,押上一生的所有荣誉和成就,你对零一也是这样吗?

李开复:雷军还比我小8岁,他都是最后一次创业,零一万物也会是我最后一次创业。

6 他们应有的理想和傲气,我没有

“Noam是这样的人,我不是这样的人”

《潜望》:你说,去年的一个决策是做成本更低的推理,这个具体怎么实施?

李开复:你需要一个很强的AI infra团队。去年刚创立,要克服训练问题。用最便宜的价钱训练出最好的模型,这很重要。当时大家都没做过,第一次用这么贵的GPU,训练是第一要务。

训练得到一定验证收敛,发现大家从FP8到GPU不稳定问题,可以靠infrastructure解决。大家infrastructure团队就提议,应该转来看推理。

第一,推理很贵,虽然价钱会自然下降,大概1年10倍,但大家觉得1年10倍不够。

AI应用会一个比一个有更多用户、更多时长、更高难度。做Chatbot,你可以容忍它一个字、一个字慢慢吐出来。但你做搜索引擎,希翼它更快。搜索引擎一天搜3-5次,但如果用它取代TikTok、抖音,一天刷3-5小时,用强度和需要模型的难度不断递增。

这几个相乘,大家面临推理成本下降还是不够,且每年有新模型。去年的模型今年降10倍,今年的模型明年降10倍,去年的模型后年降100倍。这个叠加必然发生,要不然应用生态起不来。

第二,如果坐等GPU、memory(内存)价钱降下来,只要躺平,就享受1年10倍降价,然后等适当的时候说:我跳出来做应用。大家觉得这也不行。历史告诉大家:垂直整合是正确方法。

苹果是垂直整合。乔布斯没有说,我等Multi touch(多点触控)变成行业标准,等soft keyboard(软键盘)变成行业标准,等音乐API变成行业标准。他一次全部揉起来。等的话,要等5-7年,苹果时刻就错过了。

要在足够早说,我先不做横向整合,垂直整合一个强优化系统。它从硬件到App,从模型到应用,通通把它结合在一起优化。这样最快——你回头看Tesla或Mac,伟大产品往往有魄力、胆敢去做垂直整合。

怎么垂直整合?

第一个理念,为什么推理这么贵,是因为GPU贵,怎么把它变便宜?大家是不是可以考虑“以存储换计算”的方法?也就是,你要算的东西,能不能事先算好?或者你需要调的数据,能不能先调过来?

可以想象有三层内存:首先是GPU旁边的HBM(高带宽内存),它最快,最常见;其次,放在CPU的RAM(随机存取存储器)内存上;再其次存在SSD(固态硬盘)上。

如果这三层各自接近200G或2T或20T,可以存好多东西。你把这些钱加起来,还不如GPU价格1/10,非常划算。买一大堆内存降低GPU使用。理论上,如果你多花10%的钱买memory,能降40%或50%的GPU运算,省很多钱。

第二个理念,大家怎么聪明调度memory,在推理过程中知道,什么应该放在第一层、第二层、第三层?memory应该用在模型什么地方?大家要为三层内存量身定做推理引擎。这个推理引擎本身是非常好的优化,可以处理任何模型。

再往上一层,大家能不能设计并训练一套模型,它为这套内存和推理引擎量身定做?如果大家的机器能装若干模型,怎么把机器正好放满?放少了参数不够,效果不好;放多了,溢出了,内存不是最优调动。

大家模型的量身定做来优化推理。大家从AI的科研到硬件的理解到对三层的运算到推理引擎,团队核心几个人是坐在一起工作的。

《潜望》:如果是垂直整合,它需要在某种特定的领域使用吗?跟应用怎么结合?

李开复:基本什么应用都可以跑。但大家会有些假设,比如窗口多大最合适。

大家最近在尝试AI搜索,这个模型设计出来,把它fine tune(微调)到搜索就OK。也尝试了别的应用,做过社交娱乐,也做了生产力工具,底层可以服务任何应用。

应用方面也有垂直整合。它不是说,设计硬件就要想到应用;而是说,让模型专家成为产品负责人,这跟过往几个技术浪潮的产品思维明显不同。

过往,大部分技术专家不能直接做产品负责人。在AI 2.0时代,大家与时俱进地实践“模应一体”——模型和应用一体共创。在AI-first时代,一个应用的好与否,80%看模型,20%看其他点缀或用户体验的东西。所以,80%要一个有一定用户理解的模型工程专家或research专家,来drive(驱动)。现在大家设计的几个产品,都是核心技术人做总负责人。

《潜望》:这是不是对应那句话:“模型即应用。”

李开复:是。我在谷歌,一个著名VP叫Marissa Mayer(曾任谷歌副总裁和雅虎CEO)。她定了谷歌的PM规矩:一定是要学计算机的,否则不可以做PM。

真的要学计算机才能做好PM吗?让懂计算机的人学,远比一个MBA容易,这是谷歌的理念。今天大家是这个理念的延伸:懂模型的有200人,总有10个可以做产品,让他继续做模型有点可惜,应该把模型跟产品揉在一起——pretrain出来的模型交给他,模型该怎么走他决定,他会post train模型,还要做整个产品对接。

《潜望》:一个模型对应一个产品经理?

李开复:一个模型就对一个产品负责人吧。

我再举一个例子给你——Character.AI——这个企业争议蛮多。

它由大神Noam Shazeer创的,他一心想做AGI。他觉得做AGI路程中,先搞个Character.AI的产品吧。结果模型做得不错,产品做得也不错,但这两件事有冲突。

他走的是AGI模型,杀鸡用牛刀,并不适合Character.AI。所以,这个企业很难找到位置。他想做的模型太大,实际需要的模型又用不上这个人的专长。最终,他跟谷歌达成收购——想做AGI的人回到了谷歌,想做App的人留在了Character.AI。

我跟Character.AI投资人聊到大家的方法,他说,你这个方法就是可以做成的。(因为模型跟App是衔接的。)

虽然Noam是超级大牛,但做世界最牛的模型和做应用,这两个怎么衔接?——其实是不能衔接的。

做AGI,有时你要有一种理想和傲气。我做成了AGI,就碾压所有对手,上面未必有生态系统。可能每个App就是薄薄一层壳,英文叫Veneer、贴皮。所有价值在AGI。你贴层皮把它叫游戏,贴层皮叫搜索,价值很一般,最后价值都体现在我这。

这是追求世界第一AGI的人,他应有的理想与傲气。

Noam就是这样的人,我不是这样的人。

我就算想做,大家没有钱也做不了。他当时也没有钱也做不了,现在回谷歌就可以做了。

《潜望》:现在,更低成本的推理能力是零一的一个差异化吗?

李开复:是。首先,大家用它去点燃应点燃的应用;其次,把这样的技术用更低廉的成本,推送到2B和2C场景。如果大家能有幸持续这个优势,可以再做一个平台支撑更多应用。但需要按部就班。大家现在有API了,API离平台还很远。

《潜望》:外界传言零一万物放弃了预训练,零一没有吗?

李开复:没有。

《潜望》:既然已经有很好的开源模型,为什么大模型企业还要继续做预训练?

李开复:开源模型做得很不错,带给每个大模型企业一个灵魂拷问:为什么还要做?

有些大模型企业评估自己预训练的模型不比开源好,明智决定是不再预训练。它可能不愿承认,把开源的拿来,丢点数据,做CPT(Continue as Pretrain,在已经预训练过的模型上预训练)。这要称为预训练,也不能说它不是,但是基于别人训出来的。

每个决定做预训练的企业,要有信心做得比开源强;另一点,即便比开源做得略好一点,值不值得做?比如,我花1000万美金做一个预训练,4个月后下一个模型出来,前一个淘汰了。这个模型花1000万美金只用4个月,这笔账算不算得过来?——算不过来,也不要做。

大家的考量是,大家就这么多GPU。GPU是一个business expense(经营费用),和员工薪水、奖金、办公室一样。大家在这个前提看,什么时候该预训练,能不能万事俱备,做很多实验确保预训练提升一个、甚至两个台阶,这才值得做。

尤其现在要平衡预训练、后训练和推理的智能。能不能一个模型撑9个月甚至1年。大家预训练成本是300多万美金,如果撑9到12个月,账算得过来。

所以,做不做预训练?要看一是打不打得过开源模型?二是账算不算得过来?——训练成本能不能降低?训练出一个模型能不能多用几个月?大家答案是肯定的,当然要做预训练。

《潜望》:你们开始后训练没有?

李开复:大家一直在做后训练。

《潜望》:在模型和产品上,应该先构思模型,还是先构思产品?

李开复:应该先构思模型。大家是最晚创业的“小虎”,要赶上时间,第一个决定是:在海外用GPT-4做产品。

产品团队需要磨炼。大家要在模型做好的时候,产品已经有战斗力跟经验。只有把海外当战场,把别人的模型当武器用。但也意味着未来有一个转折,需要把自己模型替代进去。好在,对接比较顺利。

《潜望》:模型和产品,现在哪个更令你满意?

李开复:因为模型早起步、早有成果。

大家模型现在是有目共睹世界第一梯队。(在最近榜单LMSYS上,Yi-Lightning超越GPT-4o-2024-05-13,)企业排名世界第三,模型排名世界第六,也是前几名模型最便宜的。不是说产品做得不好,而是起步晚。

《潜望》:你对产品的构思是什么样的?

李开复:要做AI-first的产品。必须背水一战、孤注一掷。这个东西要成,成就成在GenAI。

《潜望》:为什么决定最近调整战略,在国内放弃2C,聚焦2B?

李开复:大家必须要做抉择嘛,2C选择了先走国外,再走一阵才回国内。

国内有两个挑战——大家没有一个ChatGPT moment。虽然很多Chatbot产品做得不错,但天时、地利、人和给了OpenAI,一出来全世界试用。这个机会在中国错失,有很大用户教育成本。希翼大厂多做点用户教育,大家再来寻找国内的PMF。另外,国内流量很贵。有些友商累积了不少用户,但它烧的钱总是烧不过大厂。融资来的钱也来之不易,大家暂缓观察一下。

我希翼找到一个独特产品,在中国带来类似ChatGPT moment,但它形态不是ChatGPT。这个产品是什么?我现在不知道,会继续摸索。

国内大家看到一些2B商机,硅谷现在说Service as a Software,用App接入的方法提供数字员工。卖App给你不是按天收费,而是按一个人的workload(工作量)。我接入一个software,software能呈现一个人,你按个钮告诉他,我是什么商店,卖什么,客户是谁,话术是什么,用什么样的脸、声音去讲。大家提高了企业客户GMV和订单量,有硬核商务指标。已经在电商直播、短视频生成等场景快速落地。

《潜望》:这听起来是一个阶段性战略选择。我能不能简单一点理解,在国内要先挣钱?

李开复:国内要先挣钱,国外也要先挣钱。

《潜望》:在中国大模型的“六小虎”中,你怎么看待零一目前位序?

李开复:很多人的认知是我每天有没有用它的产品。大家也有中国的产品,只是现在战略是放眼全球:2C先走海外,先进一步跑通商业化路线;2B在国内,大家可以拭目以待。

这次全球模型性能评比结果,希翼能唤醒大家,零一在技术上是领先的。并且,大家把推理成本降到行业最低,对点燃整个生态系统有帮助。

7 放下自我

“穿西装比较遮我的肚子”

《潜望》:我看你的书印象很深,你说哲学系一个老教授的一句话曾改变过你:Make a difference(让世界因你与众不同)。

假设有两个平行世界,有李开复创业的这个平行世界和没有李开复创业的这个平行世界,会有什么不一样?

李开复:我当时的这个梦想跟理想太自我了。我后来跟星云大师交流,我很自豪把这个想法告诉星云大师。没想到,他不是很认可。

他告诉我,你把你自己personally放在衡量世界贡献上面,是狂妄的,会引诱你做些爱慕虚荣的事。你会不断说服自己,我需要做这个,因为我可以让世界变得更好;我需要做这个,我可以让世界变得更好……

但你有没有想过,你做的每件事真的是帮助世界变得更好,还是给自己带来更多名利?这两件事怎么划分?划分得清楚吗?他觉得划分不清楚。他劝我不要再用这句话衡量我做的一切。

延续他的建议,我现在的思考是:不如想我做零一万物给世界带来的价值,和我不做零一万物给世界带来的价值是什么。

《潜望》:是什么?

李开复:是大家vision的一句话:make AGI beneficial and accessible to everyone(让通用人工智能普惠各地,人人受益)。

你说这跟OpenAI不是差不多吗?没有,很大差别是accessible ,让人人可用。人人可用是什么意思?就是你在美国做了OpenAI不给中国人用,那就不是人人可用啊,所以你不敢把它写到vision啊。大家做了模型出来,我让全世界每个人用,中国的、美国的、非洲的都可以用。

还有,“人人可用”就需要应用。普通人不需要模型,他需要App。大家要把App生态系统点燃,就需要做非常好的模型、非常低廉的推理成本。

《潜望》:在你心中,零一的成功标志是什么?

李开复:基于大家的愿景能清晰地迈出一大步。大家希翼看到大量用户,国内、国外都算,通过大家的技术,获取技术和产品,受益于它。倒过来衡量就是,你的产品有多少人用?你的模型、技术、API有多少人用?

《潜望》:这次创业会觉得自己有什么变化吗?相对过去那么多年。

李开复:我依然是我自己啊——清楚自己的梦想是什么,义无反顾;做一件事要尽全力,尽量把它做成;我相信最优秀的人是成事最重要的因素;我相信技术本身重要,但不是最重要,还是要能创造价值,对用户有用——这些理念都在零一可以看到。

《潜望》:为什么创业坚持穿西装?

李开复:哈哈,嗯……因为穿西装比较遮我的肚子。

《潜望》:哦?创业是在泥地里打滚,西装会不会太儒雅?

李开复:每个人都希翼用自己最好的一面,让自己的形象正面,得到更高自我认可跟自信。

《潜望》:你恐惧失败吗?

李开复:如果说是阶段性挫折,每个阶段性挫折和失败从中学习到的东西,会远超阶段性成功和欣喜。如果是最后终局的一种失败,我宁愿面对我试过了但没有成功,也不愿意去面对我没有试。

《潜望》:如果走到生命的终点,你希翼别人怎么评价李开复这个人?

李开复:以前我说过蛮多的。但是,嗯,我觉得……其实并不重要,其实并不重要。

我希翼大家用到大家的产品,想到大家的企业,觉得,这个挺好的,我喜欢,就不错了。记不记得跟我有关无所谓了。

《潜望》:是在什么时候发生改变的?

李开复:其实是得了癌症变的,见了星云大师变的。

我一直是很好胜的一个人,到今天也是。但我现在,会觉得我尽我的能力,能够做得好,那我会很开心。但是尽了力以后,我也接受一切可能的后果。

好胜的人并不一定要很自我。以前我会比现在更自我。

《潜望》:听说你对时间异常精确,为什么今天愿意超时?

李开复:因为下面没有会,而且你写的两篇文章都写得非常好。

《潜望》:如果推荐几本书,基于所有读过的书,会推荐哪几本?

李开复:《时间简史》,by Stephen Hawking;《列奥纳多·达·芬奇》,by Walter Isaacson;《活出生命的意义》,by Viktor Frankl。

《潜望》:还想谈谈你的技术观。美国有一派对人工智能抱持技术乐观主义,a16z之前发布“技术乐观主义宣言”,称“唯一永恒的增长源泉只有技术”。但以GeoffreyHinton为代表的这些人多次表达担忧。你属于哪一派?

李开复:任何一个负责任、懂技术的人都应该,同时极端的乐观,也极端的担忧,这两者是并存的。我属于八成乐观,两成担忧。

《潜望》:如果往担忧的方向发展,应该怎么避免?

李开复:有些是人带来的挑战,有些是AI带来的挑战。

AI带来的挑战,需要技术提供guardrail(护栏)。新技术都会带来危险。当电拉到家里,可以把人电击死,但发明了电闸;当PC跟互联网第一次连接,带来了病毒,但发明了防病毒App——解决技术带来的挑战,还是靠技术。

大家应该鼓励更多年轻AI科学家、工程师发挥各自的专长,不要每个都跳进来说我要做大模型,我要做应用,我要创业,我要加入大厂。应该有一部分人说,我是不是能加入一个安全企业或者设计一个保护隐私的企业?

我觉得应该呼吁。

《潜望》:最近,Geoffrey Hinton获得2024年诺贝尔物理学奖,Hinton此前是你在卡耐基梅隆的老师,你和他也有过合作,在你眼中他是一个什么样的人?

李开复:他在我做论文那段时间,理论结果非常惊人,Boltzmann Machine(玻尔兹曼机)是那时做出来的。当时Yann LeCun在贝尔实验室,Geoffrey Hinton在CMU,两人都不太得意。那之后也看到他跟Yann LeCun paper不断被拒,他们还是坚持。

Hinton是一个特立独行,特别固执,有自己的理想,不从众非常深度思考,讲话很有英国式幽默的一个人。他不在乎别人想什么,有话直说。

《潜望》:最后,如果要面对一个可能会崛起的美国AGI霸权,你有什么想对中国同仁说的吗?——现在国内竞争烈度很高。

李开复:今天“六小虎”走的方向都不一样,彼此不太竞争——有些做国内2B,有些做海外2C,有些做娱乐,有些做Chatbot。每家都希翼彼此勉励,发展得好。

现在已经非常明确:走OpenAI路径是很大挑战。

AGI超大模型大家高概率不会是第一个烧出来的。但是,打法不只一套,大家可以各自杀出一条血路。

对美国比较强的发明探索学习,但大家的商业模式跟强项一定是独特的。App时代的到来是中国的福音,中国对App方法论的理解、洞悉和能做这件事的人数是超过美国的。

同时,通过“模型+AI infra+应用”多维努力,大家希翼能将生成式AI当前的“三角形”生态转正,由半导体行业分得的利润回归应用层,让整个行业生态回归到健康的良性循环。

长期来看,这必然会发生,但它需要时间。从这个角度看,中国团队有庞大的市场、丰富的应用场景以及强大的实行力。这些因素结合在一起,为大家提供了一个独特机遇,在AI-first新时代占据领先地位。

所以,大家的时代来了。
出品:Tencent资讯《潜望》

来源:36kr

举报本楼

您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系大家 |网站地图  

GMT+8, 2024-12-23 06:18 , Processed in 0.783890 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部
XML 地图 | Sitemap 地图