五年之内有可能实现AGI
一周前,得益于英伟达亮眼的第一季财报,其总市值已攀升至2.7万亿美元,而微软的最新市值是3.09万亿美元。英伟达的市值已经接近微软,但微软有16万名员工,而英伟达只有2.8万人,不到其1/5,英伟达是如何做到的?
近日,英伟达创始人兼CEO黄仁勋与支付服务提供商Stripe联合创始人兼首席执行官帕特里克·科里森(Patrick
Collison)进行了一场对话,讨论了英伟达的管理哲学。其中,黄仁勋也分享了他的工作理念和团队管理心得。黄仁勋认为,最好的工作不是那些一直能带来快乐的模式,毕竟伟大的事情并不容易做到,所以努力去做困难的事情会更有意义。
在英伟达,黄仁勋非常重视信息的流通,他直接领导60名下属,从来不进行一对一谈话,他希望公司的信息能平等地在每个员工中流通,让每个员工都参与到公司的挑战中来,为解决问题贡献自己的力量。
黄仁勋还特别指出自己不喜欢裁员,比起解雇员工,他宁愿“折磨”他们,使其更强大,他相信每个员工都会改进,等他们开窍时,属于他们的伟大时刻也就到了。此外,他还给出了另一个解释:“我不喜欢和新人一起工作,因为在与老员工的相处中已经沉淀了很多痛苦、快乐和知识,这些生活经历我不想重置,所以我更推荐终身职位。”黄仁勋相信小团队也能干大事,英伟达虽然只有2.8万人,但表现已经远远超出人们的预期了。
精彩观点如下:
1.人们总认为那些一直给你带来快乐的才是最好的工作,但我觉得工作中还是应该努力去做些困难的事情。
2.我不喜欢放弃别人,我认为他们可以改进,我宁愿“折磨”他们,让他们强大。
3.CUDA是现代计算中最重要的发明之一,加速计算这个想法很简单但意义深远。
4.ChatGPT降低了计算的门槛,而Llama降低了参与生成式人工智能的门槛。
5.很多伟大的东西会体现在你的产品、你所创建的公司和你培育的组织中,它需要你的“爱和关怀”。
6.当我们谈论大型语言模型时,其实“语言”并不只是人类语言,更应该是一种可以理解生命的语言。
以下为访谈全文,有删改:
60名下属直接向我汇报
主持人:你在最近的一次演讲上谈到“希望承受足够的痛苦和磨难”,可以展开谈谈这个话题吗?
黄仁勋:通常人们会认为应该基于自己的兴趣去选择职业,期望从工作中获得幸福感,但这是一个误解。当你正在做一些无比困难但十分伟大的事情时,并不总是在享受这个过程,总会有痛苦的时候。我很爱我的公司,也很爱我的工作,但我并不是每天都很快乐。人们总认为那些一直给你带来快乐的才是最好的工作,但我觉得工作中还是应该努力去做些困难的事情,因为没有什么伟大的事情是容易做到的。
主持人:所以在你的成长过程中,是什么塑造了你这样的工作观?
黄仁勋:我是移民,当我1973年来到美国时,刚好9岁,我哥哥11岁。初来乍到我们并没那么容易适应这里的生活,父母对我们很好,但日子过得很拮据,所以父母都很努力地工作,从他们的言传身教中我学到了很多人生哲理。我做过各种各样的工作,当过洗碗工、餐厅杂工、服务员,也打扫过厕所和浴室,这些工作无论大小我都会认真对待,尽可能把手上的每一份工作都做好。我觉得这是我与生俱来的品质,从小到大我都是这么做的。
主持人:到今天为止,英伟达的领导团队有多大?
黄仁勋:大约60人。
主持人:这60人都是直接向你汇报工作吗?
黄仁勋:是的,直接向我汇报。
主持人:这种模式通常不被人看好。
黄仁勋:虽然它有别于传统的管理方式,但在我看来是最佳的实践,我相信到最后会说服所有人。因为公司的层次结构中最重要的是信息的流通,不应该赋予谁有访问信息的特权,每个人都能知道公司的信息。我通常不一对一交流工作,我的员工规模很大,几乎所有内容都是同时对每个人说的。当提到公司面临的挑战、正在努力解决的问题、试图进入的方向、新的尝试等这些信息时,我希望公司里的每个人都能听到并参与进来,为解决这些问题做出他们个人的贡献。
主持人:当和员工一起讨论个人目标、职业发展或者那些比较有针对性的问题时,按照惯例都应该是一对一去做的。你是不做这些事情,还是有其他不同的方式?
黄仁勋:这是一个好问题,我会做这些事情,给他们正确的反馈,这些反馈对他们来说也是一种学习。不过在所有人面前推理问题可以帮助他们更好地学习,我不会一对一去和他们谈,这相当于剥夺了其他人学习的机会。而且从别人的错误中学习是最好的方式,我们为什么要从自己的错误和尴尬中学习,从别人的错误和尴尬中学习经验不是更明智吗?
比起裁员更愿意“折磨”他们
主持人:你曾说过不喜欢解雇员工,实际上也很少这么做,能详细说说这一点吗?
黄仁勋:对于员工,我更希望提高他们,而不是放弃他们。通常情况下要解雇某人时会说很多好听的借口,比如这不是你的错,是我做了错误的选择等。我以前是打扫浴室的,现在我是一家公司的CEO,生活中有很多可以学习的地方,只是缺少一个机会,我周围有60个人,他们一直在做聪明的事情,让我受益匪浅,他们可能都没意识到,我在不断向他们每一个人学习。
我不喜欢放弃别人,我认为他们可以改进,我宁愿“折磨”他们,让他们强大,就像球队中的教练会“折磨”球员,督促他们进步一样。很多时候他们已经接近成功了,不要放弃,突然有一天,当他们开窍时,属于他们的伟大时刻也就到了。
主持人:你们公司正常一天有多少场会议?
黄仁勋:几乎一整天都在开会,所以我会有所取舍,通常我不参加定期召开的运营会议,我相信员工们能自己解决这些问题,我也讨厌报告会议,他们不需要定期向我报告什么,我参加的基本上都是关于问题的会议,或者头脑风暴和创作型会议。就像我经常说的,努力不让outlook(微软的一款办公软件)管理我的生活,有目的地决定我想做的事情,我自己一直在努力过有目标的生活,管理好自己的时间。
主持人:你曾经使用过一个词“0亿美元市场(Zero
billion dollar market)”,你说这是你最喜欢的市场,这是什么意思?
黄仁勋:我们的目标是去做一些以前从未做过的事情,大家都知道这是非常困难的,实现它就可以做出真正的贡献。那如果以前从来没有人做过,市场肯定是0。我们宁愿成为市场创造者而不是市场接受者。创造一些以前从未存在过的新东西而不是考虑去争抢份额。我们可以想出另一个新的价值10亿美元的东西,这种动力可以让公司去思考,去创造。
主持人:互联网科技带来的GDP增长会引起广泛关注,但实际上我认为最重要的部分是动词“增长”,因为就你的观点而言,我们不应该只考虑那些已经存在的业务,而是重视那些还未发生的交易,目前世界的GDP大约有一万亿美元,但它不会止步于此,未来也有可能是200万亿美元或1000万亿美元。
黄仁勋:是的。而且在接下来的几十年里,我们创造的东西可能会超出现有物理世界的限制,这是一个非同寻常的时刻。
主持人:所以有了这个“0亿美元市场”的概念,不过这些项目涉及数十亿美元的资本支出,甚至更多,但一开始又没有需求,也没有客户,也无法证明你们是对的,更多的你们是凭直觉在做这些事情,又是怎么坚持下去的呢?
黄仁勋:从某种意义上说,你的直觉可以作为起始论点的素材,但你必须继续推理下去。我讨厌电子表格,更喜欢文字,因为文字可以推理,我们的直觉是什么,为什么我们相信这很重要,为什么我们认为这很困难。我喜欢困难的事情,因为它需要很长时间才能完成,很多人在前进的过程中就会自动放弃,最后只有那些非常坚韧、非常专注、非常忠诚的人在继续追求它。
差点让英伟达陷入危机的CUDA
主持人:CUDA来自哪里?
黄仁勋:CUDA最初来自两个想法,一个叫加速计算。UDA是1993年一项意义深远的发明,它允许软件程序员直接对IO设备(可以与计算机进行数据传输的硬件)进行编程。当时我们创造性地提出了加速计算的想法,几年后,为了让我们的GPU更容易编程,我们又提出了另一个想法——CG(Computer
Graphics,计算机图形),开辟了一些令人兴奋的机会,让我们知道这是可行的,但是CG编程模型并不完全正确,所以我们扩展了它,创造出CUDA。
主持人:CUDA推出后一夜爆火了吗?
黄仁勋:恰恰相反,这对当时的我们是一场难以想象的灾难。我们追求的是开创一个新市场,但在追求这个目标的过程中花费了太多。推出CUDA增加了大量成本,但是当时并没有合适的应用程序,也没有客户愿意为它支付溢价,所以我们的成本上升了,公司的毛利率被压垮了,市值急速下降,处于危险的境地。
主持人:所以你有立刻取消CUDA项目,回到旧策略和业务上去吗?
黄仁勋:不,我相信CUDA,我们进行过推理,相信加速计算能够解决普通计算机无法解决的问题,如果我们想将架构扩展到更通用的地方,必须做出牺牲。我坚信它是机会,我觉得是当时的人们错了,他们不懂我们所创造的东西,我并不认为选错了方向。
主持人:如果没有CUDA,英伟达在人工智能领域还能取得今天的成就吗?
黄仁勋:那是绝对不可能的。CUDA是现代计算中最重要的发明之一,加速计算这个想法很简单但意义深远,它让绝大多数程序代码中的一小部分占用了99.99%的运行时间,而这对于很多应用程序来说都有重要意义。如今,CPU的扩展基本已经停止,如果我们不加速的话,每个软件的计算都会膨胀,世界上的计算量每年都在翻倍,这时候就到了我们加速计算发挥作用的时候了。
主持人:每一个经营企业的人都了解过一些版本的CUDA,当市场还没有反馈CUDA的价值时,你为何如此固执地相信它能成功呢?
黄仁勋:我每天都会检查我的核心信念,这是你推理策略的首要原则,每天进行直觉检查,认真思考推理的首要原则是否发生了根本性的变化。我的决定都是经过理性推理的,并不是固执地想要某些东西,我们不是5岁的孩子,凭喜好做决定。再就是,你必须聪明,我们以很小的代价实现了CUDA的商业化,到处寻找匹配的应用程序,比如CT重建、地震处理、分子动力学等,是这些支撑着CUDA的运行,为我们赢得了时间,可以等待CUDA的爆发。
现场推理AI的未来
主持人:让我们来谈谈AI,假设当今世界上所有GPU的计算力之和为X,你认为我们5年后算力会达到多少X?
黄仁勋:让我们来推理一下,假设世界上已经投资安装了价值一万亿美元的数据中心用以计算,当世界加速一切数据处理时,我们每个数据中心、每台计算机都将成为加速服务器。如果未来4~6年内计算机行业没有任何增长,那么到时候只需要更换一万亿美元的设备。如果计算机行业继续以20%左右的速度增长,那么我们可能需要在接下来的过程中投入2万亿美元来更换设备,确保GPU没问题。
第二点,类似我们之前经历过的工业革命,我们正在做一些以前从未做过的事情——正在生产token、浮点数(Floating-point
number),这些token和浮点数具备高价值,它们是智能的,可以将其转化为英语、法语、蛋白质、化学品、图像图形、机器人关节等,我们正在大规模生产token,还可以用人工智能来生产几乎任何类型的token,这些token将在AI工厂中生产出来。
上一次工业革命中,水进入机器,转化为蒸汽后产生了电,现在新的工业革命中又将电转化为token,就像上一次工业革命刚开始时还没人意识到电的价值一样,现在大家也还没理解这些token的价值。在未来的10年里,这些token将创造新的产品、服务,提高整个行业的生产力,这是一个价值超过一百万亿美元的行业。
主持人:Llama-3的发布引起了广泛关注,这似乎是目前为止最令人印象深刻的开源模型,关于开源模型你有什么想法?
黄仁勋:如果你问我过去几年最重要的事件是什么,我会告诉你第一件事是ChatGPT的推出,显然这是一个突破,AI让每个人都可以成为程序员,赋予每个人用计算机创作的能力。那么第二件重要的事情就是Llama-2的推出,Llama-2激活了几乎所有行业,打开了行业的闸门,让医疗、保健、金融服务等各行各业都能使用这款AI工具。因为Llama-2和Llama-3是开源的,它使得生成式人工智能变得可访问。所以我认为ChatGPT降低了计算的门槛,而Llama降低了参与生成式人工智能的门槛,如果没有它,我们很难启动所有关于AI安全的研究,所以它的出现意义重大。
主持人:不少人都在预测AGI时代的到来是可以想象的,甚至有人预测会在2027年实现AGI,你怎么看?
黄仁勋:这取决于你如何定义AGI,作为一名工程师,我明白只有在能够衡量问题的情况下才能解决问题,所以我们必须先理清楚AGI的定义,做到了什么才算实现了AGI。如果用目前的基准列表去衡量,像数学测试、英语测试或其他推理测试等,我们可以列出一长串测试名单。如果人工智能只需要在这些测试中取得优异成绩,便可判断已实现AGI,那我认为这种情形有可能在5年之内实现。我们目前进行的所有测试都是为了能够去衡量模型的智能程度,而且我们也能看到这些模型的准确性在不断提高,出错率每六个月就能降低一半,没理由不相信AGI在不久的将来就能实现。不过要明确一点,这种AGI不符合普通人的标准,只是我作为一个工程师对它的定义。那什么时候可以以未定义的方式实现AGI,这个目前还无法给出答案。
主持人:企业和个人都在面对人工智能带来的变化,对于我们如何应对这些变化,你有什么建议?
黄仁勋:需要明确的是,人们不是因为人工智能而失去工作,而是输给那些会使用人工智能的人。公司也不会因为人工智能而倒闭,只会输给那些使用了人工智能的公司。所以必须尽快学会使用人工智能,这样后续才有机会去做那些你认为成本很高的事情。我很喜欢用AI,学着怎么正确地提出问题,有时候我知道答案,但还是想问问人工智能,看看它们会给我什么答案。我们希望使用AI的成本尽可能低,这样才能推广,更多的人和公司使用人工智能,才能给公司带来收益,创造更多就业岗位,促进社会增长。
主持人:除了改变你们公司的制造计划和资本支出计划,AI还如何改变英伟达的内部运作呢?
黄仁勋:我们是第一批投资自己的AI超级计算机的科技公司之一,AI深度参与了我们设计芯片的过程,AI正在帮我们探索设计空间,因为我们自己做这件事会很费钱,由AI代劳更方便。我们还使用AI来发现工作中的文件错误。我们的错误数据库会告诉你是什么代码出了问题,谁可能参与其中,并提醒那个人去修复它。我希望公司的每个组织都非常积极地使用AI,我想把英伟达变成一个巨大的人工智能系统,等到了那一步,我想我的工作和生活也就有界限了。
主持人:在你的经历中,有没有什么用例是让你意识到人工智能带来的机遇?
黄仁勋:人工智能给我们带来了巨大的惊喜,当我们谈论大型语言模型时,其实“语言”并不只是人类语言,更应该是一种可以理解生命的语言。我们要弄清楚大模型到底在标记什么,可以是人类语言,也可以是SQL、ABAP(高级商务应用编程)或者任何其他专用语言,你会逐渐意识到这个“语言”有着更广泛的含义。
主持人:英伟达作为第一批进入人工智能领域的科技公司,未来是打算训练出一个可以完成所有事情的超级大模型,还是专注某个问题的专用大模型?
黄仁勋:拥有超级大模型来帮助推理解决一般问题肯定很棒,但对于我们这些拥有特定领域专业知识的公司来说,不得不训练自己的专用模型,因为我们有自己的专用语言,其中99%~99.3%之间的差异对我们来说就是生与死的差别,所以专用模型对我们更有价值,也更重要。
英伟达的小团队能干大事
主持人:苏姿丰是你的表亲,她现在是AMD的首席执行官,AMD也是你们在GPU领域的竞争对手之一,我们在GPU领域的两家最重要的公司,是由你们这两位带有亲属关系的CEO领导,你怎么看这种奇妙的缘分?
黄仁勋:我们是一家人,都在同一个行业里。但其实我也不知道这是怎么发生的,我和苏姿丰并没有一起长大,之前甚至不认识彼此,直到她去了IBM工作我才知道她,她的职业生涯的确很传奇。
主持人:你从20世纪90年代初就开始在硅谷经营了,在你看来,硅谷文化发生了怎样的变化?
黄仁勋:举个例子,当我创办英伟达时,正好是29岁,脸上长了痘痘,但我需要去和律师、招聘人员还有风险投资公司谈事,额头顶着一个大痘痘,这让我很没有安全感。你要知道当时大多数首席执行官都穿着得体的西装,他们看起来很成熟稳重,顶着大痘痘的我会感到相当不自在,感觉被一群成年人包围了。但是现在,如果你没有痘痘,我都认为你不值得创办一家公司。我的意思是现在的年轻人非常自信和优秀,年轻一代的首席执行官真的很了不起,我花了几十年才明白的事情他们早就学会了。
主持人:英伟达的市值大约是2万亿美元,距离苹果和微软的市值不远了,而苹果和微软分别拥有22万和16万名员工,但英伟达只有2.8万名,连微软的五分之一都不到,你曾和我说过,可以通过流程实现卓越运营,而且推崇终身职位,所以英伟达比任何巨头都小得多,你似乎认为终身职位很重要,能展开说说吗?
黄仁勋:很多伟大的创造都可以通过卓越的运营来实现,但仅仅靠运营也实现不了那些伟大的创造。很多伟大的东西会体现在你的产品,你所创建的公司和你培育的组织中,它需要你的“爱和关怀”。这种感觉很难用语言表达,也没办法将它嵌入到业务流程中,告诉人们具体怎么做,但总要找一些词来说,所以我经常会用“爱和关怀”这类的词来表达这种感觉。
当你拥有一支与你很有默契的团队时,你们已经赋予了公司魔力,让每一个人都不想离开公司,失去现有的一切,而是想抓住它,并一起把公司提升到一个新水平。我不想重置这一切,所以我不喜欢与新人一起工作,我的老员工已经与我建立起默契,我在与他们的相处中沉淀了很多痛苦、快乐和知识,所有这些生活经历,我已经将它编码在共事过的人身上,我想把这种默契继续下去,带着他们走到公司的下一个发展阶段,这就是为什么我推荐终身职位。小团队也可以做伟大的事情,英伟达只有2.8万人,但表现远远超出了人们的预期,我们是多么渺小,当初7000人的团队支撑着价值一万亿美元的生态系统和工业经济,走了这么远,我为我的团队感到骄傲。
https://killer.sh Pre Setup Once you've gained access to your terminal it might be wise to spend ~1 minute to setup your environment. You could set these: alias k = kubectl # will already be pre-configured export do = "--dry-run=client -o yaml" # k get pod x $do export now = "--force --grace-period 0" # k delete pod x $now Vim To make vim use 2 spaces for a tab edit ~/.vimrc to contain: set tabstop=2 set expandtab set shiftwidth=2 More setup suggestions are in the tips section . Question 1 | Contexts Task weight: 1% You have access to multiple clusters from your main terminal through kubectl contexts. Write all those context names into /opt/course/1/contexts . Next write a command to display the current context into /opt/course/1/context_default_kubectl.sh , the command should use kubectl . Finally write a second command doing the same thing into ...
Comments
Post a Comment
https://gengwg.blogspot.com/