最近在公众号“瓜哥AI新知”里看到了两篇对微软CEO纳德拉的访谈纪要整理，里面的内容主要涉及到AGI未来的发展，量子计算，云计算，已经未来AI助手的雏形畅想等等，也间接解释了最近微软不参与美国星际之门项目/取消一些计算中心等事件的原因(看好AI应用，自己不一定做AI基础模型，认为AI对算力的需求是巨大的，但是不是盲目跟，合适的应用出现时会迅速跟上)。个人深受启发，所以做了一些记录。
两篇专访的链接：
一些重要的访谈notes:
关于微软：
- 微软的文化是构建软件工厂，而非专注于单一产品或技术—-》生态的重要性；
当然还有Windows。它是我们最古老的产品之一。所以在某种意义上，他们去到任何可以使用软件工厂来创建软件的地方。所以，有趣的是，我有点想到，甚至这导致了知识工作，对吧？所以我认为这种文化，是如何让最优秀的人才来构建最好的软件工厂，然后创建世界上需要的软件产品？这就是当我回顾过去时所想的。对于在座的各位创始人来说，我认为在回顾我们的50年历史时，这是一个非常强大且有用的框架。因为我认为很多公司有时会爱上一个产品、一种技术、一种商业模式，但所有的事情最终都会耗尽燃料。所以我很想知道，虽然我对此没有定论，但我很想知道这种框架，是否对你所说的文化观点有所帮助，有助于思考进来的人才，努力为软件工厂做出贡献。每次当你有更好的想法，想要在工厂里建造一些新的小玩意时，你都可以重新审视，而不是仅仅爱上你去年建造的小玩意。我很想知道这是否有助于我们保持敏锐的注意力。我不认为文化是静态的；我们所有人都在努力，并且一直致力于学习型的文化。现在，我使用诸如成长型思维模式之类的术语。我想知道我们是否一直拥有这种成长型思维模式和学习型思维模式，因为公司从根本上的框架就是如此。
- 保持相关性而非追求长寿是目标——》专注；
为什么微软不去自己做基础模型？我是这么看的，我们是一家全栈系统公司，我们希望拥有全栈系统能力，而基础模型是一个重要的组成部分。当初我们开始与OpenAI合作时，实际上是基于一个信念的押注，也就是当时Sam、Ilya、Greg和其他人对大规模扩展的坚定信心。事实上，很有意思的是，我第一次读到的Scaling Laws论文，好像是Dario写的。我下的赌注是，特别是当它与自然语言结合时。如果不是自然语言，我不认为我们会做到今天这样。因为我们是一家知识工作者公司，我们对自然语言非常着迷。这是Bill多年来一直坚持的事情。所以，当有人说，我要把计算能力投入到自然语言中，也许我们可以得到一些扩展法则。因为我们一直痴迷的是将世界模式化，对吧？也就是人、地点、事物，然后去构建最伟大的本体和模式。我们认为智能将由此产生。我们在这上面走了很多弯路。然后我感觉，哇，我一直觉得不舒服，因为世界太混乱了，SQL无法处理。所以我说，总会有人以不同的方式找到某种语义表达的方法。这就是当时的赌注，我并不清楚它是否会成功，但它开始起作用了。所以我看到的是，我们有一个非常棒的商业伙伴关系。我们拥有所有我们想要和需要的，以及这种能力。就像我一直说的，我们在它下面构建了一个系统。我们围绕它构建了工具。我们正在构建基于它的产品。所以在某种程度上，我与OpenAI保持着长期稳定的关系，并且我们拥有IP权利。因此，我们也会想要构建。就像我们构建了Phi。你知道，Mustafa和他的团队拥有他们在Pi之前所拥有的能力。我们在微软也拥有这种能力。在这一点上，如果只是为了证明这一点，那就没有意义了。我相信模型正在变得商品化。事实上，OpenAI不是一家模型公司，而是一家碰巧拥有出色模型的产品公司，这对他们和我们，作为他们的合作伙伴来说，都是一件好事。所以，我现在想去到我认为正在形成的行业结构表明，模型本身是不够的，拥有一个完整的系统堆栈和成功的产品——这两者才是关键。
- 不应认为过去的一切都是坏的，新领导者并非拯救者（结合最近老东家Intel的两任CEO pat和陈立武，百感交集）；
- 战略合作的目的是建立商业关系，而不仅仅是投资回报；
- 对失败的容忍度： 允许尝试，并认识到不可能所有事情都做对。
关于AI和云计算
主持人德瓦克什： 人工智能的价值将会在哪里创造？萨提亚·纳德拉： 这是一个很好的问题。至少以我目前的看法来看，有两个地方我可以比较有信心地说。一个是超大规模厂商会做得很好。因为根本的一点是，如果你回顾Sam和其他人描述的方式，如果智能是计算力的对数，那么谁能进行大量的计算，谁就是大赢家。另一个有趣的事情是，如果你看看任何AI工作负载的底层，比如ChatGPT。并非每个人都对GPU方面发生的事情感到兴奋。这很好，但它是一个比率，事实上，我甚至将我的集群视为AI加速器、存储和计算的比率。而且，从规模上看，你必须扩大它。因此，世界对这种基础设施的需求将会呈指数级增长。事实上，拥有这些AI工作负载简直是天上掉馅饼，因为你知道吗？它们对更多计算能力更加渴求，不仅仅是为了训练，而且我们现在知道对于测试时间也是如此。正如我所说，测试时间，这里有一件有趣的事情。当你想到一个AI代理时，事实证明，AI代理将呈指数级地增加计算使用量，因为你现在甚至不受仅仅一个人类调用程序的限制。而是一个人类调用程序，这些程序又调用了更多的程序。这将为计算基础设施创造巨大的需求和规模。所以我们的超大规模业务，Azure业务，我认为那是一个很大的机会。之后，事情变得有点模糊，因为你可以说，存在一个赢者通吃的模型。我只是不这么认为，因为这是我学到的另一件事，非常擅长理解哪些是赢者通吃的市场，哪些不是，在某种程度上，是至关重要的。我记得甚至在早期我开始接触Azure时，Amazon已经拥有非常显著的领先优势，人们会来找我，投资者会来找我说，哦，游戏结束了，你永远不会成功。Amazon，它就是赢者通吃。但是，在与Oracle和IBM以及客户端-服务器竞争之后，我知道，买家不会容忍赢者通吃。从结构上讲，超大规模永远不会是赢者通吃，因为买家很聪明。消费者市场有时可能是赢者通吃，但是任何买家是公司、企业、IT部门的地方，他们都希望有多个供应商。因此，你必须是多个供应商之一。我认为即使在模型方面也会发生这种情况。因此，会有开源，会有一个管理者。就像在Windows上一样，我学到的一个重要教训是，如果你有一个闭源操作系统，就会有一个补充，那就是开源。因此，在某种程度上，这实际上是对所发生事情的一种制约。所以我认为在模型方面，也许存在一些闭源的东西，但肯定会有一个开源替代方案。最终，开源替代方案实际上将确保闭源的赢者通吃得到缓解。所以这至少是我的感觉在模型方面。顺便说一句，如果这东西真的像人们说的那样强大，我们不要低估国家不会坐视不理，等待私营公司满世界乱跑。 所以我并不认为这是一个赢者通吃的局面。 在那之上，我认为这还是一样的老一套，也就是在消费者领域，在某些类别中，可能会有一些赢者通吃的网络效应。毕竟，ChatGPT就是一个很好的例子。我的意思是，它就像一个大规模的消费者产品，已经获得了真正的逃逸速度。我去应用商店，我看到它总是在前五名。我说，哇，这真是令人难以置信。所以他们能够利用这种早期的优势，并将其转化为应用程序优势。因此，在消费者领域，这种情况可能会发生。在企业领域，我认为在每个类别中，都会有不同的赢家。所以这至少我是这么分析的。
- AGI里程碑的炒作不可信： 真正的衡量标准是AI能否推动世界经济以10%的速度增长。——》不要过分限制AI，也不要过分夸大某个AI产品，重点是先用起来，看看能否提升自己的生产力。
- 超大规模厂商和基础设施提供商将受益： AI对计算能力的需求将呈指数级增长，利好Azure等云服务。—-》杰文斯悖论（术进步提高了某种资源的使用效率，反而导致该资源的总消耗量增加的现象），需求只会越来越大。
- 自主行为超越Co-pilot，目标是减轻知识工作的苦差事—-》AI的一大重要作用就是专用化，代替人类进行一些重复的知识性劳动，这些劳动往往场景确定，指令确定，方便AI进行处理。还有一类是模糊指令，比如创作和科学研究等等，这些可能需要时间去突破；
- 存在三种并行发生的AI趋势：知识工作、现实世界行动模型、科学模型—》AI搜索/AI agent/AI for science；
- 超大规模数据中心运营的专业知识： 复制全球计算能力非常困难，运营专业知识至关重要。—-》AI基础设施的建设，运维等等需要非常多的专业知识和专业人才
- 需要对底层系统进行第一性原理的重新架构，以支持AI—》AI infrastructure的重要性，目前的AI软件栈太复杂和庞大，且存在各种兼容性问题，未来不会是NV一家通吃的局面；
- 现有AI系统还未迎来“存储程序”的时刻，缺少健壮的多模型内存系统—-》这一点其实很有意思，之前很多人提围绕LLM构建新的操作OS，比如kv cache是内存，LLM是cpu，token是指令等，但是token很长（比如1M）之后，LLM的使用场景就很受限（推理速度，精度，cost等）。去年很多工作都是围绕kv-cache的优化来的，目的就是为了把token的处理维度可以变得scalable。另外一点就是多模型组合/或者多MOE之类的进行分task处理等，总之就是目前的架构还不能最终确定，但是方向是使用大模型来驱动未来个人助手引擎。
- 推理收入是关键： 要关注将AI转化为实际客户价值的能力，供给和需求需平衡。——》训练可能是一次性的，推理时思考，或者推理时微调等等可能会占据大部分算力。
- 新的AI用户界面： Copilot是关键，每个人都需要一个智能代理管理器来管理与多个AI代理的交互。——-》未来每个人都会有一个智能助手，关于这个助手的形态和界面，不一定是和现在的软件产品界面类似，需要重新定义。
- 需要控制AI的运行时环境： 通过沙盒等技术限制AI的行动空间，防止AI造成伤害。
- 关注未被充分服务的领域： 如医疗保健、教育和公共服务，将科技转化为更好的服务。——》不要总是盯着chat/code/image等单纯的领域看,要把产品结合到社会上大的基础服务领域，这个里面会有很多的利润和更大的社会变革。
- 混合现实/AR/VR/元宇宙依然很有潜力。
关于竞争和人才
- 身处竞争激烈的领域胜过身处可能获胜但毫无意义的领域；
和卓越的对手竞争使你变得更强大和敏捷就是这样。我很高兴看到今天早上的比赛，但我对板球很痴迷。我认为每个南亚人也一样。 不过，至少在我的生命中的这个阶段，我一直在思考竞争。我想确保我专注于正在进行的游戏，而不是仅仅参加游戏，并且更加深思熟虑。我觉得创始人从本质上来说就是在做这件事，因为这就是你定义一家公司的方式。你会问自己：“我想玩什么游戏？” 然而，竞争也包括首先挑战自己，以确定正确的竞争范围。这是科技行业的另一个重要方面。如果我回顾我自己的经历，我很幸运能拥有一个独特的故事。我于 1988 年来到美国，柏林墙于 1989 年倒塌，我于 1990 年进入科技行业。真是不可思议的旅程！这真是一段令人难以置信的时光。所以，问题就出现了：什么是设置和竞争范围？ 我意识到这是最重要的考虑因素。 你想进入一个拥有卓越竞争对手的行业或领域。 事实上，身处竞争激烈的领域胜过身处你可能会获胜但毫无意义的领域。 因此，我开始更多地将我的思维导向于正在进行的游戏，而不是你想要玩的游戏。
- 培养孩子的好奇心、批判性思维和常识，而非过度强调专业知识—-》AI越来越强大，专用，仅仅花费大量时间去人为精通某一项技能可能得不偿失，应该转换思维，学会使用AI进行创造和提高生产力；
- 培养自信心，让孩子能够探索和创造—-》多去学习，接触不同的东西，不能让人把时间过多浪费在手机短视频等娱乐上；
关于量子计算
- 量子计算的“晶体管时刻”： 实现了马约拉纳零模的存在性证明，有望构建百万量子比特的马约拉纳芯片（Majorana 1）。
- 量子计算与经典计算共存，前者擅长探索数据空间，后者擅长处理数据密集型工作负载；
- 量子计算机擅长模拟和探索状态空间，尤其是在化学、物理和生物学领域；
- AI与量子的协同： 使用量子技术生成合成数据，然后使用这些数据训练AI模型，模拟化学和物理过程；
