开云APP官方入口400-123-4567
站内公告：
2024-04-17 05:27:07
神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。
编者按：从2014年开始，Matt Turck每年都会推出一个反映大数据、机器学习、人工智能整体格局的版图，今年已经是第十个年头。跟往年不一样的是，这个整体格局从来都没有像今天那样的令人兴奋和充满希望，以至于今年上榜的企业达到了令人瞠目结舌的2000多家，多到已经很难看清上面的logo，研究完这个版图，就可以对MAD的整体格局有大致了解了，从中也能看出美国在这个领域的基础有多雄厚，国内的从业者还需要奋起直追啊。文章来自编译。
在对这一领域进行探索的十多年里，情况从未像今日这般的令人兴奋和充满希望。多年来，我们所描述的各种趋势与子趋势已经开始融合：数据已被大量数字化；可以利用现代工具快速且廉价地存储、处理和分析；最重要的是，这些数据被投喂给表现越来越好的机器学习/人工智能（ML/AI） 模型，供后者理解数据、识别模式、并在此基础上进行预测，而现在，还可以生成文本、代码、图像、声音与视频。
MAD（机器学习、人工智能与数据）生态体系已经从小众和技术性事物走向主流。这种范式转移似乎正在加速，其影响远远超出了技术甚至商业范畴，逐渐对社会、地缘政治，或许还有人类状况施加影响。
不过，在这个以数十年为尺度的大趋势里，仍有许多篇章有待书写。跟往年一样，这篇文章试图对产品、公司以及行业趋势方面的现状进行一番梳理。
怎么会发展至此呢？其实本质上主要是由于背靠背的两波大规模的创业与融资潮造成的。
这第一波浪潮是长达 10 年左右的数据基础设施周期，从大数据开始，以现代数据栈结束。、这个领域期待已久的整合尚未发生，绝大多数公司仍然活着。
第二波浪潮是机器学习/人工智能周期，这是从生成式人工智能开始的。由于我们正处于这个周期的早期阶段，而且大多数公司都非常年轻，所以那些年轻的初创企业（其中很多仍处于种子阶段）我们一直都没拿掉。
注意：这两波浪潮密切相关。每年MAD版图的核心思想是展示数据基础设施（左侧）、分析/BI 及 ML/AI（中间）以及应用（右侧）之间的共生关系。
尽管不断增加的公司已经让这个版图变得越来越挤，但到头来最好是将 MAD 这个领域看作是一条装配线——数据从收集到存储再到处理，然后通过分析或应用交付价值的一个完整的生命周期。
我们对版图左侧的整体结构做了些许改变——正如我们将在下面的（现代数据栈已经死了吗？）所看到那样，MAD 版图的这一部分最近热度已经低很多了。
一些值得注意的变化：我们把“数据库抽象”重命名为“多模型数据库及抽象”，为的是匹配围绕着一体化“多模型”数据库（SurrealDB*、EdgeDB）的上升浪潮；版图还取消了我们去年实验性创建的“Crypto / Web 3 Analytics”部分，在当下放进来感觉已经不再合适了；同时删除了“查询引擎”板块，、因为这个感觉更像是某个哦板块的一部分，而算不上独立板块（这部分的所有公司仍然留在版图里面 – 比如Dremio、Starburst、PrestoDB 等）。
随着 2023 年人工智能公司出现了爆炸式增长，这个板块的结构性改变是最大的。
——“人工智能可观察性”（ AI Observability）是今年出现的新类别，里面纳入了帮助测试、评估和监控大语言模型应用的初创企业
——“人工智能开发者平台”（ AI Developer Platforms）在概念上与 MLOps 很接近，但我们希望完全专注于人工智能应用开发的这股平台浪潮，尤其是围绕着大语言模型训练、部署和推理的平台能得到认可
——“人工智能安全与保障”（ AI Safety & Security）包括应对从幻觉到道德、监管遵从性等等大语言模型相关关切的公司
如果说山姆·阿尔特曼（Sam Altman）与埃隆·马斯克之间的公开争执告诉了我们什么事情的话，那就是对于基础模型开发者来说，商业与非营利组织之别至关重要。因此，我们将之前的“横向人工智能/通用人工智能”分为两类：“商业人工智能研究”以及“非营利人工智能研究”
我们做出的最后一项变更是术语方面，我们修正了“GPU Cloud”，为的是反映许多 GPU 云提供商添加的核心基础设施功能集：“GPU云/机器学习基础设施”（GPU Cloud / ML Infra）
毫无疑问，这里面最大的更新是每一家应用层的公司现在都自称是“人工智能公司”了——尽管我们已经尝试过滤了，但从MAD版图右侧可以以看出，新logo仍出现了爆发式的增长
——在“水平应用”板块，我们增加了“演示与设计”（ Presentation & Design）这个类别
——我们还将“搜索”重命名为“搜索/对话式 人工智能”，好体现出大模型使能的聊天型界面（比方说 Perplexity）的兴起。
“开源基础设施”（Open Source Infrastructure）的主要变化
这次我们把一直都很接近的类别合并在一起了，建立了一个叫做“数据管理”（Data Management）的类别，把 “数据访问”（Data Access）与“数据操作”（Data Ops）都放进去了
我们还增加了一个重要的新类别， “本地人工智能”（Local AI），背景是开发者正寻求提供基础设施工具，实现人工智能与大模型开发的本地化
人工智能领域的发展速度实在是太快了，覆盖面实在是太广了，以至于像前几年那样用一张图概括MAD 领域的现状已经不再可能。
所以，今年我们的形式有所不同：我们俩列举了24 个最受关注和/或在对话中经常出现的主题（排名不分先后）。里面有些是相当充实的想法，有些基本上只是问题或思想实验。
因此，也许作为这篇 2024 年讨论文章的引子，这里预先提醒一下，因为这个区分解释了某些关键的行业趋势。要注意：不是所有的数据都是一样的。尽管有过度简化的风险，但可以说数据主要可分为有两个家族，而围绕着每一个家族，已经冒出了一系列的工具与用例。
——出于分析目的，我们将数据从事务数据库与 SaaS 工具中析取出来，存进云数据仓库（如 Snowflake）之中，再用商业智能 (BI) 工具进行转换、分析和可视化，其目的主要是为了了解现在和过去（也就是所谓的“描述性分析”）。这条装配线通常是靠接下来要讨论的现代数据栈促成的，分析就是它的核心用例。
——此外，结构化数据还可以喂给“传统”机器学习/人工智能模型，用来预测未来（预测分析）——比方说，预测哪些客户最有可能会流失掉
非结构化数据（ML/AI）现在正炙手可热；而结构化数据（现代数据栈等）则被冷落了。
不久前（也就是 2019-2021 年间），在软件世界里，还找不到比现代数据栈 (MDS) 更性感的东西。跟“大数据”一样，它是超越了数据工程师出圈到更广泛的受众（高管、记者、银行家）的罕见基础设施概念之一。
上面提到的那种结构化数据管道现代数据栈基本上全都涵盖了。其核心是快速增长的云数据仓库，在其上游（如 Fivetran 和 Airbyte），下游（Looker、Mode）、以及其基础之上（DBT）围拢着各种提供商。
随着 Snowflake 成为有史以来规模最大的软件 IPO，大家对 MDS 的兴趣一下子爆发了，ZIRP（零利率） 推动了创业与风投的狂热。在一两年之内，MDS整个门类一下子变得拥挤不堪——数据目录、数据可观察性、ETL、反向 ETL 等等冒出了不少公司。
现代数据栈既是解决实际问题的真正解决方案，也是一种营销概念，同时还是数据价值链上上下下众多初创企业之间事实上的联盟。
时间快进到今日，情况已大不相同。 2023年，我们曾预见到MDS将“面临压力”，而这种压力在2024年只会继续加剧。
搭建现代数据栈需要将多个独立提供商的各种最佳解决方案拼接在一起。所以，无论是从金钱、时间还是资源上看这种做法都非常昂贵的。在后 ZIRP 时代，随着预算削减，首席财务官办公室已经不看好这种技术
MDS 不再是街上最靓的那个仔。生成式人工智能把高管、风险投资家以及媒体的所有注意力都吸引走了——它需要的是我们前面提到的那种非结构化的数据管道。
鉴于前面提到的情况，2024 年数据基础设施与分析领域接下来会如何发展呢？
做现代数据栈的许多初创企业会主动自我重新定位为“人工智能基础设施初创企业”，并试图在现代人工智能栈（Modern AI Stack）中找到一席之地（见下文）。在某些情况这种做法是可行的，但在大多数情况下，从结构化数据变成非结构化数据得要进行根本性的产品演进才行。
数据基础设施行业最终将出现一些整合。迄今为止，并购活动相对不够活跃，但 2023 年确实达成了若干收购，包括大型和中型的收购，比如 Stemma（被 Teradata 收购）、Manta（被 IBM 收购）、Mode（被 Thoughtspot 收购）等（见下文第三部分）
关张的初创企业会增多——随着风投资金的枯竭，情况会变得更为艰难。尽管许多初创企业大幅削减了成本，但到了一定适合他们手头的现金终将消耗殆尽。不要指望看到哗众取宠的新闻头条，但这种情况一定是会出现的。
该领域规模大一点的公司，无论是正在扩张的创业公司还是上市公司，都会往平台的方向加倍下注，并努力覆盖更多的功能。其中部分将通过收购（也就是是整合）的方式实现，但很多也将通过自行开发的方式实现。
说到这个领域的大公司，不妨了解一下Snowflake 和 Databricks 这两个关键数据基础设施玩家所造成的“巨大冲击”。
Snowflake（从历史上看，属于结构化数据管道世界的一员）仍然是一家令人难以置信的好公司，也是估值最高的上市科技股之一（截至撰写本文时，其EV/NTM 之比为 14.8 倍）。不过，跟软件行业的众多公司一样，其增长速度已大幅放缓 - 2024 财年公司的产品收入同比增长率为 38%，总计为 26.7 亿美元，预计NTM（公司未来一年的收入预期） 增长率为 22%。也许最重要的是，Snowflake 给人的印象是这是一家在产品方面面临压力的公司——拥抱人工智能的速度比较迟缓，而且收购的欲望也相对较低。而最近，有点突然的CEO更迭是另一个有趣的数据点。
Databricks（从历史上看属于非结构化数据管道与机器学习世界）则正享受着强劲的上升势头，据报道（因为它仍然是一家私营公司）其在 24 财年结束时的收入为 16 亿美元，增幅超过了50% 以上。重要的是，在双管齐下的策略下，Databricks 正在成为一个关键的生成人工智能玩家，它进行了数桩收购，其中最著名的是 13 亿美元对 MosaicML的收购，同时仍在强化自己的产品开发 - 首先也是最重要的是为大预言模型提供非结构化数据关键存储库，同时它本身也是模型的创造者，比如 Dolly ，以及最新发布的生成式人工智能模型 DBRX。
Snowflake 与 Databricks 之争的一个比较的新进展是 Microsoft Fabric 的推出。后者是在 2023 年 5 月发布的，属于一个数据和分析的端到端的、基于云的 SaaS 平台。上面集成了众多的微软产品，包括OneLake（开放的湖仓一体）、PowerBI以及Synapse Data Science，基本上涵盖了从数据集成和工程乃至于数据科学的所有数据和分析工作流。跟往常一样，大公司的产品发布与实际产品表现之间是有差距的，但如果加上微软在生成式人工智能方面的大力推动，Microsoft Fabric的推出可能会成为巨大威胁（这个故事还有一个关键，Databricks 对Azure的依赖程度很高）。
在现代数据栈和结构化数据管道世界里，给人感觉进行重塑条件最成熟的类别是商业智能。在 2019 年的 MAD 版图中，我们强调了商业智能行业已经几乎完全整合的情况，并在2021 年的 MAD 版图中讨论了指标存储的出现。
商业智能/分析的变革比我们预期的要慢。这个行业仍然主要由旧产品主导，比方说微软的 PowerBI、Salesforce 的 Tableau 以及谷歌的 Looker，这些产品有时会免费捆绑进更大的销售合同里面。该版块还发生了一些整合（Thoughtspot 收购了 Mode；Sisu 被 Snowflake 悄悄收购）。一些年轻一点的公司正在采取创新的做法，，但总的来说它们还处在起步阶段。
除了在数据提取和转换方面有可能扮演强大角色以外，生成式人工智能还可能在为数据分析提供超级能力和民主化方面产生深远影响。
肯定会有很多活动。 OpenAI 推出了 Code Interpreter，后来更名为 Advanced Data Analysis。微软在 Excel 中为财务人员推出了 Copilot AI 聊天机器人。在云提供商、Databricks、Snowflake、开源界以及大量初创公司当中，很多正在开发或已经推出了“文本转 SQL”产品，好帮助用自然语言对数据库运行查询。
这样的前景既令人兴奋，又可能具有颠覆性。数据分析的圣杯是大众化。自然语言如果能成为笔记本、数据库和商业智能工具的界面的话，将会让更广泛的人群能够进行分析。
不过，BI 行业有很多人对此表示怀疑。 SQL 的精确性以及理解查询背后业务上下文的微妙之处被认为是自动化的一大障碍。
如前所述，非结构化数据基础设施领域正在经历一个非常不一般的时刻。非结构化数据是大语言模型的食量，对它的需求非常旺盛。每家正在试验或部署生成式人工智能的公司都在重新发现这句老话的价值：“数据就是新的石油”。人人都想获得大语言模型的力量，但前提使用他们自己的（企业）数据训练。
一些扩张期的人工智能公司一直在积极发展自己的产品，为的是抓取市场势头——其中包括Databricks（见上文），Scale AI（原先是为自动驾驶汽车市场开发的标签化基础设施，、现在已成为OpenAI 等公司的企业数据管道合作伙伴），以及 Dataiku*（这家公司推出了 LLM Mesh，让全球 2000 强公司能够适配多个 LLM 提供商与模型无缝工作）。
与此同时，新一代人工智能基础设施初创企业正在涌现，这些公司覆盖了多个领域，包括：
矢量数据库（Vector databases），以生成式人工智能模型可以消费的格式（矢量嵌入）存储数据。专业提供商（Pinecone、Weaviate、Chroma、Qudrant 等）度过了辉煌的一年，但部分既有数据库厂商 (MongoDB) 也迅速做出反应，添加了自己的矢量搜索功能。关于更长的上下文窗口能不能完全消除对向量数据库的需要一直存在争论，争论双方立场鲜明。
连接和编排所有活动件的框架（Frameworks），比如LlamaIndex、Langchain 等
护栏（Guardrails），位于 LLM 与用户之间，确保模型提供遵循组织规则的输出。
帮助测试、分析和监控生成式人工智能模型性能的评估器（Evaluators），这是一个难题，对公共基准的普遍不信任就证明了这一点
路由器（Routers），帮助将用户查询实时转交给不同的模型，以优化性能、成本和用户体验
端点（Endpoints），有效地抽象出底层基础设施（如模型）复杂性的 API
以现代数据栈的历史为鉴，我们一直比较使用“现代人工智能技术栈”这个词。
但这样的表述其实捕捉到了二者之间的许多相似之处：许多初创公司都是当今的“热门公司”，就像之前那批 MDS 公司一样，他们倾向于结伴而行，组件营销联盟及产品合作伙伴关系。
新一代人工智能基础设施初创公司将面临与之前的 MDS 公司同样的挑战：这类公司中的任何一家都能大到做成一家价值数十亿美元的公司吗？大公司（主要是云提供商，也包括 Databricks 和 Snowflake）最终会自己去建设基础设施的哪些部分呢？
人工智能的夏天和冬天动辄数十年。就在过去这 10-12 年的时间里，我们已经经历了人工智能的第三次炒作周期：2013-2015 年有过一次，开云APP那是在 2012 年 ImageNet 冒头之后深度学习成为众人瞩目的焦点；另一次是在 2017-2018 年，爆发了聊天机器人热潮， TensorFlow 也开始兴起；从 2022 年 11 月开始，现在我们正经历生成式人工智能引发的第三次热潮。
这次的炒作周期炒作得特别厉害，给人感觉就像一次泡沫，原因有很多：这项技术令人印象深刻；而且大家的热爱是发自肺腑的，并且获得了科技圈以外广大受众的青睐；对于坐拥大笔资金的风险投资家来说，人工智能是现在唯一能玩的游戏，因为科技领域的其他一切都已陷入低迷。
炒作能带来各种常见的好处（“没有非理性繁荣，任何伟大事情都实现不了”，为野心勃勃的各种项目提供大量资金的“百花齐放”阶段），也会出现噪音（所有人一夜之间都变成了人工智能专家，每一家初创企业都变成了人工智能初创企业，冒出了太多的人工智能会议/播客/newsletter……以及太多的人工智能市场地图？？？）。
市场进入这个阶段会冒出相当多的“古怪”与风险：这个领域的明星公司有着非同寻常的法律和治理结构；存在许多尚未被人完全理解或披露的“股权计算”交易（可能存在转手套利）；许多顶级初创企业都是由人工智能研究者团队运营的；许多风险投资交易让人想起了零利率时代：“抢地盘”、大额融资轮，以及非常年轻的公司就拿到了惊人的估值。
人工智能的炒作确实出现了一些破灭的迹象（见下文），但我们仍处在每周都会有新事物让每个人大吃一惊的阶段。400 亿美元的沙特阿拉伯人工智能基金（Saudi Arabia AI）之类的消息似乎表明，该领域的资金流入不会很快停止。
跟上述相关——鉴于存在这种炒作，到目前为止，这个领域的东西有多少是真实的，而不是仅仅是实验性的？
2023 年是密集行动的一年：a) 每一家技术提供商都在争先恐后地将生成式人工智能纳入自己的产品之中，b) 每一家全球 2000 强的董事会都要求自己的团队“做人工智能”，部分企业部署的速度创下了纪录，其中包括摩根士丹利和花旗银行等受监管行业，c）当然，消费者对生成式人工智能应用表现出了浓厚兴趣。
因此，2023 年可谓是取得重大胜利的一年：OpenAI 的年经常性收入达到了 20 亿美元； Anthropic 的增长速度令其 2024 年的预测年收入将达到 8.5 亿美元； Midjourney 在没有投资和团队只有 40 人的情况下收入增长到 2 亿美元； Perplexity AI 月活用户数从 0 增长到 1000 万……
在企业领域，大量支出花在了概念验证或一些没有难度的事情上，这些钱通常来自创新预算。
这些支出当中有多少是高管们出于不想让自己显得措手不及而做出的？但其实并没有用来解决实际的业务问题？
很多人表示自己并不完全确定该如何利用生成式人工智能应用和产品，无论是在个人生活还是职业生活当中
并不是所有的生成式人工智能产品都能变得神奇，即便是那些由最优秀的人工智能人才开发的产品： Inflection AI 在筹集了 13 亿美元后很快就垮掉了，我们是不是应该把这个看作是承认这个世界已经不需要又一个人工智能聊天机器人，甚至是LLM提供商了？
因此，在过去这 18 个月的时间里，大家最喜欢问的一个问题是：我们是不是正在目睹着现象级的资本被惊人地烧进最终会被商品化的产品之中？还是说这些 LLM 提供商会成为是新的 AWS、Azure 以及 GCP（编者注：分别是亚马逊、微软和谷歌的云服务）？
（对于相关公司而言）一个令人不安的事实是，似乎没有哪个大语言模型在表现上能建立起持久的优势。在本文撰写时，Claude 3 Sonnet 与 Gemini Pro 1.5 的性能优于 GPT-4，GPT-4 的性能优于 Gemini 1.0 Ultra，诸如此类 - 但似乎每隔几周情况就会发生变化。这些模型的表现也会波动——ChatGPT 在某些时候会暂时“失去理智”和“变得懒惰”。
此外，开源模型（Llama 3、Mistral 和 DBRX 等其他模型）在性能方面也正在迅速迎头赶上。
另外，市场上的大语言模型提供商已经比一开始时要多得多了。几年前的流行的说法是大语言模型公司也许只有一两家，市场将呈现出赢家通吃的动态——部分原因是全世界只有极少数人拥有扩展 Transformers 所需的专业知识。
事实证明，有能力的团队比最初预期的要多。除了 OpenAI 和 Anthropic 以外，还有很多初创企业在从事基础人工智能方面的工作——Mistral、Cohere、Adept、AI21、Imbue、01.AI 等等——当然还有谷歌、Meta 的团队。
话虽如此，到目前为止，大语言模型提供商似乎做得很好。 OpenAI 和 Anthropic 的收入正在以惊人的速度增长。也许LLM模式最终确实会商品化，但摆在LLM公司面前仍然有巨大商机。他们已经变成了“全栈”公司，在底层模型之上向多类受众（消费者、企业、开发者）提供应用和工具。
也许将之与云提供商进行类比确实十分恰当。 AWS、Azure 与 GCP 通过应用/工具层吸引并留住客户，同时通过基本上没有差异的计算/存储层实现盈利。
虽然 LLM 变得越来越大（据报道 GPT-3 有 1750 亿个参数，而 GPT-4 据说参数高达 1.7 万亿个，全世界都在等待更大规模的 GPT-5），但对于许多用例来说， SLM 正在成为一个强大的替代品。它们的操作成本更低，微调更容易，并且性能往往更加强大。
另一个加速趋势是专门模型的兴起，这类模型聚焦在特定任务，如编码（Code-Llama、Poolside AI）或特定行业（如彭博社的金融模型，或初创企业 Orbital Materials 为材料科学开发的模型等）上。
正如我们已经从很多企业的部署所看到的那样，这个世界正在迅速朝着混合架构发展，其应用结合了多种模型。
尽管价格一直在下降（见下文），但大型的专有大语言模型仍然非常昂贵，会遭遇延迟问题，因此用户/客户逐渐部署更多模型组合，不管是大模型还是小模型，是商业的还是开源的，通用也好专业也罢，只要能满足他们的特定需求和成本约束就行。
ChatGPT 推出后发生了一件趣事：此前部署的大部分人工智能一夜之间就被贴上了“传统人工智能”的标签，与“生成人工智能”形成了鲜明对比。
这一点让众多人工智能从业者和公司感到震惊，因为“传统”这个词清楚地表明新事物即将全面取代所有形式的人工智能。
但现实情况则要微妙得多。传统人工智能与生成人工智能互补性是非常强的，因为各自处理的是不同类型的数据和用例。
现在被贴上“传统人工智能”标签，或偶尔被叫做“预测人工智能”或“表格型人工智能”（tabular AI）的人工智能，也是（基于深度学习的）现代人工智能的重要组成部分。不过，者恶在人工智能通常关注的是结构化数据（见上文）以及推荐、流失预测、定价优化、库存管理等问题。 “传统人工智能”在过去十年当中得到了广泛采用，并且已经在全球数千家公司的生产中大规模部署。
相比之下，生成式人工智能主要处理的是非结构化数据（文本、图像、视频等）。对解决不同类别的问题（代码生成、图像生成、搜索等）非常擅长。
因此未来也是一个混合的为了：企业会用大语言模型来完成某些任务，用预测模型来完成其他任务。最重要的是，他们经常将二者结合起来——大语言模型可能不擅长提供精确的预测，比如流失预测，但你可以用大语言模型来调用另一个专门提供预测的模型的输出，反之亦然。
2023 年大家都喜欢用“薄壳”（Thin wrappers）来嘲讽别人。这种观点认为，如果你的核心能力是由其他人的技术（如 OpenAI）提供的话，那你就很难建立持久的价值和差异化优势。几个月前有报道称，像 Jasper 这样的初创企业在经历收入飞速增长后已经陷入困境，似乎证实了这种想法。
有趣的问题是，随着时间的推移，随着年轻的初创企业开发出更多的功能，会发生什么。薄壳会变成厚壳吗？
去年，AI智能体（AI agents，基本上算是智能系统的最后一公里，通常以协作的方式执行任务）的概念引起了人们的广泛关注。，从帮助预订旅行（消费者用例）到自动跑完整个 SDR 活动（销售开发代表，生产力用例），乃至于 RPA 式的自动化（机器人流程自动化，企业用例），智能体可以是任何东西。
AI智能体是自动化的圣杯——属于一种“从文本到行动”的范式，由人工智能替我们完成工作。
每隔几个月，从去年的 BabyAGI 到最近的 Devin AI（“人工智能软件工程师”），人工智能世界就会为类智能体产品而疯狂。不过，总的来说，迄今为止，这种兴奋在很大程度上被证明是兴奋得太早。在牵涉到多个模型的复杂系统能够协同工作并替我们采取实际行动之前，需要先做很多工作铺垫才能让生成变得不那么脆弱且更具预测性。且目前还缺少一些组件，比方说需要让人工智能系统记得更多。不过，预计AI智能体将在未来一两年成为一个特别令人兴奋的领域。
另一个有趣的领域是边缘人工智能（Edge AI）。尽管大规模运行并以端点形式交付的大语言模型有着巨大市场，但人工智能领域的圣杯之一是可以在设备本地运行的模型，连 GPU 都不要，尤其是能在手机上运行，但也可以是智能的、物联网类型的设备。这个空间非常有活力：Mixtral、Ollama、Llama.cpp、Llamafile、GPT4ALL (Nomic)等都在做这方面的工作。谷歌和苹果在这方面的工作也可能会更加活跃。
考虑到大家对人工智能的各种令人窒息的看法，以及似乎每周都会出现各种令人难以置信的新产品，这个问题几乎是一种亵渎——但是，未来会不会出现一个生成式人工智能的进展放慢而不是一路加速冲向通用人工智能的世界呢？那又意味着什么？
这个看法有双重意义：a）基础模型属于暴力破解，我们耗尽资源（算力、数据）也没法满足它们的需求，b）就算耗不尽，最终通往AGI 的是推理，而这是大语言模型无法做到的。
有趣的是，正如我们在 2018 年的一篇博客文章所述那样，这或多或少与 6 年前业界所讨论的事情是相同的。事实上，自 2018 年以来，发生的最大变化似乎是我们给（能力越来越强）模型提供的数据与算力的绝对规模。
总体而言，我们在人工智能推理方面取得了多少进展还不太清楚——不过 DeepMind 的程序 AlphaGeometry 似乎是一个重要里程碑，因为它将语言模型与符号引擎结合在一起，通过逻辑规则进行推理。
“算力耗尽”的边界似乎每天都被推得越来越远。 英伟达最近发布了 Blackwell GPU 系统，该公司表示，这种系统可以部署参数规模达 27 万亿的模型（ GPT-4 的参数为 1.7 万亿）。
数据部分就很复杂了——一般来说，一个更加战术性的问题是合法许可数据何时耗尽的问题（看看 OpenAI 跟人签署的各种许可协议就知道了），另一个岗位泛化的问题是文本数据的耗尽问题。当然，围绕着合成数据正在开展大量工作。 杨立昆（Yann LeCun） 讨论过如何将模型提升到新水平的问题，这可能需要它们能够摄取更丰富的视频输入，但这个在目前还不可能。
大家对 GPT-5 抱有巨大期望。新模型会比 GPT-4 好多少会被广泛看作是人工智能总体进步步伐的风向标。
从创业生态体系参与者（创始人、投资者）的狭隘角度来看，在中期范围内这个问题也许不那么重要——如果明天的生成式人工智能的发展逼近渐近线，我们仍然有很多年的商业机会，跨多个垂直行业和用例部署我们的产品。
我们目前是正处在算力成为全世界最宝贵商品这个大周期的早期阶段呢，还是由于GPU极其过度的生产，从而必然会导致严重崩溃？
作为几乎是独家能制造支持生成式人工智能 GPU 的公司，英伟达的表现无疑非常出色，其股价上涨了五倍，市值达到 2.2 万亿美元，总销售额自 2022 年底以来已增长了三倍，公司盈利状况令人兴奋，黄仁勋在 GTC 登台亮相的瞩目程度与泰勒·斯威夫特的巡回演唱会不分高下。
生成式人工智能投资：风司通过所谓的“初创企业”这个中介机构向英伟达转账大量资金的过程
无论如何，尽管英伟达作为一家公司有着无可否认的实力，但它的命运将取决于当前这股淘金热的可持续性。硬件很难，准确预测台积电需要制造多少 GPU 是一门很困难的艺术。
此外，从AMD到英特尔再到三星，竞争者正在竭尽全力做出反应；初创企业（比方说 Groq 或 Cerebras）正在加速发展，并且可能还会有新的公司出现，比方说传闻中山姆·阿尔特曼（Sam Altman） 需要 7 万亿美元资金的芯片公司。谷歌、英特尔以及高通等科技公司组成的新联盟正试图追击英伟达的秘密武器：将开发者与英伟达的芯片捆绑在一起的 CUDA 软件。
我们的看法：随着 GPU 短缺情况改善，中短期英伟达可能会面临下行压力，但人工智能芯片制造商的长期前景仍然非常光明。
这个话题只是为了激发大家的讨论。我们是开源人工智能的忠实粉丝，开源显然是去年左右一段时间的一大趋势。 Meta 推出 Llama 开源模型是对这股趋势的重大推动，法国的 Mistral 从争议焦点变成了生成式人工智能新的闪亮明星，Google 发布了 Gemma，HuggingFace 则继续发展壮大，成为开源人工智能世界充满活力的家园，上面托管了大量的模型。生成式人工智能领域某些最具创新性的工作也是在开源社区完成的。
不过，开源社区也普遍给人一种出现通胀的感觉。现在已经冒出了数十万个开源人工智能模型。其中很多不过是玩具或周末项目罢了。模型排行榜起伏变化太大，某些模型在短短几天内就一飞冲天（用在 Github 获得的星星数量衡量，这个指标存在缺陷，但仍然算是一个衡量指标），但其实从未能变成任何特别有用的东西。
市场自己会修正，开源项目遵循幂次定律，成功的少数几家会获得云提供商和其他科技巨头不成比例的支持。但与此同时，当前的爆发式增长让许多人感到眼花缭乱。
生成式人工智能的经济性这个话题发展得很快。毫不奇怪，这个领域的未来很多都得围着它转——比方说，如果提供人工智能驱动的答案成本明显高于提供十个链接的成本的话，在搜索领域真有人能挑战谷歌吗？如果推理的成本会吞噬掉软件公司大部分的毛利的话，软件公司真的能靠人工智能驱动吗？
好消息是，如果你是人工智能模型的客户/用户的话：在价格方面我们似乎正处在逐底竞争的早期阶段，这种情况发生的速度比人们预期的要快。一个关键的驱动因素是开源人工智能（Mistral 等）以及商业推理提供商（Together AI、Anyscale、Replit）同时崛起，二者均采用这些开放模型，并将其作为端点。客户的转换成本非常低（除了用不同模型会产生不同结果带来的复杂性之外），这会给 OpenAI 和 Anthropic 带来压力。一个例子是嵌入模型的成本大幅下降，使得多家提供商（OpenAI、Together AI 等）同时降价。
从提供商的角度来看，人工智能开发和服务的成本仍然非常高。据媒体报道，Anthropic 一半以上的收入都交给托管其大语言模型的 AWS 与 GCP 等云提供商了。此外，还要支付费用给出版商换取许可协议。
从好的方面来看，也许作为生成技术的用户，我们所有人只需要享受由风投补贴的免费服务的爆发式增长即可：
这个问题 2022 年底的时候每个人都会提出的问题之一，到 2024 年甚至会成为大家最关心的问题：大型科技公司会不会把生成式人工智能的大部分价值都放进自己兜里？
人工智能的回报规模——更多的数据、更多的算力、更多的人工智能研究者往往会产生更强大的力量。科技巨头已经敏锐地意识到了这一点。与之前遭遇平台转型的既有企业不同，它对未来潜在的颠覆也做出了强烈反应。
在这些科技巨头当中，微软无疑一直是战略眼光最强的一个。微软显然跟 OpenAI 关系密切的关系， 2019 年就首次投资了 OpenAI，目前其投资额已达 130 亿美元。但微软还跟开源竞争对手 Mistral 合作。它还投资了 ChatGPT 的竞争对手 Inflection AI (Pi)，最近又以惊人的方式对后者进行了人才收购。
到头来，所有这些合作伙伴关系似乎只会增加对微软云计算的需求——Azure 的收入同比增长了 24%，在 2024 年第二季度已达到 330 亿美元， Azure 云服务的增长当中，有 6 个百分点要归功于人工智能服务。
微软是 OpenAI 的最大投资者，但也是 OpenAI 的竞争对手，也是聊天机器人 Inflection AI 竞争对手的投资者 - 同时，微软既是 Databricks 的重要合作伙伴，但也是它的竞争对手（Azure AI）
与此同时，谷歌和亚马逊已经与 OpenAI 的竞争对手 Anthropic 展开合作并对其进行了投资（在撰写本文时，亚马逊刚刚又向该公司投资了 27.5 亿美元，这是其计划的 40 亿美元投资的第二部分款项）。亚马逊还与开源平台 Hugging Face 达成了合作关系。据报道，谷歌与苹果正在讨论将 Gemini AI 集成到苹果的产品中。 Meta正在全力投入开源人工智能这可能会削弱所有人的竞争力。然后还有中国发生的一切。
一个显而易见的问题是初创企业有多大的成长空间和成功空间。第一梯队的初创企业（主要是OpenAI 和 Anthropic，也许 Mistral 很快也会加入行列）似乎已经建立起合适的合作伙伴关系，并发展达到了逃逸速度。至于许多的其他初创企业来说，包括那些资金雄厚的初创企业，目前还没有定论。
从 Inflection AI 决定让别人收购自己，以及 Stability AI 首席执行官遭遇的麻烦当中，我们是不是应该解读为承认“二线”的那批生成式 AI 初创企业更难获得商业吸引力？
OpenAI 继续令人着迷——860 亿美元的估值、收入增长、政治内斗，还有山姆·阿尔特曼成为这一代的史蒂夫·乔布斯。
OpenAI想做的事情是不是太多了？ 11 月份发生了很多戏剧性的事件， OpenAI Dev Day是其中之一，期间 OpenAI 明确表示它要做人工智能领域的“一切”，无论是垂直（全栈）的还是水平的（跨用例）：也就是模型 + 基础设施 + 消费者搜索 + 企业 + 分析 + 开发工具 + 交易市场等。当一家初创企业是一场大范式转变的早期领导者，并且事实上获得资金可以没有上限时，这样的策略并非前所未见（加密货币领域的Coinbase就做到了这一点）。但观察走势会很有趣：虽然它肯定会简化 MAD 的格局，但从执行上来说这将是一个挑战，尤其是在竞争加剧的背景下。从 ChatGPT 的偷懒，到其交易市场的平淡表现，这些都表明 OpenAI 也没法不受商业引力定律的影响。
OpenAI 跟微软会分手吗？跟微软的关系一直很有趣——显然微软的支持对OpenAI在资源（包括算力）和分发（企业端的Azure）方面起到了巨大的推动作用，投资OpenAI被广泛认为是微软在生成式人工智能浪潮早期下出的一手好棋。与此同时，正如上面所提到那样，微软已经明确表示自己并不依赖OpenAI（微软拥有所有代码、权重、数据），它已经与其他竞争对手（比方说Mistral）合作，并通过对Inflection AI的人才收购不断充实其人工智能研究团队。
与此同时，OpenAI 还愿不愿意继续跟微软独家合作，而不是同时部署到其他云服务上？
鉴于 OpenAI 的野心之大，而微软的目标是统治全球，那么这两家公司到什么时候才会得出结论，双方更像是竞争对手而不是合作伙伴呢？
如上所述，2023 年对于企业（全球 2000 强企业）来说感觉像是非常关键的一年，大家都在争先恐后地拥抱新趋势，但实际上并没有什么事情发生。
他们是进行了一些概念验证，并谨慎地采用了一些人工智能产品，那种无需全公司范围的努力即可提供“快速获胜”的产品（比方说，用于培训和企业知识的人工智能视频，如 Synthesia*）。
除了前面所列，迄今为止企业当中生成式人工智能的最大赢家也许是分布在世界各地的埃森哲（据报道，埃森哲去年提供人工智能方面的咨询就赚取了 20 亿美元的费用）。
不管怎样，大家对 2024 年成为企业人工智能的大年充满希望，或者至少对于生成式人工智能来说是是个大年，因为传统人工智能在企业端已经占据了重要地位（见上文）。
用例是什么？到目前为止，容易实现的用例主要是 a) 开发团队的代码生成助理，b) 企业知识管理（搜索、文本摘要、翻译等），以及 c) 用于客户服务的人工智能聊天机器人（早在生成式人工智能之前就有的用例）。当然还有其他一些用例（比如营销、自动化 SDR 等），但还有很多需要弄清楚（助理模式还是完全自动化等）。
我们应该选择什么样的工具？如前所述，感觉未来是混合的，是商业供应商与开源的结合、大模型与小模型的结合、水平向和垂直向 GenAI 工具的结合。但该从何开始呢？
谁来部署和维护这些工具？全球2000强企业存在明显的技能短缺问题。如果你认为招聘到软件开发者很难，那再试试招聘机器学习工程师吧。
我们如何确保机器不会产生幻觉？是的，围绕着 RAG（检索增强生成）、护栏以及评估等正在进行大量工作，但生成式人工智能工具可能完全就是错的，而且还有一个更广泛的问题，那就是我们并不真正了解生成式人工智能模型是如何工作的，对于企业来说这些都是大问题。
投资回报率有多少？大型科技公司很早就利用生成式人工智能来满足自己的需求，并且他们展示了有趣的早期数据。在财报电话会议中，Palo Alto Networks 提到生成式人工智能可将 T&E 服务的成本大致减半，ServiceNow 提到自己的开发人员的创新速度提高了 52%，不过我们很早就了解了企业运用生成式人工智能的的成本/回报方程是怎样的。
对于生成式人工智能提供商来说，好消息是企业客户对分配预算（很重要的一点，这个不再是“创新”预算，而是实际的运营支出预算，可能从其他地方重新调剂过来）和资源来解决这个问题有很大的兴趣。但我们讨论的也许是 3-5 年的部署周期，而不是一年。
这个问题的其中一个版本是这样的：人工智能让编码速度提高了 10 倍，因此只需几名普通的开发人员就可以根据需求开发出 SaaS 产品的定制版本。当你可自己就可以开发 SaaS 时，为什么还要将大笔的钱交给 SaaS 提供商呢？
这个问题的另一个版本：未来属于这样一个人工智能（可能由多个模型组成），它可通过一系列的智能体支撑起整个公司的运营。你不再购买人力资源软件、财务软件或销售软件，因为人工智能能以完全自动化和无缝的方式完成一切。
目前距离用任何成熟的方式实现这两种趋势都还比较遥远，但众所周知，人工智能领域的事情发展得非常快。
与此同时，感觉未来还有一个可能的版本，那就是随着人工智能内置到每一个 SaaS 产品之中，SaaS 产品将变得更加强大。
撇开人工智能是否可以在公司选择和投资后增值方面实现风险投资自动化这个（一直都很有趣的）话题不谈，关于这一资产类别是否适合人工智能平台转移，存在一系列有趣的问题：
风险投资规模太小了吗？世界各地的 OpenAI 需要筹集数十亿美元，并且可能还需要筹集更多的数十亿美元。其中很多的数十亿美元将由微软等大公司提供——也许很大程度上是以计算股权交易的形式提供，但不仅如此。当然，许多VC也投资了大型基础性公司，但至少，这些对高度资本密集型初创企业的投资明显背离了传统VC软件投资的模式。也许人工智能投资，至少对于大语言模型公司来说，将需要超大规模的风险投资基金——在撰写本文时，沙特阿拉伯似乎即将与美国的风险投资公司合作推出一只 400 亿美元的人工智能基金。
风险投资的规模是不是太大了呢？如果你相信人工智能能催生超级程序员，让 SDR 代表以及营销创建自动化，从而让我们的生产力提高 10 倍的话，那我们是不是即将见证由骨干团队（或者个体创业者）经营的年收入理论上能达到 1 亿美元的全新一代完全自动化的公司的诞生吗？一家有个人经营，ARR达到1亿美元的公司需要风险投资吗？
现实情况总是会更加微妙，但如果大家相信真正的价值创造要么发生在基础模型层要么发生在应用层的话，那么当今的风险投资资产类别就会受到令人不安的束缚。
自社交媒体和移动时代以来，消费者市场一直在寻找下一个风口。生成式人工智能很可能就是那个风口。
这里有一个特别令人兴奋的例子，MidJourney 似乎突然之间就取得了2 亿到 3 亿美元之间的估值，考虑到它的团队很小（40 到 60 人，具体取决于你问的是谁），它的利润可能很高。
搜索：几十年来，谷歌的搜索垄断地位首次出现了一些早期但足够有竞争力的对手。 Perplexity AI 与等少数初创企业正在引领从搜索引擎到答案引擎的演变。
人工智能伴侣：如果每个人都能拥有一位无比耐心、乐于助人的伴侣，能够满足一个人知识、娱乐或者治疗等方面的特定需求的话会怎样呢（反乌托邦的方面除外）？
令人惊讶的争议性观点：超个性化的人工智能伴侣可以成为你最好的朋友和/或永远在线的治疗师，这并不是反乌托邦，而是对人类的一个重大的净积极影响，将会减少孤独、暴力甚至战争。
超个性化娱乐：随着生成式人工智能驱动的工具不断变得更好（且更便宜），我们会发明出哪些新的娱乐和艺术形式？
2025 年：要求 LLM + 文本转视频制作新一季的《毒枭》，今晚观看，但故事发生在叙利亚，由布拉德·皮特（Brad Pitt）、Mr Beast 与特拉维斯·凯尔斯（Travis Kelce 主演）
我知道，我知道。人工智能与加密货币结合感觉就像是在 X/Twitter 上面讲笑话的完美素材。
不过，不可否认的是，从科技巨头到以不开放著称的 OpenAI，少数拥有最多算力、数据以及人工智能人才的公司都集中在人工智能圈了。与此同时，区块链主张的核心是建立去中心化网络，让参与者一起共享资源和资产。那是一片值得探索的沃土，也是我们多年前就开始探索的主题。
一些与人工智能相关的加密货币项目明显已经提速，其中包括Bittensor*（去中心化的机器智能平台）、Render（去中心化的GPU渲染平台）、Arweave（去中心化的数据平台）。
虽然今年的 MAD 版图并没有包含有加密货币部分，但这是一个值得关注的有趣领域。
跟往常一样，现在的问题是加密货币这个行业能不能做到自力更生，而不是陷入到成百上千跟人工智能相关的模因币、拉高抛售阴谋与骗局之中。
“所有的人工智能都出自旧金山”，但人人都痴迷于一家巴黎初创企业这个事实足以证明其真伪
当前的融资环境反映了市场“双城记”的状况之一，里面既有人工智能，也有其他一切。
整体融资情况在继续下滑， 2023 年下降了 42% 至 为2484 亿美元。2024 年这前几个月似乎冒出来一些希望的萌芽，但到目前为止，趋势多多少少还是一样的。
由于上述的种种原因，数据基础设施的融资活动非常少，Sigma Computing与 Databricks 算是极少数例外。
自 2023 年 MAD 版图发布以来的一些值得注意的交易，按大致时间顺序排列（不是详尽列表！）：
OpenAI，基础模型开发商，在两轮融资中筹集了 103 亿美元，目前估值为 860 亿美元； Adept 是另一家基础模型开发商，以 10 亿美元的估值筹集了 3.5 亿美元； AlphaSense，一个金融服务市场研究平台，在两轮融资中筹集了 4.75 亿美元，目前估值为 25 亿美元；另一家基础模型开发商 Anthropic，在三轮融资中筹集了 64.5 亿美元，目前估值为 184 亿美元；矢量数据库平台 Pinecone 以 7.5 亿美元的估值筹集了 1 亿美元； Celestial AI 是一个用于内存和计算的光学互连技术平台，通过两轮融资筹集了 2.75 亿美元； GPU 云提供商 CoreWeave 筹集了 4.21 亿美元，估值为 25 亿美元； Lightmatter，光动力计算芯片开发商，通过两轮融资筹集了 3.08 亿美元，目前估值为 12 亿美元； SigmaComputing是一个云托管的数据分析平台，以11亿美元的估值筹集了3.4亿美元；另一家基础模型开发商 Inflection 以 40 亿美元的估值筹集了 13 亿美元；基础模型开发商Mistral，通过两轮融资筹集了 52.8 亿美元，目前估值为 20 亿美元；基础模型开发商Cohere，以 20 亿美元的估值筹集了 2.7 亿美元；生成视频模型开发商Runway，以 15 亿美元的估值筹集了 1.91 亿美元；企业视频生成平台Synthesia，以 10 亿美元的估值筹集了 9000 万美元； Hugging Face， 利用开源模型的机器学习与数据科学平台，以 45 亿美元的估值筹集了 2.35 亿美元； Poolside， 一家专门用于代码生成与软件开发的基础模型开发商，筹集了 1.26 亿美元；人工智能开发平台 Modular 以 6 亿美元的估值筹集了 1 亿美元； 人工智能体开发商 Imbue 融资哦为 2.12 亿美元；数据、分析和人工智能解决方案提供商 Databricks 筹集了 6.84 亿美元，估值为 432 亿美元；另一家基础模型开发商 Aleph Alpha 筹集了 4.86 亿美元； AI21 Labs， 基础模型开发商，以 14 亿美元的估值筹集了 2.08 亿美元；Together，一个用于生成式人工智能开发的云平台，在两轮融资中筹集了 2.085 亿美元，目前估值为 12.5 亿美元； VAST Data 是一个深度学习数据平台，以 91 亿美元的估值筹集了 1.18 亿美元； Shield AI， 一家面向航空航天与国防工业的人工智能试点开发商，以 28 亿美元的估值筹集了 5 亿美元；基础模型开发商 01.ai 以 10 亿美元的估值筹集了 2 亿美元； Hadrian， 航空航天与国防精密零部件工厂制造商，筹集了 1.17 亿美元； Sierra AI， 一家致力于客户服务/体验的人工智能聊天机器人开发商，通过两轮融资共筹集了 1.1 亿美元； Glean， 人工智能驱动的企业搜索平台，以 22 亿美元的估值筹集了 2 亿美元； GPU 云提供商 Lambda Labs 以 15 亿美元的估值筹集了 3.2 亿美元； Magic， 用于代码生成与软件开发的基础模型开发商，以 5 亿美元的估值筹集了 1.17 亿美元。
很多传统软件收购方关注的是自身股价与整体业务，而不是积极去寻找收购的机会。
亚马逊放弃了 14 亿美元收购 iRobot 的交易，因为它认为“没有途径能获得监管的批准”
一些值得注意的交易，其中涉及到多年来出现在 MAD 版图的公司（按规模排列）：
2024年会成为人工智能并购年吗？很大程度上取决于市场动力是否能够持续。
在更低端市场这头，许多拥有强大团队的年轻人工智能初创企业在过去 12-18 个月内已经获得了融资。在过去十年最后的几个人工智能炒作周期当中，大量收购都是发生在最初的融资周期之后的——而且往往似乎是以跟这些公司的实际吸引力不成比例的价格收购的，但人工智能人才一直很稀有，而且至今情况也没有很大的不同。
在更高端市场，领先的数据平台与领先的人工智能平台之间进行进一步融合有充分的商业理由。不过，这些交易的成本可能要高得多。
在公开市场上，人工智能已成为热门趋势。 “七巨头”股票（英伟达、Meta、亚马逊、微软、Alphabet、苹果和特斯拉）在 2023 年至少上涨 49%，从而推动了股市整体走高。
总体而言，公开市场上纯人工智能股票仍然严重缺乏。所以市场上的少量相关股票会获得丰厚的回报——Palantir 的股票在 2023 年就上涨了 167%。
对于所有还没有IPO的人工智能相关初创企业来说，这应该是一个好兆头。 MAD 领域有许多规模相当大的公司，首先是 Databricks，但其他公司还有很多，包括 Celonis、Scale AI、Dataiku 或 Fivetran 等。
然后还有一个问题会很有趣：OpenAI 和 Anthropic 对上市会怎么想。
与此同时，就 IPO 而言，2023 年是非常糟糕的一年。只有少数 MAD 相关公司上市：营销自动化平台 Klaviyo， 2023 年 9 月上市，市值为 92 亿美元； Reddit，论坛式的社交网络平台（已经把内容授权给人工智能玩家）， 2024 年 3 月上市，市值为 64 亿美元； Astera Lab，s一家为人工智能和云基础设施提供智能连接的半导体公司，2024 年 3 月上市，市值为 55 亿美元。
我们生活在一个非常特殊的时代，现在正处在范式转变的早期阶段。是时候该尝试一下新事物了。一切才刚刚开始。
绿洲认为，具身智能是人类进入智能时代的一个截面。在 3 月底的北京，我们与几位明星好友，在这个截面上酣畅淋漓地聊了一个下午。Scaling Law 的源泉是什么？仿真有用么？具身智能的未来会陷入 ROI 的困境之中么？具身智能最有可能的落地场景是什么？机器人行业真的全是泡沫么？我们将这场有趣的讨论精选给大家，希望和大家 一起挖掘六便士，一起种苹果。Enjoy
