EP 53. AI Agent会取代程序员吗？硬核对话硅谷顶尖研究员与AI独角兽：软件开发的未来，Agent的技术本质

OnBoard!

今年上半年 AI 领域最大的热点，除了 OpenAI 的 Sora 之外，当然就是——AI程序员！与 Github Copilot 的代码补全不同，AI Agent 公司 Cognition Labs 和其产品 Devin，宣称世界上第一位“AI 软件工程师”，拥有全栈技能，通过一个指令就能完成整个开发过程。可以端到端构建和部署程序。成立不到半年，估值就高达 20 亿美金！相应的，从Princeton SWE-agent, 到开源项目OpenDevin 这些直接竞争者，到Replit, Augment 等独角兽玩家，都纷纷进入这个领域。这是新的泡沫，还是不远的未来？

Hello World, who is OnBoard!?

这一期我们邀请的三位来自硅谷的嘉宾，在这个领域都太有发言权了！有著名的软件开发云平台独角兽 Replit 的 AI 产品核心成员，有 Agent 领域数个奠基之作的顶尖研究员，还有 ex-Google Deepmind, 现任明星 AI 编程辅助独角兽公司 Augment 的早期核心研究员。

借着小酒，我们长达两个多小时的对话，畅聊了你最关心的话题：

AI 会取代工程师吗？

AI取代了一部分软件开发需求之后，会如何重塑软件开发？

Devin 是否能代表 AI Agent 应用开发的方向？

Agent 产品未来还会迎来怎样的提升？基础大模型的边界在哪里？

最后，生成式 AI 对个人职业和社会会产生怎样的深远影响？

这或许是市面上你能听到的对于这个话题最深入的讨论（之一？！）——还有，结尾有来自 Princeton 高材生的彩蛋！

Enjoy！

嘉宾介绍：

• 李珎：Replit AI 团队负责 AI Coding agent，ex- startup 创始人, ex- Googler。Replit 成立于 2016 年，是一个基于浏览器的 IDE，允许用户在多种编程语言中编写、运行和分享代码。2023 年$97.4M 的 B 轮，投资人包括 A16Z，Khosla Ventures、Coatue 等，估值 $1.16B
• 姚顺雨：普林斯顿大学博士，清华大学获学士。他在Agent 领域发表了一系列非常有影响力的论文：从有奠基意义的 ReAct，Tree of Thoughts, 到成为行业标准的基于 GitHub 的代码能力评估数据集 SWE-Bench，到首个开源AI 程序开发 agent 项目 SWE-agent，是绝对的天才研究员！
• 赵宇哲：Augment 任 AI 研究员，曾在Google Brain（现Google Deepmind）任 Staff Research Engineer，主要研究方向是语言模型预训练，指令训练，神经检索和检索增强语言模型。Augment 成立于 2022 年，是一家为提供企业级全栈式 AI 编程助手的初创公司，由硅谷著名老牌风投 Sutter Hill Ventures 孵化（Snowflake也诞生于此），并在最新一轮获得由Index Ventures、Lightspeed Venture Partners 和 Google 前 CEO Eric Schmidt 等领投的 2.5 亿美金融资，估值接近 10 亿美金。

OnBoard! 主持

• Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学
• 高宁：前美元 VC 投资人，Global SaaS 社区及服务组织 Linkloud 联创，公众号我思锅我在 (ID: thinkxcloud) 主理人。| 即刻：High寧

我们都聊了什么

03:30 三位嘉宾背景、如何进入AI领域以及最近常用的AI产品。

20:26 Replit是如何设计AI产品的，背后逻辑是什么？

28:58 Replit需要训练Coding专属模型的原因是什么？

34:04 训练代码或数学等专属模型的目的是什么？

37:50 现在Coding模型跟基础大模型的能力相比有什么差异？

40:51 Coding模型的训练方法对基础大模型的训练还有什么启发？

45:26 为什么Replit当初选择构建自己的IDE，以及对后来AI功能设计的影响在哪里？

51:01 为什么Augment选择以插件的形态服务专业程序员，以及难点在哪里？

55:27 为什么RAG能更好理解企业级Codebase的需求？

58:13 使用RAG的过程中最有挑战的地方在哪里，以及如何保证准确率？

63:38 Augment如何将服务企业的产品标准化？

67:04 为什么短时间内具有更长Context的大模型仍无法替代RAG？

69:57 为什么没有针对Coding能力好的Benchmark，以及SWE-Bench诞生的背景？

73:48 什么是SWE-Agent，以及Agent解决了什么问题？

78:50 为什么SWE-Agent或Devin相比RAG的准确率有很大提升？

81:33 SWE-Agent跟Devin的差异在哪里？

83:12 往后这类Coding agent的准确率提升会在哪里？

86:50 回顾Agent领域的发展，其中有哪些重要里程碑？

93:01 是否有必要训练针对Agent的大模型？

98:37 Replit是如何探索Coding agent的？

102:03 对Devin印象最深刻的是什么，还有什么是不知道的？

105:43 Devin现在的用户画像可能是谁？

109:45 为什么Coding agent能力提升不仅在大模型上，还需在产品化上？

116:46 顺雨最新一篇解决奥数问题的研究对Coding模型有什么启发？

120:31 现在基础大模型的能力提升还在哪里，还有哪些是我们不知道的？

122:15 大模型是否具备System 2的慢思考能力，以及我们如何实现？

127:13 关于Multi-agent，Replit在做怎样的探索？

131:13 如何定义Multi-agent系统，什么情况下需要？

135:08 要实现Multi-agent环境，具体会面临什么挑战？

137:31 展望未来，AI编程究竟会如何重塑软件开发流程？

145:45 基于语言模型的Agent带来的社会影响有哪些，人类真的会被替代吗？

158:56 最后，快问快答：今年研究的小目标、业余爱好和短期内AI最期待的事件？

165:14 彩蛋！来自顺雨的一段RAP，欢迎来到“宇宙中心”！

我们提到的公司或产品

• Devin
• SWE-Agent
• Augment
• Sierra | The Conversational AI Platform
• Replit
• Buildspace
• Heygen | AI Video Generator
• Fiverr - Freelance Services Marketplace
• Magic.dev
• Scale AI: Accelerate the Development of AI Applications
• RAG: Retrieval-Augmented Generation
• Voyage AI
• OpenDevin: Code Less, Make More
• Adept AI
• imbue

我们提到的论文或文章

• SWE-bench
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• LaMDA: our breakthrough conversation technology
• Measuring Massive Multitask Language Understanding
• Synergizing Reasoning and Acting in Language Models
• Cognitive Architectures for Language Agents
• Tree of Thoughts: Deliberate Problem Solving with Large Language Models
• ReAct: Synergizing Reasoning and Acting in Language Models
• Can Language Models Solve Olympiad Programming?
• Announcing Replit AI for All
• Introducing Multiplayer AI Chat
• Replit AI Manifesto
• AI Agent Code Execution API
• princeton-nlp.github.io
• The Worlds I See: Curiosity, Exploration, and Discovery at the Dawn of AI

欢迎我们的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

我思锅我在（ID: Thinkxcloud）

欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。

OnBoard! 终于成立听友群啦！新年新气象，加入Onboard听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes, 发送你的姓名、公司和职位，小助手会拉你进群。期待你来！