来源说明: 本文的写作缘起,以及其中关于 AI 战略、技术取舍、项目推进与组织采纳的部分知识框架,来自我完成的 Udemy 课程 《AI Leader: Generative AI & Agentic AI for Leaders & Founders》(讲师:Ed Donner;制作方:Ligency)。在此基础上,我结合自己参与 AI 项目与技术讨论的经验,形成了这篇独立整理与延伸;它不是对课程内容的逐节复述,也不代表讲师或 Udemy 的观点。如果你正在为 AI 战略、技术选型、项目治理或组织采纳负责,我推荐你参加原课程,以获得更完整的框架和上下文。
我见过不少 AI 项目:demo 很漂亮,理念很先进,上线后却很安静,过一阵便没有了下文。
项目复盘时,大家往往会把原因归到技术上。模型不够稳定,数据不够干净,系统集成太慢。这些问题当然存在,但它们经常遮住了一个更早发生的失误:组织在启动项目时,没有把几项关键判断做完。
我认为,AI 转型更像是一次组织判断能力的压力测试。采购工具只是其中最容易完成的动作。困难的是把一个模糊的「我们也要做 AI」,变成一组能够被验证、被负责、也可以被叫停的决定。
为什么做?改变哪段工作?谁承担错误的后果?什么证据足以继续投入?上线后谁愿意反复使用?
为了避免讨论重新滑回模型和工具,我现在更愿意先问五个问题。
1. 我们在讨论同一件事吗?
一些 AI 会议从第一分钟就发生了错位。
管理层说「搞 AI」,心里可能想的是同行压力、战略姿态或者一次效率跃迁。业务团队想的是客服、销售、投研和运营能不能少做重复工作。技术团队听到以后,已经开始讨论 RAG、微调、Agent、向量数据库和 GPU 成本。
每个人说的是同一个词,脑子里却是不同的项目。
这种错位很贵。「智能客服」可以是一套成熟产品,也可以是云模型加企业知识库,还可以被理解成从头训练行业模型。三个方案都能出现在同一页汇报里,预算、周期、数据要求和失败方式却完全不同。
所以,口径对齐不是上一堂 AI 基础课。它要把名词翻译成边界:
- 系统处理什么任务,又明确不处理什么;
- 数据能否离开企业边界;
- 模型只提供信息,还是可以执行动作;
- 输出由谁复核,错误由谁接住;
- 项目验证的是通用效率,还是一项真正需要自建的业务能力。
RAG、微调和 Agent 也应该放回这些边界里讨论。RAG 适合让模型使用持续更新的组织知识;微调适合改变模型在特定任务上的行为;Agent 则让模型有更多机会动态决定下一步并调用工具。能力范围越往后扩,评估、权限、成本和异常处理也会更难。
Anthropic 在讨论 Agent 时,把预设代码路径的 Workflow 和由模型动态决定过程的 Agent 区分开来,并建议从满足需求的最简单方案开始。这个区分值得管理者知道,不是因为他们需要参与框架选型,而是因为自主程度会直接改变责任边界。参考:Anthropic《Building Effective AI Agents》
技术名词只有被翻译成数据、权限、动作和责任,才会成为组织可以做出的决定。
2. 这件事值得做吗?
技术团队习惯先问「能不能做」。组织更应该先问「这件事值得不值得改变现有流程」。
我会从三种变化里找价值:
- 少掉一段摩擦:减少等待、查找、复制、整理或重复确认;
- 提高一项结果:让同样的人更快发现问题、减少遗漏或做出更稳定的判断;
- 创造一种过去供不起的服务:把原本昂贵、稀缺或无法规模化的能力提供给更多用户。
它们看起来和功能清单相似,区别在于必须指出变化发生在哪里。
一个客服助手说自己能生成答案,不代表它创造了价值。只有当它减少了人工查找时间、提高了首问解决率,或者让复杂问题更早转给合适的人时,价值才开始变得可见。一个投研工具能总结一百页报告也不够;它还要说明分析师因此少做了什么、能多检查什么,以及错误摘要会怎样被发现。
所以我通常继续追问:
- 它替代了哪一段现有成本?
- 它进入或改变了哪个工作流?
- 哪个结果应该因此变好?
- 为了这个改善,我们新承担了什么风险?
- 三个月后还能不能看出它是否有效?
其中第二个问题最重要。
演示可以挑一份干净文档和一个清楚问题。工作流要面对脏数据、复杂权限、异常输入、不同水平的使用者,以及出错之后必须有人处理的责任链条。
演示效果不等于产品价值。价值要在重复发生的工作里被看见。
如果团队只能描述模型会什么,却说不出哪段工作因此改变,这个项目还停留在能力展示阶段。
3. 风险边界在哪里?
不少立项材料会把收益写成数字,把风险写成一句「加强安全与合规」。
这远远不够。
AI 系统的风险不只来自幻觉。数据可能越过不该越过的边界,模型输出可能带有偏见,知识库可能过期,供应商可能调整模型,调用量可能让成本突然抬升。更麻烦的是责任错位:系统给了建议,员工按建议执行,结果出错以后,组织才发现没人说清楚谁有最终决定权。
风险应该在方案形成之前就被写成限制条件:
- 哪些数据不能进入外部模型;
- 哪些决定禁止自动执行;
- 哪些输出必须经过人工确认;
- 哪类错误可以容忍,哪类错误会直接终止项目;
- 模型不可用、效果下降或成本失控时,流程如何降级。
这些答案会反过来决定技术路线。
通用、低风险的个人效率场景,成熟产品可能最合理。需要快速验证的新功能,可以先通过 API 获得证据。涉及高敏感数据或深度业务控制时,私有化和自托管才可能值得承担额外的 GPU、运维、模型更新与人才成本。
同样,确定性的流程能够解决问题时,不必为了「更像 Agent」而让模型接管下一步。自主性不是免费的能力升级。它会同时增加延迟、成本、测试范围和故障组合。
技术选型到了这里,已经不是技术团队的偏好题。它是在速度、控制权、成本和责任之间做商业取舍。
如果一个 AI 项目说不清风险边界,它就还不该进入生产环境。
4. 怎么证明它有效?
我参与过一些技术讨论,一开始就在争论 GPT 还是 Claude、RAG 还是微调、LangGraph 还是 CrewAI。
这类讨论听起来很先进,但如果团队没有真实样本、成功标准和失败阈值,争论只是在交换偏好。
AI 项目需要先建立证据,再扩大工程投入。
比较实用的做法是:
- 从真实工作中选一小组样本,而不是只准备适合演示的题目;
- 让业务专家先定义什么叫正确、可用和不可接受;
- 同时记录效果、成本、延迟、稳定性和人工介入比例;
- 约定一个证据检查点,到那一天决定继续、调整方向或停止;
- 通过以后再工程化,并在生产环境持续监控变化。
不同场景需要不同标准。客服关心错误回答率、转人工比例和首问解决率;销售关心跟进速度、转化和 CRM 完整度;研发关心交付速度、缺陷率和可维护性。指标不能替代判断,但它能迫使团队说清楚自己到底在优化什么。
研究的不确定性也要被诚实管理。模型能不能达到目标,检索质量是否稳定,现有数据是否够用,通常无法在排期第一天得到确定答案。管理者真正需要的不是一个假装准确的上线日,而是一个明确的证据节点:什么时候能知道这条路是否值得继续。
每个项目还需要退路。效果不足时,能否改成人工审核、半自动流程、规则系统或成熟产品?如果只能成功,不能降级,这不是一个稳健的生产方案。
AI 越像人,越需要机器化的评估;项目越不确定,越需要清楚的停止条件。
5. 谁会在真实工作里使用它?
上线不是采纳。
有时模型已经够好,但偶尔一次不稳定就耗尽了用户的信任。有时工具确实省时间,却被放在工作流之外,员工必须多开一个页面、复制一遍数据、再手工填回原系统。有时管理层只谈岗位替代,员工自然会把少用系统当成自我保护。
Morgan Stanley 的财富管理 AI 助手提供了一个有用的对照。它先服务于顾问查找内部知识和准备客户沟通,没有直接替顾问做投资决定;公司用业务专家参与评估,把质量控制嵌入发布过程,再逐步扩展使用范围。OpenAI 公布的案例显示,目前已有超过 98% 的顾问团队使用相关工具。参考:Morgan Stanley AI 案例
这个案例值得关注的不是采用了哪个模型,而是它把三件事连在了一起:明确的工作对象、可见的质量标准和原有流程中的使用位置。
用户是否采纳,通常取决于更具体的问题:
- 它是否真的少了一步工作,而不是多了一套系统;
- 用户能否看见答案从哪里来、何时不该相信;
- 出错以后,反馈能否进入下一轮改进;
- 员工是否知道哪些工作会改变,哪些判断仍由自己负责;
- 新的工作方式是否进入培训、评价和激励。
管理者自己也必须使用这些系统。领导层如果只在台上要求团队「拥抱 AI」,自己的信息搜集、决策准备和协作方式却毫无变化,组织很快就会判断这只是一次口号。
采纳不是项目尾声的沟通工作。它从选择场景的那一天就开始了。
回到五个问题
下一次 AI 项目会,与其先争论模型,不如先把下面五个问题写在白板上:
- 我们在讨论同一件事吗?
- 这件事值得做吗?
- 风险边界在哪里?
- 怎么证明它有效?
- 谁会在真实工作里使用它?
它们分别约束项目的口径、价值、责任、证据和采纳。任何一项含糊,后面的技术能力都可能放大错误方向。
模型会继续变强,工具会继续变便宜,集成也会越来越简单。
组织判断能力不会因此自动升级。
这才是 AI 转型真正需要投入的地方。
