>>欢迎参加本次会议 我是 Emily Sands
我在 Stripe 负责信息部门 包括机器学习基础设施
和数据科学团队
今天我们要讨论的是人工智能，特别是在
产品开发背景下的人工智能
比尔·盖茨最近在他的博客上写道
人工智能时代已经开始
他断言，人工智能将带来一场像手机
或互联网一样的革命，整个行业都将围绕
这项技术重新定位，企业能否有效利用这项技术
将成为一家企业脱颖而出的分水岭
再司空见惯不过。
考虑到这一点，我很高兴
能够主持今天的小组讨论
我们将深入了解一些同业公司
如何在自己的产品中利用人工智能的真实案例
聆听他们的建议，希望对我们的 AI 之旅
有所帮助
接下来，请和我一起欢迎 ServiceNow 的
ATG 工程高级副总裁 Rao Surapaneni
和 GitHub 的首席产品官 Inbal Shani 上台
欢迎
谢谢两位今天出席我们的会议
>>INBAL SHANI：谢谢你邀请我们
>>EMILY SANDS：Inbal 专程坐飞机赶来参加我们的会议
Rao 整个上午都和我们在一起
Inbal，你目前作为 GitHub 的首席产品官
结合你之前在 Amazon 和 Microsoft 的经历
人工智能对你来说肯定不陌生
你已经在这个领域从事了几十年的工作
所以，我很想听听你一路以来的旅程
以及你在当前时期看到了什么样的趋势
例如，有没有发生重大转变？
如果有，是什么样的转变？
>>INBAL SHANI： 好的，我的人工智能之旅
实际上始于 20 多年前，但别来猜我的年龄
实际上我的人工智能之旅 在我攻读硕士时就开始了
我当时得到了一个机会去优化遗传算法
不知道你们有没有听说过这种算法，这很有趣
只需要几天时间就能得到结果
我当时正在构建控制系统
想法是要建立一个优化
所以，这实际上是我第一次进入人工智能领域
在那之后，是在 Amazon 工作期间，我有机会
加入 Alexa，并建立了一些
有趣的领域
我认为最值得骄傲的成果是 我们在 Alexa 上建立了客户服务
是的，让我们有能力帮助客户
思考与 Alexa 的对话，帮助解决
在 Amazon 遇到的问题
在 Microsoft 的工作 则是建立了一个虚拟的支持代理
也是用于对话功能
最近，我在 GitHub 也开始了一段 令人惊叹的旅程，我们推出了 Copilot
真正专注于提高开发者的能力和生产力
减少开发时间，让他们更享受开发的乐趣
>>EMILY SANDS：太棒了
好的，我们接下来 还将深入讨论一下 Copilot
但说实话，如今的人工智能有何不同？
和过去有什么不同吗？
还是说它只是过去的延伸？
>>INBAL SHANI： 我认为有很大不同，因为从历史上看
人工智能非常小众
所以，我们过去往往是根据想要解决的问题
构建特定的算法，然后需要很长时间进行调整
因为在人工智能进化的同时
我们需要的计算能力也在进化
因此，要调整模型，然后运行模型
得到解决方案或建议，这都需要时间
现在，我们进入了 LLM（大语言模型）的新时代
我们可以看到，我们有更多通用型的算法
这些算法中包含了许多不同的小算法
然后就可以建立一个
适用于许多学科的模型
因此，我们正在从小规模实现的世界
转向更通用的算法，这样每一家公司都可以
根据自己想要用 LLM 模型获得的结果
来构建自己的实现
>>EMILY SANDS：从原来的 小众市场，一次只能运行一个应用程序
需要很长时间、速度很慢，到现在
我们建立了这些强大的共享基础和模型
我们可以使用它们来计算几乎各种用例
>>INBAL SHANI：没错
>>EMILY SANDS：太棒了
Rao，你也可以从 你在 ServiceNow 和之前的经历
给我们提供一个非常有趣的视角
对于如今和两三年前相比的变化，我很想听听
你有什么看法
>>RAO SURAPANENI：毫无疑问 人工智能发展到今天，在两方面有所不同
可能已经是老生常谈了 现在人工智能已经通过 API
真正实现了全民化
这是第一点变化
第二点变化是能力，人工智能
实际能做的事情已经发生了巨大的变化
因此，应用这两种变化 实际上就可以按照所需功能
交付真实的、人性化的应用程序
你可以向终端用户交付成果
无论那是你的员工还是最终客户
>>EMILY SANDS： 我想对在座的各位说
我们所说的通过 API 实现全民化，是指
现在可以在不构建模型的情况下 构建人工智能驱动的应用程序
只需要点击 API 即可
>>RAO SURAPANENI：没错
我自己的工作背景是，首先从计算机视觉开始
然后在语音识别方面做一些工作
同样也包括构建平台和应用这些解决方案
并向终端用户交付这些内容
现在，看看我们取得的成果 我们在自然语言理解
和自然语言生成方面 已经取得了突破性进展
实际上对用户来说就像真人一样
>>EMILY SANDS：太棒了
关于当前的变化，有一点我很关注
就是你刚才提到的所有内容
以及如何向用户呈现，对吧？
我们都已经体验了一段时间的人工智能
人工智能影响了我们的消息源
影响了如何带来成功的客户服务
也影响了如何进行代码扫描，以及找出
代码中的依赖关系
但我认为当前时期更像是
把人工智能交到了用户手中
在许多生成式的体验中
用户需要直接与人工智能交互 而不是在某种程度上可以脱离用户
因此，在我们继续讨论之前
我想先对现有人工智能应用程序的水平 进行一些非常具体的设定
这些应用程序对你的业务至关重要
你是否会以及如何在生成式人工智能的 背景下发展这些应用程序
那么，Inbal，从你开始吧
>>INBAL SHANI： 好的，我认为对我们来说
特别是对 GitHub 来说 我们的代码扫描中一直有着人工智能的存在
而且有一套不同的算法
现在，随着 LLM 的引入
我们也在努力改进我们的代码扫描
>>EMILY SANDS：代码扫描是什么
对我们来说意味着什么？
>>INBAL SHANI： 代码扫描实际上就是
运行代码并识别代码中的漏洞的能力
它是我们 GitHub 高级安全解决方案的一部分
最终目的是带来安全性
并真正将安全性扩展到整个开发者群体
从而为每个开发者带来安全性
并帮助所有开发者编写更安全的代码
代码扫描是其中的一个元素
其重点在于能够识别漏洞
并就如何避免或修复漏洞
向我们的开发者提出建议
因此这项功能始终具有人工智能
但现在有了 LLM 有了我们在 Copilot 上所做的工作
整个人工智能才真正
达到了一个新的水平
>>ServiceNow 的情况 也类似，对吧？
你们会标记工单、传递工单
优化工单
你们建立了一个虚拟代理
在底层之下就是一系列人工智能 有些会与终端用户交互
有些则不会
Rao，你认为面对现代化的 LLM
现有的历史应用程序会如何发展
还是说它们基本上没有区别？
>>RAO SURAPANENI：当然
ServiceNow 会向企业销售 智能工作流平台
以传递他们在企业中的活动
包括 IT、服务管理 人力资源或客户服务等
我们提供了各种预测应用程序
只要给定文本输入
例如用户输入，我需要帮助重置密码
通常情况下，用户需要去联系一位代理
代理看到后会说，你需要去找 IT 部门
现在，我们不再需要零级代理
来传递工单
我们过去一直将这种分类作为一种解决方案
但现在有了 LLM 我们就可以让它更加高效、准确
而且我们不再需要对每个客户进行培训
现在我们建立了一个全局模型
这些大语言模型非常强大 实际上无需为每个客户管理额外的开销
就可以替换这些模型
>>这是不是意味着可以更快、更低成本地
为客户推出性能更高的模型？
>>RAO SURAPANENI：没错
>>EMILY SANDS：好的
我们刚才讨论了一些现有的应用程序
以及它们如何随着 LLM 的出现而发展
在座的各位可能还有很多人在想
我还没有人工智能应用程序
我已经用当前的技术
改进了这些应用程序
由于现代 LLM 的出现
我们如今可以构建一系列全新的事物
今天早上，我们还演示了 Stripe 快速推出的一个应用程序
我们直接用英语向 Stripe Sigma
提出了一个商业问题
我很好奇，你们能不能举几个具体的例子 来说明你们最关心的方面是什么？
可以是你最近刚刚推出的
也可以是即将到来的
我想，Inbal，就像是 Copilot 这种非常出色的产品
也许我们可以从这个开始谈起
>>INBAL SHANI：没问题
在 GitHub，我们看待产品的角度
分为四大支柱
我们会关注开发者的生产力
开发者的安全性，然后是应用程序的扩展能力
当然还有应用程序的安全性
我们还会关注人工智能
Copilot 是我们推出的 人工智能结对编程员
我们最近还推出了 Copilot X
真正开始将人工智能带入开发者平台
和这四大支柱
现在再想想我们对人工智能的看法
人工智能是我们所有平台、所有解决方案
关键且重要的组成部分
我们的理念是使代码更安全、使开发者更高效
能够扩展应用程序，能够实现
比以前使用 GitHub 时更多的目标
同样，随着人工智能的引入
也减少了许多重复性的工作
>>EMILY SANDS： 没错，那是非常巨大的工作量
>>INBAL SHANI：非常大
>>EMILY SANDS： 我的头都大了，我想象的是
我要开发这个新产品，然后就像嗖的一下
代码就写好了，真是令人惊叹 顺便说一句，Stripe 也很喜欢这个功能
我们向一部分开发者试点推广了这项功能
结果越来越多的开发者要求使用
因此，我们上个月将其推广到了全部开发者
我很好奇
你们是如何一步步做到的？
你们的出发点是什么？
你如何确保团队方向正确？
你们从哪里开始着手？
>>INBAL SHANI： 好的，我们推出了 GitHub Next
这是我们的孵化中心，我们很幸运有一组科学家
他们付出了全部心血开发出下一代
让开发者感到振奋的技术
并探索出方法，以继续开发我们的工具
在涉及开发者生产力或开发者安全性方面
我们会考虑未来三年期的趋势是什么
基本上这就是 Copilot 的出发点
然后我们与 OpenAI 建立了合作关系
使我们能够在其中交付 Copilot
因此，这个想法最初源于
我们想要为开发者做更多事
这在很大程度上来自于对信号的研究
开发者有哪些重复的工作
也许我们可以引入一个结对编程员
让开发者摆脱这些重复工作？
我们如何才能进一步提高
开发者的生产力？
Copilot、结对编程员的想法
就由此产生
然后我们就见证了它的成功
让人觉得非常棒
如果用数字来说话
我们发现生产力提高了 65%
开发者的幸福感提高了 75%
客户使用 Copilot
开发了 46% 的代码
这是一个里程碑式的改变
想象一下你可以 把 Copilot 带到你的公司
你只需要融入 Copilot 就可以提高开发者的生产力
现在我们已经踏上了这个旅程 就是思考，下一步该怎么做？
>>EMILY SANDS：太棒了
你刚刚谈到了你们内部的孵化器
加速器的情况，我突然想到
这个团队确实在根据用户需求等优化业务问题
但又与技术有着
密切的联系
例如，有哪些可能性
但我也看到很多公司在苦苦挣扎
苦于如何把两者结合起来，对吧？
有一组员工在思考业务或用户问题
还有一组员工在思考技术
我认为孤立地从这两个方面中的任何一个
都无法构建优秀的解决方案
我们迫切需要将两者相结合
所以，我很想知道
Rao，你在 ServiceNow 是怎么做到的
把业务方面与人工智能结合起来
从而快速将合适的产品推向市场？
>>RAO SURAPANENI： 业务绝对不能与
人工智能相孤立
我们在 ServiceNow 的旅程中 做到了这一点
我们经常会开展创意马拉松
只不过，你不需要技术
有时甚至不需要了解客户面对的挑战…
>>EMILY SANDS： 所以，创意马拉松与编程马拉松不同
因为不仅仅有程序员参与
>>RAO SURAPANENI： 没错，也不仅仅有工程师
只要想出一个创意即可参加
更多在于挑战空白地带
我们可以解决哪些潜在的问题？
你也可以开展编程马拉松
这些比赛通常由工程师或开发者主导
然后我们还让企业主加入
无论是产品负责人还是企业主
我们做的第二步是希望将所有三个载体结合起来
从创意、空白创意到增量创意
我们可以立即为客户解决哪些问题
这就是我们的出发点
我们还会衡量这些创意中 有多少纳入了下一个版本
是属于第一层还是
第二层的创意？
因此，我们的流程相对精简
但我们的创意最开始通常会发散
然后在实施计划中再聚集
>>EMILY SANDS： 明白了，一旦你有一个想付诸实施的创意
你认为怎么样才算成功？
你如何围绕这些项目设置 OKR？
各种人工智能应用程序都具有固有的不确定性
它们并非确定性的
那么，你是否会优化模型性能？
是否会优化业务成果？
或者说，你的北极星指标是什么？
>>RAO SURAPANENI： 我们始终把客户成果
作为北极星指标
我们将这些视为最终成果
现在，无论是生成式人工智能还是人工智能
或者甚至可能只是关于如何呈现这些信息的
用户体验创新，我们都会将其视为北极星指标
毫无疑问，生成式人工智能给你带来了新的能力
也带来了新的挑战
因此，固有的不确定性确实存在
但我们需要弄清楚如何降低风险
并在实施过程中设置检查点
我们一直在寻找一些简短的反馈回路
这样我们就可以构建内部验证
构建更庞大的客户验证
然后继续出发
>>EMILY SANDS： 是的，我们刚才讨论的很多都是
组织中一些假想的人员在从事工作
这些人员究竟是谁？
是开发者吗？
是数据科学家吗？
是机器学习工程师？
还是提示工程师？
等等
随着时间的推移，这些人员发生变化了吗？
是不是还在变化？
>>INBAL SHANI： 这个问题是在问我吗？
>>EMILY SANDS： 你们俩都可以回答
>>INBAL SHANI： 我认为对我们来说，这包括每个人
每个人都有参与
有数据科学家
有工程师
也有产品经理
整个公司基本上都在研究人工智能
并思考未来几年开发者的需求
所以我们现在就应该立即投资
我们接收到很多信息，其中来自客户的心声
来自我们的现场代表
来自我们的收入、来自客户的对话
然后再回到业务
我们会研究现在和未来应该投资的一系列问题
此时就会纳入产品
然后就是工程和数据科学家的合作
以便共同构建
>>EMILY SANDS：明白了
这些天，大家讨论了很多关于提示工程师的话题
现在还没有提示工程博士学位
Rao，你认为提示工程师有哪些要求？
到底什么是提示工程师？
他们的工作到底是什么？
>>RAO SURAPANENI：好的
我认为这就是我的工作
我肯定会分析其中发生了什么
所以，通常情况下，我们总是从工程团队开始
因为工程和科学团队由我管理
对我来说，谈到提示工程
我想先说说我认为的
一位优秀提示工程师具备的特点
首先，他们需要保持好奇心
并且非常享受实验的过程
我认为提示工程师的工作就是做出提示
看看输入了什么，然后又输出了什么
他们需要能够进行实验
感受并识别输出的模式
所以，我认为提示工程师的工作较好的一面是
认识到输入了什么，然后能看到输出的结果
而在这种练习中缺少的部分是 对于典型的提示工程师
我发现他们通常做得不好的一面是
无法对输出本身进行内容分析
所以，通常情况下，我发现此类工程师会说
好，我给出了这个提示，解答是这样的
我做得很好
但当我们带来
受过语言艺术经典训练的语言学家时
他们就能够识别更微妙的区别
这种语气合适吗？
同理心合适吗？
应该是主动语态还是被动语态？
你希望如何呈现这些信息？
所以，我认为提示工程师
最重要的特点是好奇、擅于做实验
然后能够真正深入所生成内容的细节中
但这不仅是让软件运行起来就认为自己做得很好
你还必须知道如何
从更深层次分析内容输出
>>EMILY SANDS：很好
接下来我们谈一谈技术基础
我们许多组织都建立了基础设施团队
机器学习基础设施团队和数据工程团队
而现在可能只需要点击一个 API 的情况下
组织对横向平台的需求
会如何改变这些人工智能产品？
我很想知道，你需要构建什么样的产品？
你对组建自己的团队有何期待？
你会建议其他公司
如何构建横向基础？
>>对我来说，我管理着一个 共享的人工智能平台团队
我的工作是让我们的内部开发者
能够使用这些功能构建产品
现在肯定有一个 可以通过 API 实现的强大平台
但围绕我们如何使用这些产品的周边
包括在尝试提示词方面
我们还有很多工作要做
你可以让它变得更高效，就像开发者
可以通过自动化测试套件变得高效一样
还可以对如何管理企业数据和安全性
进行额外的控制
最终，当响应返回时
尤其是在企业环境中
对幻觉有一定程度的信心
或有能力验证内容同样重要
所以，除了我们一直在做的其他工作外
以上就是我的人工智能平台团队所关注的方面
>>INBAL SHANI： 这与我们的情况非常相似
我们对人工智能的看法和正在做的工作是
我们现在正努力创建一个人工智能的专属平台
所面临的一些挑战是，对 Copilot
和 Copilot 使用量的需求越来越大
因此，我们在扩展该平台方面
投入了大量资金
我们过去构建的是解决方案
现在我们需要把它发展成一个平台
那么，我们该如何引入这些 API？
我们是否该向所有人开放这些 API？
因此，我们思考了很多
如何从 GitHub 的角度 看待人工智能的未来
我们对平台应该投入多少
以及我们应该构建多少产品
>>EMILY SANDS： 当我们在考虑人工智能投资组合时
我们都希望取得一些快速的成果
能够短期见效的成果，对吧？
我们假设你与 Docs 或其他人交谈
这里还有一些长期的考虑，对吧？
如果你在后台有一位商业顾问
可以告诉你如何优化你的业务呢？
我很想知道 当你们在考虑自己的投资组合分配时
你们对团队的定位是什么？
有哪些方面可以快速取得成果
有哪些事可以直接做？
有多少是长期投资？
在现代 LLMS 的背景下 这种情况发生变化了吗？
>>我认为还是需要在短期成果 和长期收益之间取得平衡
这种想法从不过时
只不过现在我们想要平衡的
是人工智能
当然，现在也有需要解决的问题
就是需求量很大
我们推出了一些产品
但客户想要更多
他们希望看到快速取得进展
但我们也需要开始思考
我们如何扩大规模， 以及我们最终的目标是什么
我只是在暗示一个事实 我们正在努力建立一个人工智能平台
正在尝试引入一套 API
正在开展所有这些工作
这对我们来说更像是一种长期规划
因此，这实际上是在一些直接面临的问题
与我们预计开发者未来需要
但我们现在就需要开始着手解决的问题之间
取得平衡
>>RAO SURAPANENI：没错
我认为长期战略
特别是要从你想要推动的客户结果出发
这一点不会改变
实现这一目标的方式可能会发生变化
尤其是引入新技术
我们会着眼于微小的、渐进的改进
并对其进行验证
建立内部反馈回路
以帮助引导你达成北极星指标
需要推动其连续性
专注于敏捷性以及我们如何迈出下一步
再下一步和往后的步伐
这些对我们来说始终是关键
>>EMILY SANDS： 好的，你刚刚提到了想提高敏捷性
想要快速行动
有时交付给生产环境的产品可能不完美
我想知道你如何看待质量以及人机回圈工作流程
尤其是如何设定用户的期望
我认为还是有所不同 过去人工智能处于黑箱中
它只是对你的馈送进行排名 你甚至不应该知道人工智能在做这件事
而现在人工智能就像是一个人
终端用户实际上会直接与人工智能交互
那么，怎么样才算足够好，并如何管理期望？
>>RAO SURAPANENI： 我可以先来说说
人机回圈是一个令人惊叹的领域
尤其是在人工智能技术中
你必须充分利用这一点
我们现在这方面处于领先地位
仅仅基于技术的新颖性和人们的担忧
无论产品是否产生幻觉
只要存在产生幻觉的可能性
就会在这些产品的推出过程中产生阻碍
>>EMILY SANDS： 什么叫你们这方面处于领先地位？
这种体验如何体现？
人机回圈中都有谁？
>>RAO SURAPANENI： 对于 ServiceNow来说
你的终端用户，无论是你的员工还是消费者领域
或者你的客户的客户
对于 ServiceNow 来说 我们是在为代理提供支持
而代理则负责处理 你的 IT 工单或 HR 工单
代理就是受到激励的人机回圈专家
当人工智能提出建议时， 它们知道这是哪个领域
它们知道什么是对、什么是错
它们还能够，第一，帮助终端用户
第二，通过隐含动作，给你反馈
什么是对、什么是错
当一个产品产生幻觉时 它们就可以给你提供这种洞察
你就会倾向于利用它
你如今实际看到的大多数产品
都是人机回圈场景
开发者是人机回圈一个很好的例子
人工智能可以提出建议
但仍然需要激励开发者 确保代码有效，运行测试
能够完美集成，最后交付
是的，人工智能正在帮助人类做得更好
但人工智能仍在这个循环中
>>EMILY SANDS： 你有什么要补充的吗？
>>INBAL SHANI： 我认为对我们 GitHub 来说
我们首先推出了个人版 Copilot 这是经过深思熟虑的
我们的想法是让尽可能多的 用户掌握 Copilot
幸运的是，我们的社区中
已有超过 1 亿开发者
因此，我们能够创建一个非常快速的反馈回路
我们可以不停地实验、实验，然后说
好了，实验足够了
让我们把它交到用户手中吧
我们开始获得一些更具体的反馈
研究接受率、幸福感和生产力等指标
衡量其中的信号，进行调整和平衡
创造所有合适的产品
然后我们把它推向更保守的方向
因为现在我们正在把它引入企业和公司
我们知道这其中包括变更管理和人机回圈等等
因此，这实际上就是在于找到实验的平衡
以及如何为实验创建
更快速的反馈回路
>>EMILY SANDS：太棒了
总结来说就是找到 可以参与 Beta 测试的用户
让它开始运行，提供反馈回路
>>INBAL SHANI：没错
>>EMILY SANDS： 接下来我们再谈谈速度
Amperon 首席技术官 Abe Stanway
前几天发了一条很有趣的推特 说所有棘手的问题
都不过是反馈回路太慢的伪装
我觉得很多人工智能都是反馈回路太慢的伪装
尤其是应用了机器学习的传统人工智能
这些人工智能需要先离线运行 然后用样本数据在线运行
然后再用真实数据在线运行
为了加快这些速度有什么建议或诀窍吗？
我觉得上市的时间很关键
>>INBAL SHANI： 同样，这里也需要实验
如果你总是希望将质量优化到 100%
那么你在交付时的
反馈回路就会非常慢
由于人工智能发展速度非常快
因此你非常需要更短的反馈回路
你需要开始建立自己的社区
这样你就可以把更多的实验交给客户
从而可以开始进行测试并缩短反馈回路
向客户获得更多信息和更多信号
这将帮助你加快基本创新的能力
并将产品交到客户手中
>>EMILY SANDS： 好的，Rao，你在加速方面
有什么建议或诀窍吗？
>>RAO SURAPANENI： 首先肯定是有权访问数据
尤其是与客户相关的数据
尽可能提前地获得这些数据
投资数据采集和管道
这将帮助你在接触客户之前提前做好更多的工作
这一直是我们的目标
而且你可以用这种方法调整
>>EMILY SANDS： 好的，我们刚刚还谈到了 OKR
接下来我们谈谈实际的，例如，成功的指标
以及是否推出的决定
你刚刚谈到了要进行很多实验
你会把产品交给用户
这是确定性的体验
你可以进行 AB 测试
你可以看到它的表现
是否比基线或对照产品更好
可能这些人工智能产品也各有不同
它们往往一开始表现最差
而问题不在于它们表现是否比现有的更好
而是随着时间的推移，它们是否有足够的进步？
所以，我想知道
你们在决定是推进还是放弃时
会如何看待体验的质量和实验的成功
>>INBAL SHANI： 是的，最重要的是如何定义
要试图衡量的成功指标 因为在人工智能的世界里
有很多信号，也有很多数据
如果你想用传统的衡量方法
来评估人工智能的成功
那么你往往会错过重要的信号
那么，不妨稍微换个角度思考一下
你为什么要在特定的产品中引入人工智能？
你想实现什么目的？
你的最佳目标是什么？
然后随着时间的推移寻求改进
是的，有时你在信号上会得到很多干扰
所以创建一个更大规模的实验池 将帮助你获取更多的数据
最终你还需要制定一个时间表
你会说，这是我产品成功的时间表
最后我取得了成功，或者没有取得成功
然后决定是否要转向
根据你在实验过程中收集的信号
它会给你很多指示
让你决定做的事情对不对
>>RAO SURAPANENI： 对我们来说
首先是设定期望
我们首先会构建产品
我们建立了一个名为 Now on Now 的程序
在内部，我们使用的是这个原始产品
我们的组织中那些令人惊叹的合作伙伴
接受了第一个版本，并进行了试用
有时会无法运行
然后我们就会迅速改进
因此，当我们把产品推给客户时
我们已经根据自己的内部 Beta 测试版 使用情况，对现实世界的情况进行了评估
ChatGPT 带来的另一个变化是
以前它被用来证明人工智能是有效的
因此，我们要解释为什么有阈值
以及阈值是什么等等
现在，我们看到的不同点是，客户会来找我们
说，请帮助我利用这项技术
这样我就可以为我的用户提供更好的服务
客户更感兴趣的是如何参与早期客户验证
以及我们如何利用这项技术
>>EMILY SANDS：这很有趣
我突然想到，传统应用的人工智能
就像无缝的正确性
你要做得对，要衡量自己是否做得对
是否正确具有真实的判断来源
在当今世界，这还有点用，对吧？
终端用户会直接与技术交互
这并不是说要在底层下
无缝正确
而在于有用性
你是否看到更多与用户交谈
进行更多标准产品市场匹配类型的工作？
因为人工智能就像是生活体验的一部分
而不是隐藏在底层下，我想知道
你身处首席产品官的职位上，这是如何表现的？
>>INBAL SHANI： 我认为首先 GitHub 是一个
非常用户型的产品
因此，与用户、客户和开发者进行交互
这基本上就是
我们的第二天性
这就是我们的运作方式
随着人工智能的引入，实际上就是要设法评估
这些开发者现在是否接受它
是否真的有帮助？
一开始会有很多恐惧
人工智能会夺走我们的工作吗？
人工智能会取代我们吗？
结果肯定是不会
你仍然需要人机回圈
既然现在开发者手中 拥有了一套更强大的工具
那么他们该如何才能做得更好？
当我们思考人工智能的演变 以及如何引入人工智能时
会涉及很多客户交互
>>EMILY SANDS： 所以，我们需要人机回圈
>>INBAL SHANI：是的
>>EMILY SANDS： 我们也不想给我们的用户
制造不必要的摩擦
我们希望人工智能变得更有用， 而不是一种负担
你们如何看待将反馈回路
自然地融入用户体验？
这算是第一原则吗？ 你们是如何构建的？
还是这算是事后的想法？
你是什么时候开始考虑反馈回路的？
>>INBAL SHANI： 在每一个特定的时刻中
我们都在关注接受率和反馈…
>>EMILY SANDS： 接受率的定义是？
>>INBAL SHANI： 它的定义是你有多少次接受
Copilot 摆在你面前的建议
这样，你就得到了一位结对编程员
它们会根据你提供的提示
建议你使用某一段代码
如果你接受了，这就是接受率
我们会通过调查来衡量生产力
当客户说，噢
我无法在这段时间内生成代码
然后，我们还会为企业提供服务
看看他们使用了 Copilot 后， 生产力提高了多少
>>EMILY SANDS：好的，你们都…
哦，请继续
>>RAO SURAPANENI： 我可以补充一下
有些用户体验在这方面发挥了巨大作用
我们认为这是一种 非常结构化的方法，可供采用
当人工智能高度自信时，你实际上就可以
默认填写一些字段，然后继续操作
当然，你仍然想表明
这些都是人工智能的建议
在我们还没有那么自信的时候
也许最好提供多重选择或者类似的选择
我们实际上给用户提供了这种选择，我们会说
你可能想在前两个或前三个选项之间进行选择
因此，这就是人工智能自信、极度自信
或有点自信各个阶段的时间
还有一些情况是， 我们发现人工智能是有价值的
但它肯定也错误百出，对吧？
所以，当发生了误报之类的事情时
你总是会想找一个借口
你想想这些情况，看看在哪些方面
可以应用人工智能并代表用户采取行动
我们在哪些方面可以提供建议和接受它们的意见
我们应该在哪些方面说你需要自己解决问题
这些就是我的想法
所以，你可以把它和用户体验看作是
增强人工智能的一种方法
>>EMILY SANDS：太棒了
你们都推出了很多很酷的产品
既有改进当前产品快速取得成果
也有在当前环境下推出的新产品
我在想，你们有没有走过弯路？
你们希望对哪些产品做出改变？
你们从中学到了哪些教训
希望别人可以避免？
想象一下我就是两年前的你
你想对我说些什么？
RAO SURAPANENI： 首先我肯定会说，要了解数据
确保你拥有适当的
控制、治理、访问水平
并能够将其应用于产品开发方面
这些方面的丰富和稳健
肯定会有助于你加快速度
并更加敏捷地向客户交付产品
我首先想到的是这几个方面
这些可以加快其他各方面的建设
>>INBAL SHANI： 我认为我会考虑的最重要的事情
是从客户的角度出发
了解人工智能在解决客户问题方面
能够发挥哪些作用
构建一个令人惊叹的酷炫解决方案很容易
但如果没有客户需要
那么就不是真正解决问题
因此，应该始终关注业务需求
关注你试图解决的客户问题
并想清楚以何种方式 引入人工智能才可以帮助到客户
这样也可以快速增加采用率
并且要认识到，即使你向客户介绍人工智能
客户学习也有一个过程
客户并不能马上接受
即使你打造出了最令人惊叹的人工智能产品
客户学习需要一个过程
因为这是一套新的解决方案
他们需要时间来调整和适应
所以，要对客户保持耐心，在他们经历这段
学习的过程时，要和他们保持紧密联系
>>现在你已经推出了 人工智能产品并得到了客户接受
但你们采用了什么样的模式来了解
人工智能是否可以解决客户痛点？
>>INBAL SHANI：这是个好问题
>>EMILY SANDS： 想到什么说什么就行
>>INBAL SHANI： 那我就想到什么说什么
这涉及到你的原则是什么
你的公司愿景和使命是什么？
你想解决的问题是什么？
以及，你在业务的哪一部分引入人工智能
将有助于加快这一进程
我们专注于提高生产力
这是我们的主要目标
我们想让开发者提高效率
作为这一目标的另一方面
我们还专注于增加安全性和扩展能力
但提高生产力是 GitHub 最重要的投资
我们希望成为所有开发者的家园
生产力是首要目标
那么，当我们研究人工智能时，我们在哪些方面
可以将人工智能作为我们解决方案的 一部分，以帮助客户提高生产力？
因此我们首先推出了结对编程员
然后我们还发现了更多的需求
但我们仍然需要关注我们的核心支柱是什么
我们作为一家公司的使命是什么
如果我们引入人工智能的成分
我们能做得更好吗？我们应该从哪里着手？
>>当你们考虑将人工智能 融入客户的核心产品中时
都是针对非常具体的核心产品
但我想知道的是，你们认为有没有
哪些应用程序 是所有公司或超过 50% 的公司
都应该考虑一下的？
例如使用 LLM 来做什么
>>INBAL SHANI：这个问题很好
我还是想到什么说什么
我认为是对话式人工智能
聊天这种功能非常有用
它非常强大
它不能解决每个人的问题
但如果你引入更多以更自然的方式提问的能力
那么当你应用人工智能时
这些领域就会更成功
我认为，无论你经营什么样的业务
这个结论通常都适用
如果你能够与客户交互
如果你引入了聊天的能力，如果是询问式的对话
也就是提出问题，或者寻找一篇文章
或者是利用对话来执行其他一些任务
我认为这些基本上就是最重要的因素之一
>>只要是对话式的
>>是的，只要是对话式的
>>我们现在就在进行很多对话
>>没错
>>Rao，你觉得呢？
你认为最重要的是什么？
>>Inbal 已经谈得很全面了
对于 ServiceNow 来说
聊天机器人和智能是我们业务的重要组成部分
正如我刚才所提到的 无论是人力资源、IT，还是客户服务
我们为许多企业互动和对话提供了技术支持
这正是我们所关注的领域
我们未来还有一些新的方向
但我现在还不能讨论这些
我们将在两周后召开自己的会议
你们可以从中了解到更多信息
>>好的
我们没有足够时间讨论人工智能的方方面面
如果你想要在自己的企业中使用 LLM 应用程序，可以与 Rao 交流
他可以构建这些产品，但我认为我们也可以
自己开发一些内部应用程序
太棒了
最后，我们还有
几分钟的时间
因此，非常高兴今天与你们一起 探讨当前向生成人工智能的转变
它对现有应用程序的意义
以及它如何解锁了新的应用程序
感谢你们提供的关于如何快速将产品推向市场
如何建立人机回圈
以及如何设定用户期望的各种简单技巧
我想作为最后的总结
我想知道你们私下里是否也有 LLM 方面的经历，这真的很有趣
除了业务之外，除了产品之外
你们在日常生活会如何使用它
>>好的，这是我个人的故事
我的大儿子刚刚完成了大学申请
出于某种原因
他决定去学习计算机工程
我保证，这不是受我的影响
>>不是提示工程吧？
现在还没有这样的专业
>>不是，他们不教这个
这也是我们在 GitHub 谈论的话题之一
我们如何将我们对人工智能的了解
带到我们的教育系统中
我们正在想办法找出我们可以采取的行动
我们还没有得出具体的结论
但当我们为我的儿子写申请书以及在他写文章时
我就想到了这个问题
如果我去问 Copilot 能不能为我写一篇申请文章
这就是提示词，实际上
Copilot 真的写出了一篇很好的文章
当然我们最后没用
他完全是自己写的
>>我们不会跟他的大学说的
这是一件好事
>>请替我们保密
但实际上我们没有用的原因是
我认为这篇文章给人的印象不够人性化
这是我们学到的经验，但总的来说，它的结构
信息和写作方式都很棒
这很有趣
>>这确实是一篇富有创造力的文章
这就是人工智能的创作，对吧？
>>是的
这是一段很有趣的体验， 因为它太让人惊叹了
>>我可能会后悔没有用 ChatGPT
准备今天的问题
Rao，你呢？
>>我有一个九岁的侄女
她最喜欢的角色是海绵宝宝
她经常会冒出一些更有趣的惊人想法
因此，在暑假，我们打算使用 Midjourney 和 ChatGPT
来看看她是否想基于自己的创造力画一部漫画
我们打算整个暑假都让她试一试
>>太好了
我很喜欢这个想法
今天的专题讨论到此结束
非常感谢 Inbal 和 Rao 的真知灼见
如果想要获得更多有趣的信息 请在今天晚些时候与我们一起
聆听 Sam Altman 的主题演讲