ようこそ Emily Sandsです
MLインフラ データサイエンス などのチームがある
Stripeの情報部門で 責任者を務めています
本日は特に 製品開発における
AIについて お話します
Bill Gates氏は 最近自身のブログに
「AIの時代が始まった」 と書きました
それは携帯電話やインターネットと 同様に大変革をもたらし
産業全体が この技術を中心に方向転換するため
この技術を いかにうまく使うかで
企業の明暗が分かれると 断言しています
大変なことですね
それを踏まえて 本日のパネルのモデレーターを
務めさせて いただきます
AIを自社製品に活用している 企業の実例を
掘り下げて 私たち全員の
ビジネスでの旅路において 役立つヒントを
得たいと考えています
ここで ServiceNowの ATGエンジニアリング担当
シニアバイスプレジデントである Rao Surapaneni氏と
GitHubの 最高プロダクト責任者である
Inbal Shani氏を 壇上にお招きします
ありがとうございます
お招きくださり ありがとうございます
Inbalさんは遠方から 来てくださいました
Raoさんは午前中から 来てくださいました
Inbalさんは GitHubのCPOですから
AIは目新しいものでは ありませんよね
以前在籍したAmazonや Microsoftでも
何十年も 取り組んでいらっしゃいます
そこで これまでの歩みと
現在の取り組みについて お聞かせください
大きな変化は ありますか
ある場合 どのようなものでしょうか
私がAIに 取り組み始めたのは
もう20年以上も 前のことです
実は修士課程のときから 取り組んでいました
遺伝的アルゴリズムによる チューニングを
行う機会がありました 興味深い分野です
ただ 結果が出るまで 数日かかります
制御システムを 構築していました
その狙いは 最適化の構築でした
このとき AIの世界に 初めて足を踏み入れたのです
その後 AmazonでAlexaの
組織の一員となり 興味深い分野を
構築する機会に 恵まれました
Alexaで カスタマーサービスを 構築しました
お客様をサポートできるように Amazonに関する問題を
解決するのに役立つ Alexaとの会話を
考えました
Microsoftでは 仮想サポートエージェントでした
これも 会話型でした
最近ではGitHubで Copilotに携わり
開発者の生産性向上や
作業時間の短縮などに 取り組んでいます
ありがとうございます
Copilotについて 詳しくお伺いします
現在はどのように 変化しているのでしょうか
全く違うものでしょうか
それとも 過去の延長線上に あるものでしょうか
従来 AIは非常にニッチな 分野でしたから
以前と今とでは 全く違うと思いますね
以前は解決したい問題に応じて 専用のアルゴリズムを構築し
チューニングすることに 長い時間がかかりました
AIの進化と同時に 計算能力も
進化してきたからです
モデルをチューニングし モデルを実行し
解決策や提案を得るには 時間がかかりました
今 LLMという 新しい世界では
さまざまなアルゴリズムを 組み込んだ
汎用性の高いアルゴリズムが 登場していて
多くの分野に 適用可能なモデルが
構築されています
つまり ニッチな 実装の世界から
汎用性の高いアルゴリズムに 移行していて
各企業はLLMモデルから 得たい出力を基に
実装を自分で 構築できます
ニッチで実行に時間がかかり ゆっくりで
一度に1つのアプリケーションしか できなかったのが
このような優れた共有基盤や モデルをほぼすべてに使用することで
ユースケースを見つけることが できるようになったのですね
ええ
すごいことです
Raoさんも ServiceNowや その前のご経歴から
非常に興味深い視点を お持ちです
2～3年前と比べて 今をどのように見ているのか
お聞きしたいです
今は2つのことが 確実に違います
ありきたりな表現ですが APIによって
AIは 民主化されています
これが1つ目です
2つ目は能力ですが できることが
大きく変わっています
この2つを応用することで 意味合いがリアルで
人間のような アプリケーションを
エンドユーザーにも 従業員にも
最終顧客にも 提供できます
APIによる 民主化というのは
モデルを構築しなくても AIを搭載したアプリケーションを
作れるようになった ということです
APIを 使うだけなのですね
そのとおりです
私の経歴は コンピュータービジョンから始まり
音声認識にも 少し携わりました
プラットフォームを構築することと ソリューションを応用して
エンドユーザーに提供することの 両面に取り組みました
現在は 自然言語理解だけでなく
自然言語生成も 優れているので
ユーザーに合わせて リアルに作ることができます
ありがとうございます
現在の変化について 印象的なことは
今お話しいただいたすべてと それがユーザーに
どのように現れているか ということです
私たちは皆 しばらくAIを体験しています
この体験は フィードに影響します
カスタマーサービスを 成功に導く方法に影響します
コードをスキャンする方法や コード内の依存関係を
見つける方法にも 影響します
でも今は どちらかというと AIはユーザーの手に
委ねられていると 思います
多くの生成体験では 内部ではなく
ユーザーが直接 AIとやり取りします
この話に進む前に 御社のビジネスの中心であった
既存のAIアプリケーションについて 具体的なレベルの設定と
生成型AIに関して これらを進化させるのかどうか
またその方法について お聞かせください
Inbalさんから お願いできますか
ええ GitHubの場合
コードスキャンには AIが必ずありました
さまざまなアルゴリズムが ありました
今回 LLMの導入に伴い コードスキャンの向上に
取り組んでいます
コードスキャンとは
どのようなものですか
コードを実行して
コードの脆弱性を 特定する機能で
GitHub Advanced Security ソリューションの一部です
このソリューションでは セキュリティを提供し
開発者全員に拡大することを 目指しており
すべての開発者にセキュリティを提供し すべての開発者が
より安全なコードを 書くことができるようにします
コードスキャンは その1つの要素で
脆弱性を特定し 脆弱性を回避または修正する方法を
開発者に提案することに
重点を置いていたので
必ずAIを使っていました
今は LLMやCopilotで 行っている取り組みにより
スタック全体で AIを活用するという
次のレベルに 到達しています
ServiceNowも 同じですね
チケットにタグを付け ルーティングし
最適化しています
仮想エージェントの内部では 多数のAIが動作していて
エンドユーザーと やり取りするものもあれば
そうでないものもあります
Raoさん 現行の アプリケーションは
最新のLLMで進化したのか それとも基本的に同じなのか
どのようにお考えですか
ええ
ServiceNowでは IT サービスマネジメント
人事 カスタマーサービスなど 企業の活動をルーティングするための
インテリジェントなワークフロー プラットフォームを販売しています
テキスト入力を前提として さまざまな予測アプリケーションを
常に提供していました
ユーザーが「パスワードのリセットを 手伝ってほしい」と入力すると
エージェントに送信され エージェントがIT部門に
転送する必要があると 判断するのが普通でした
このチケットを転送するのに ピアゼロエージェントは
必要なくなりました
このような 解決策としての分類は これまでも ありましたが
LLMによって より効率的で 正確な分類が可能になり
お客様ごとのトレーニングも 不要になりました
今は グローバルモデルがあります
大規模言語モデルによって お客様ごとの管理という
オーバーヘッド を伴わずに 置き換えることができます
パフォーマンスの高いモデルを
より迅速にコストを抑えて お客様に提供できるということですね
そうです
わかりました
LLMによる 既存のアプリケーションの
進化についてお伺いしました
この中には 「AIアプリケーションがない」
または「今の技術に合わせて
すでに進化させた」 と思っている方が
大勢います
最新のLLMのおかげで 今日構築できる
新しいものが 山ほどあるのです
午前中ここで Stripe Sigmaに わかりやすい英語で
ビジネスの質問を する というものを
瞬時に 作ったのを見ました
最近発売したものでも これから発売予定のものでも
具体的にどのようなものに
注目されていますか
Inbalさん Copilotは 注目を集めていますね
お話しいただけませんか
わかりました
GitHubでは 製品に関する考え方を
4つの柱に分類しています
開発者の生産性 開発者のセキュリティ
アプリケーションの拡張性
セキュリティです
AIについても 考えています
提供を開始した AIペアプログラマーのCopilot
最近提供を開始した Copilot Xでは
開発者プラットフォームと この4つの柱全体で
AIを活用するように なっています
AIについてどのように 考えているかというと
AIは すべてのプラットフォーム すべてのソリューションで
重要な要素で GitHubを使うときに
コードの安全性や 開発者の生産性を高め
アプリケーションを拡張できるため 以前より多くのことが
できるようになると 考えています
AIの導入により する必要がなくなった
定型作業が たくさんあります
たくさんですか
ええ
この新製品を 開発しようかしら
とびきりすばらしい製品に
なるでしょうね 弊社ではCopilotをよく使っています
一部の開発者に試験的に リリースしたところ
もっと導入してほしいという 声が上がりました
先月100% 導入しました
実現に至るまでの
道のりを お聞かせください
何から始めたのですか
どうやってチームが間違った方向に 行かないようにしたのですか
何から着手するのですか
弊社には インキュベーションハブの 役割を果たす
GitHub Nextがあります この科学者グループでは
開発者に 次に必要なものや
ツールを 進化させ続ける方法を
考えています
開発者の生産性や 開発者のセキュリティについて
3年後は どうなっているか
Copilotはそこから始まり OpenAIと
パートナーシップを結び その一環としてCopilotを
リリースできました
開発者のために もっと何かできないか
という発想から 始まりました
シグナルを調べることから 多くのものが生まれました
開発者が繰り返し行っている 作業の中に
ペアプログラマーを導入したら
省略できる作業はないだろうか
開発者の生産性を 加速させるには
どうすればいいのか
そこから ペアプログラマーのCopilotという
アイデアが生まれました
その成功を 目の当たりにしています
すごいことです
数字で表すと 生産性は
65%向上しました
開発者の幸福度は 75％高くなりました
お客様がCopilotを使用しているとき コードの46%が
Copilotによって 生成されています
大きな変化です Copilotを導入するだけで
貴社でもこれを実現し 開発者の生産性を
向上させることが できるのです
今は「次はどうしよう」と 考えている段階です
ありがとうございます
社内に インキュベーターのようなものが
あるということでしたが 印象的だったのが
ユーザーのニーズ ビジネスの問題に合わせて
最適化しながら 技術と密接に結び付いて
いることです
何ができるのかと考えながら
多くの企業が この2つを 融合させることに
苦労しているのを 目にします
ビジネスやユーザーの 問題について考える
グループと 技術について 考えるグループがあり
どちらも単独では 適切なソリューションを
生み出せないと 思います
融合が必要です
そこで教えてください
Raoさん ビジネス面とAIを 結び付けて 適切な製品を迅速に
市場に投入できるように ServiceNowで
実践していることはありますか
AIだけに 切り離されることは
ありません
ServiceNowでは このようにしています
普段から アイデアソンをしています
技術は必要ありません お客様の課題を見る
必要もないときも あります
アイデアソンとハッカソンは 別のもので
ハッカーだけでは ありません
エンジニアリング だけでもありません
アイデアを 出すだけです
ホワイトスペースについて 考えます
どのようなことを 解決できる可能性があるか
エンジニアや開発者主導での ハッカソンも
行っています
プロダクトリーダーや ビジネスオーナーに
参加してもらいます
2回目に アイデアから ホワイトスペースのアイデア
ふくらましたアイデア すぐにお客様のために解決できることまで
3つすべてのベクトルを 組み合わせようとします
そこから始まります
これらのアイデアのうち 次のリリースまで進んだ
アイデアの数や アイデアは ホライゾン1なのか ホライゾン2なのかも
評価します
比較的効率化された プロセスですが
大抵は 最初に アイデアを出し合い
最終的に実装計画に 移ります
進めたいアイデアが 出たら
成功をどのように 評価しますか
これらのプロジェクトの OKRはどう設定していますか
多くのAIアプリケーションには 不確実性がつきものです
決定論的ではありません
モデルのパフォーマンスに合わせて 最適化していますか
ビジネスの成果に合わせて 最適化していますか
目指すものは 何ですか
常にお客様の 成果を目標に
しています
それを成果と考えています
生成型AIであれ AIであれ この情報を表示する方法に関する
UXイノベーションであれ
お客様の成果を 目標としています
生成型AIにより 新しい能力が手に入りますが
新たな課題も生まれます
もともとの不確実性はありますが リスクを取り除く方法を見つけ
リリースするまでの過程に チェックポイントを
設ける必要があります
常に短い フィードバックループを探し
何かを構築し 内部検証を行い より大きなものを構築し
顧客実証を行い そこから前進できるように
しています
組織内で何かをしている 架空の人物について
多く話しています
この人たちは
開発者なのでしょうか
データサイエンティスト でしょうか
機械学習エンジニア でしょうか
プロンプトエンジニア でしょうか
それは 時間とともに
変化して きたのでしょうか
変化し続けていますか
私が答えたら いいのかしら
どちらでも
全員だと思います
誰もが関係しています
データサイエンティストも
エンジニアも
プロダクトマネージャーも
AIを活用し 数年後の 開発者のニーズを予想し
今すぐ投資する必要があると 決断することに
会社全体が関与しています
お客様の声 現場の担当者の声
収益 お客様との 会話の中から
多くが生まれています
そこから ビジネスに戻り
今投資すべき問題と 将来投資すべき問題について調べ
ここで製品が加わります
エンジニアリングと データサイエンティストの
共同作業が始まり 一緒に作り上げていきます
ええ
最近 プロンプトエンジニアに関する 話をよく聞きます
プロンプトエンジニアリングの 博士が見つからないんです
Raoさんがプロンプトエンジニアに 求めるものは何でしょうか
プロンプトエンジニアとは
どのような仕事でしょうか
ええ
私はそれを経験していますし それによって
何が起きているのかを 分析しています
私はエンジニアリングとサイエンスの チームを
運営していますが いつも エンジニアリングチームから始めます
プロンプトエンジニアリング について話しますが
まず私が考える 良いプロンプトエンジニアの
特徴からお話しします
1つは探究心が強く 実験に
抵抗がないこと
私は エンジニアが プロンプトを作成し 入力に対して
何が出力されるのかを 見ている姿を目にしています
実験して体感し 出力のパターンを見極める力が
必要です
エンジニアは 何が入るのかを探り どのような結果に
なるのかを見るという作業を 非常に良くやっています
その作業で 典型的なエンジニアに 欠けている部分
エンジニアにとって 得意分野ではないと感じたものは
コンテンツの分析 出力そのものです
エンジニアは 「このプロンプトを指定したら
答えはこうなった これでいいと思う」と
言います
ところが 確かな言語技術を学んだ
リンギストが参加すると 細かいところまで
見てくれます
口調は 合っているか
共感は適切か
能動態なのか 受動態なのか
この情報を どのように提示するのか
そのため 探究心が強く 実験を数多く行い
生成されるコンテンツを 細部まで調べられる人が
向いていると思います
ソフトウェアが動けばいい ということではないのです
次のレベルのコンテンツ出力に なることを知っておく
必要があります
ありがとうございます
技術基盤について 少しお伺いします
組織の多くには インフラチーム
MLインフラチーム データエンジニアリングチームがあります
AI製品を実現するために 組織の水平方向のプラットフォームに
必要なことは APIを使うだけでいいという状況で
どのように変化しましたか
何を構築する必要が ありますか
ご自身のチームでは 何に注力しますか
水平方向の基盤に関して
何を作ることを 他の企業に勧めますか
共有AIプラットフォーム チームの運営において
私の仕事は 社内の開発者が その機能を使って
製品を構築できるように することです
今はAPIによって実現した すばらしいプラットフォームが
ありますが プロンプトの実験にせよ
これらの製品の使い方に関して やるべきことが
たくさんあります
開発者が 自動テストスイートで
効率化できるのと同じように 効率化できます
企業のデータとセキュリティの管理に 関して 追加の措置を
講じる場合があります
特にエンタープライズ環境で 応答が返ってきたとき
ハルシネーションについて ある程度の確信を持つことと
コンテンツを検証できることが
同様に重要です
私のAIプラットフォーム チームでは
これまで行ってきたことに加えて そこに重点を置いています
弊社も よく似ています
AIについて 今取り組んでいることは
AI専用のプラットフォームを 構築することです
Copilotのニーズが高まり Copilotの使用量が
増えているという 課題も抱えています
そのプラットフォームを 拡張できるように
多くの投資を 行っています
それにより ソリューションを 構築していました
今はプラットフォームに 進化させる必要があります
これらのAPIを どのように導入するのか
これらのAPIを 全員に公開するのか
GitHubの観点から AIの今後をどのように考えるのかについて
いろいろ考えています 投資している
プラットフォームの量や 構築している
製品の量についても
AI投資の ポートフォリオについて
考えるとき クイックウィン
つまり 短期で 成果が出るものがあります
Docsなどに話しかけても いいですね
長期の戦略も ありますよね
意のままになるビジネス コンサルタントがいて ビジネスを
最適化する方法を教えてくれると したらどうでしょうか
お二人がポートフォリオの配分を 考えるとき
チームを どこに位置付けますか
クイックウィンのような 箱から出してすぐに
できるような戦略は どれくらいありますか
長期の戦略は どれくらいありますか
最新のLLMの登場により 変わりましたか
短期の成功と長期の利益の バランスを取る必要が
あるという考えは なくなったわけではないと思います
今は 特にAIの バランスを
取ろうとしています
今すぐ解決するべき ニーズもあります
需要は たくさんあります
多くの製品を 世に送り出しました
お客様は さらなるものを求めます
速い進化を 望んでいます
しかし 製品を拡張する方法や
最終的な目的地についても 考える必要があります
AIプラットフォームを 構築しようとしていること
APIを導入しようとしていること そのすべてをしていることを
お話ししました
これはどちらかというと 長期の戦略です
目先の問題と 今後 開発者に
必要になると 思われるため
今すぐ取りかかる 必要がある問題との
バランスを 取っています
そのとおりです
特に お客様の成果を 向上させたいと
考えることから始まっている場合 長期の戦略は
変わらないと思います
新しい技術を取り入れる場合は その戦略を
実現する方法は 変わってきます
少しずつ段階的に改善し それを検証することに
注目しています
目標達成に役立つ 内部のフィードバックループを
持つことです
このような連続性が 必要です
アジリティを重視し 次の一歩 その次の一歩を
どう踏み出すのかを 考えることが 弊社にとって
重要です
アジリティを実現し 機敏に動く
必要があるのですね
完全ではない状態で本番環境に 移行することがあると思うのですが
ユーザーが期待できることを決めるときに 品質 ヒューマンインザループ
ワークフローについて どのように考えますか
AIが内部で動いて フィードに ランク付けし ユーザーは
AIが働いていることすら 知らなかったときとは
違うと思います 今はエンドユーザーが
直接やり取りしています
何を達成すれば十分で 期待をどのように管理しますか
私から 始めましょうか
ヒューマンインザループは 特にこの技術において
すばらしい分野です
活用しなければなりません
弊社はこの分野において リードしています
技術がまだ新しく 懸念もあることから
製品でハルシネーションが 生成されるかに関わらず
ハルシネーションの可能性によって 製品の展開時に
摩擦が生じます
「リードしている」とは 具体的にどういうことですか
体験にどのように 表れていますか
ループに参加する人は 誰ですか
ServiceNowの場合 従業員であれ
消費者市場であれ お客様のお客様であれ
エンドユーザーがいます
ServiceNowでは エージェントをサポートしています
エージェントは ITチケットや人事チケットに対応します
エージェントは動機を持って ループに参加する専門家です
AIから提案される分野についての 知識があります
何が正しくて 間違っているのかを 知っています
エージェントは エンドユーザーをサポートでき
暗黙的な行動によって フィードバックを
提供できます
製品にハルシネーションがある場合 その洞察をくれます
このため よく活用しています
今 市場で目にする 製品の大半は
ヒューマンインザループの シナリオです
開発者は ヒューマンインザループの良い例です
AIは提案はできますが 開発者はコードが機能することを
確認することが求められます テストを実行し 組み込んだときに
うまく適合することを 確認した後に 発売します
AIは人間がさらにうまく できるように助けていますが
それでも このサイクルが 必要です
他に何かありますか
GitHubの場合 個人向けの Copilotから始めたのですが
これは意図的なものでした
Copilotをできるだけ多くの ユーザーに届けたいという思いがあり
嬉しいことに 1億人以上の開発者が
コミュニティに 参加してくれています
実験して 実験して 十分に実験したとなった瞬間に
非常に速い フィードバックループを
作ることができました
ユーザーの手に委ねて 具体的なフィードバックを入手し
受入れ率 満足度 生産性などの指標を調べ
シグナルを測定し 調整したり バランスを取ったりして
適切なものを 作る段階に入ります
その後 より保守的な層に 展開します
というのも 企業やビジネスに 導入するわけですから
変更管理 ループに参加する担当者など さまざまなものが
必要になります
実験と 実験のためのより速い
フィードバックループを どのように作るかの
バランスを 探しています
ありがとうございます
ベータに参加してもよいという ユーザーを見つけて
フィードバックループの提供を 開始するんですね
そうです
速さについて 詳しくお話ししましょう
AmperonでCTOを務める Abe Stanway氏が先日
「手強い問題は 偽装された 遅いフィードバックループだ」
とツイートしました
特に従来のAI 応用MLでは オフラインで行ってから
サンプルデータを使ってオンラインで行い 実際のデータを使って
オンラインで行うため 多くのAIには偽装された遅い
フィードバックループが あると思います
スピードアップの コツはありますか
市場に出すまでの時間が 重要だと感じます
実験が重要です
常に100％の品質に 最適化しようとすると
フィードバックループが とても遅い製品を
発売することになります
AIの進化はとても速いので より短い
フィードバックループが 必要です
自分のために コミュニティを構築して
実験をお客様の手に委ね テストを開始し
フィードバックループを 短くする必要があります
お客様からより多くの情報 シグナルを得ると
イノベーションを実現したり お客様の手に製品を届けたりする力を
加速させることができます
Raoさん スピードアップのコツは
何かありますか
データ 特にお客様に関するデータに
アクセスできること できるだけ事前にその多くを
入手すること データの収集と パイプラインに投資することは
お客様に製品を届ける前に いろいろなことをするのに
役立ちます
それがずっと 目標になっています
この方法で シフトレフトすることができます
OKRについて 話しました
では 何かをリリースする際に 継続か中止かを
判断する成功指標 について話しましょう
実験について お話を伺いました
何かを 世の中に出すことは
決定論的な体験です
ABテストができます
ベースラインやコントロールよりも パフォーマンスが
高いかどうかを 確認できます
どうでしょう AI製品は違いますね
開始時のパフォーマンスが 一番低いことが多く
既存のものより良いかではなく 時間と共に
十分に良くなるかが 大切です
継続か中止かを 判断する際の
体験の品質や 実験の成功について
どのように 考えていますか
重要なのは AIの世界には
たくさんのシグナルや データがあるので
測定する成功指標を 定義することです
従来の測定方法に照らして AIの成功を
評価しようとすると 見逃してしまいます
よく シグナルを 見逃します
少し見方を変えてみましょう なぜAIを
その特定の製品に 導入するのでしょうか
何を達成しようと していますか
最適な目標は 何ですか
時間による改善を 検討します
シグナルには多くのノイズが 含まれていることがあるため
実験用のプールを大きくすれば より多くのデータを
得ることができます ただし 最終的には期間を
設ける必要があります これは製品を成功させるために
設けた期間であり 成功かどうかを観察します
そして 転換することを 決断します
実験中に 収集するシグナルから
さまざまなヒントを 得ることができます
正しいことを しているかどうか
弊社の場合 期待を設定することから
始まっています
製品を構築することから 始めます
Now on Nowという プログラムがあります
社内でこの新開発の 製品を使います
最初のバージョンを手に取り 試してくれる
すばらしいパートナーが 組織内にいます
うまくいかないことも あります
すぐに改善します
社内でベータを使うことで お客様に届けるまでに
実際のシナリオでの評価が すでに終わっています
ChatGPT全体によって変わった もう1つの点として
以前はAIが機能することを 証明していたため
理由やしきい値 などについて
説明していましたが
今はお客様が弊社に来て 「ユーザーにとってさらに良いことが
できるように この技術を 活用できるようになりたい」と
言われることに 大きな違いを感じています
初期の顧客実証への参加や 弊社によるこの技術の
活用方法に 多くの関心が集まっています
とても興味深いですね
従来の応用AIは シームレスな正確さが大事で
正しく行っているかどうかで 自分を評価し
正しいかどうかに関する
信頼できる情報源が あったと思います
今は 有用性のような ものでしょうか
エンドユーザーが直接 技術とやり取りします
内部でシームレスかつ 正確であることが
大切なのではなく
役立つことが 重要なのです
ユーザーとの対話 プロダクトマーケットフィットのような
標準的な作業は 増えているのでしょうか
AIは内部にあるのではなく 生きた経験の一部なので
とても興味があります CPOの立場で
それはどのように 現れていますか
GitHubは最初から 非常にユーザータイプの
製品だと思います
ユーザー お客様 開発者と エンゲージメントを
築くことは 弊社にとって 自然な流れ
なのです
このように 運営しています
AIの導入に伴い 開発者がどのように受入れ
AIが本当に役立っているのかを 評価しようとすることが
大切です
最初はいろいろな 懸念がありました
開発者の仕事を 奪ってしまうものか
開発者に 取って代わるものか
その答えは 「いいえ」で
ヒューマンインザループが 必要なのです
でも より良いツールを 手にした開発者は
どのようにしてより良い開発者に なるのでしょうか
AIの進化や 導入方法において
お客様との関わりに 多くの意味があります
ヒューマンインザループが 必要なのですね
そうです
ユーザーに 不必要な摩擦は
作りたくありません
負担ではなく より役立つものにしたいのです
ユーザー体験に フィードバックループを
もともと組み込むことについて どうお考えですか
第一原則のようなものですか どのように構築していますか
後から思いつくのですか
フィードバックループは いつ考えるのですか
受入れ率を見ていて
フィードバックにも 注目しています
受入れ率は どう定義されていますか
Copilotから 提示された提案を
受入れたときと 定義しています
ペアプログラマーが そこにいるのです
指定したプロンプトに基づいて コードの一部が
提案されます
ユーザーが受入れたら それが受入れ率になります
生産性を評価する 調査もあります
お客様が 「あのときコードを生成できなかった」
と報告してくれます
Copilotを使用することで 企業の生産性が
どれくらい向上したのかを 確かめるサービスも提供しています
ええ どうぞ
続けてください
付け加えると
ユーザー体験が大きな役割を 果たすこともあります
これに使用できる 体系的なアプローチです
AIの確信度が高い場合 デフォルトに設定していくつかのフィールドに
入力し 次に進むことができます
それでも AIによる提案であることを
示した方が いいでしょう
確信度が低い場合は 多肢選択式か選択式に
すると良いでしょう
実際にユーザーに このような選択肢を与えて
上位2つまたは3つの選択肢の中から 選んでもらうようにしています
AIの確信度が高い 非常に高い やや確信度が高い
といった具合です
役に立つ場合があれば 確実に間違っている
という場合も ありますよね
偽陰性のようなことが 起こったときの解決策を常に
用意しておくと いいでしょう
このような状況を調べて AIを適用してユーザーに代わって
アクションを実行できる場面か 提案してユーザーの入力を
受け入れることができる場面か ユーザーが自分で見つける必要があることを
伝え AIによる提案を 示すだけに留めた方がよい
場面かを 見極めます
アプローチとして AIを補強するユーザー体験
のように見ています
ありがとうございます
現行製品の改善による クイックウィンのようなものから
現在の状況に合った 新しい製品まで
たくさんのすばらしいものを 発売されています
間違えたことは ありましたか
こうすればよかったと 思うこと
他の人には経験して ほしくない
ことなどはありますか
例えば私が 2年遅れているとすると
何を伝えますか
データを理解し 適切なレベルの
管理 ガバナンス アクセスを確立し
製品開発側に 応用できるように
することから 始めます
そこで豊富で強固なものを 手に入れると
お客様に提供したいものを より迅速に 機敏に
実現できるように なります
そこから始めると
他のすべてが 加速していきます
最も重要なことは お客様から
開始することだと 思います
お客様の問題を解決する上で AIが果たす
役割を理解します
優れたソリューションを構築するのは 簡単ですが
お客様のニーズがなければ 問題を解決したとは
言えません
常にビジネスのニーズ お客様の問題に焦点を合わせ
どのようにAIを導入すれば お客様に
役立つのか 非常に速いフェーズで 定着率を高められるのかを
見つけてみてください
お客様の前でAIを導入したとしても 習得するまでの
時間が必要であることを 忘れないでください
AIを搭載したすばらしい製品を 作ったとしても
明日何かが 起こるわけではありません
新しいソリューションであり 調整と適応に
時間がかかるため お客様には
習得するまでの時間が 必要です
お客様が 習得しようとしている間
辛抱強く 見守ってください
そうやって こられたのですね
お客様の問題が AIで解決できるかどうかを
知るために どのようなパターンを 探すとよいのでしょうか
いい質問です
何気ない質問です
何気ない質問
信条 会社のビジョンや ミッションと
関係しています
解決しようとしている問題は 何ですか
ビジネスのどの部分に AIを導入すれば
加速させることが できそうですか
生産性を 重視しています
弊社の最大の目標です
開発者の生産性を 高めたいと考えています
その一環として セキュリティや拡張性を高めることに
注力しています
生産性はGitHubにとって 大きな投資です
すべての開発者の ホームでありたいです
生産性が 一番大事です
AIを検討する際 お客様の生産性向上につながる
ソリューションの一部として AIをどこに適用できるでしょうか
そこで ペアプログラマーから始め
ニーズがあることを 確認しました
しかし 中核となる柱や 会社の方向性について
考えることで より焦点が定まってきました
AIという要素を導入したら 何をうまくできるのか
どこから 着手すべきなのか
AIを自社の主力製品に 組み込む場合
主力製品が何かによって 違うと思うのですが
すべての企業または
50%以上の企業が 検討すべきアプリケーションは
あると思いますか
LLMを使って 何をしますか
いい質問です
これも 何気ない質問ね
対話型AIですね
チャットは とても優れています
パワフルです
全員の問題が 解決するわけではありません
より自然な形で質問できる機能を 導入する範囲を
広げていくほど AIを適用したときに
成功する領域が 増えていきます
どんなビジネスでも だいたいそうだと
思います
お客様とのやり取りがある
チャットの機能を導入している 会話を求めている
質問している 記事を探している
その会話を使って 何かする
このようなことが 最も重要な要素の1つだと思います
会話型なら なんでも
そのとおりです
たくさんの会話を しています
Raoさんは いかがですか
真っ先に思いつく
ものはありますか
Inbalさんが 言ったとおりです
ServiceNowの場合 チャットボットとインテリジェンスは
ビジネスの 大きな部分を占めています
人事でも ITでも カスタマーサービスでも
弊社は 企業のさまざまな やり取りや会話をサポートしています
そこに注力しています
他にもいくつかあるのですが 今日は話さないで
おきます
2週間後に弊社のカンファレンスが あります そこでも
ためになる情報を 得られると思います
ありがとうございます
社内向けのLLMアプリケーション について話しませんでしたが
興味のある方はRaoさんに 声を掛けてみてください
Raoさんも作れますが 自分で立ち上げることができる
社内アプリケーションも 多くあると思います
すばらしい
残り時間が
数分となりました
現在の生成型AIへの移行 既存のアプリケーションに
とっての意味 新しいアプリケーションの可能性
についてお話ししました 市場に早く投入する方法や
ヒューマンインザループの作り方 ユーザーが期待できることを
決める方法について ヒントをくださり
ありがとうございます
最後になりますが LLMについて個人的に
嬉しかった体験 ビジネス以外で 製品以外で
日常的にどのように 使っているのか
お聞かせください
個人的な話ですが
上の息子が 大学に出願しました
なぜか コンピューター工学を 学びに行きたいと
思っているようです
私は何もしていません
プロンプトエンジニアリングでは ないですね
まだありませんから
まだ教えていないですね
GitHubでは AIについて学んだことを
どう活かすのかについて話しています 今弊社の教育システムに
組み込んでいます
何ができるかを 考えています
具体的には ないんです
息子の願書を書き 息子が小論文を
書くとき ふと興味が湧きました
Copilotに出願用の 小論文を書いてと言ったら
どうなるか プロンプトは これにしようと 実際
なかなかいい小論文が できました
使いませんでしたけど
息子が自分で全部 書きました
大学には 言いませんよ
いいですね
やめてくださいよ
実際には 使いませんでした
人間らしさが 足りませんでした
わかってはいたことですが ただし
構成 情報 やり方は すばらしかったです
楽しかったですね
まさに生成の 部分ですね
創造ですね
ええ
本当に楽しい 実験でした
私も今日の質問を
ChatGPTを使って 書いていたりして
Raoさんは いかがですか
私には 9歳の姪がいます
好きなキャラクターは スポンジボブです
彼女は 他にもっとおもしろいものが あるのではと考えています
夏にMidjourneyと ChatGPTを使って
彼女の創造力を基に マンガを書いてみようかと考えています
夏休みの間に やってみます
すばらしいです
いいですね
本日のパネルは ここまでです
Inbalさん Raoさん ありがとうございました
本日はSam Altman氏との 座談会もあります
よかったらぜひ