Bonjour, je m'appelle Emily Sands.
Je m'occupe du service informatique Stripe et de nos équipes d'infrastructure
d'apprentissage automatique et de science des données.
Nous allons parler de l'IA aujourd'hui, plus particulièrement
de l'IA dans le contexte du développement de produits.
Bill Gates a récemment écrit sur son blog que l'ère de l'IA
avait commencé.
Il a affirmé que cela serait aussi révolutionnaire que les téléphones mobiles
ou Internet, que des secteurs complets se tourneraient vers la technologie,
et que les entreprises se démarqueraient de la concurrence
en fonction de leur manière d'utiliser l'IA.
Plutôt simple, donc.
En gardant cela à l'esprit, je suis ravie de
présenter le panel d'aujourd'hui.
Nous allons discuter en détail d'exemples réels des différentes manières
dont vos pairs tirent parti de l'IA dans leurs propres produits et
ils nous fourniront des conseils utiles
pour chacun de nos parcours.
Joignez-vous à moi pour accueillir Rao Surapaneni,
vice-président senior d'ATG Engineering chez ServiceNow et
Inbal Shani, responsable produits chez GitHub.
Super.
Merci d'être là aujourd'hui.
Merci de nous recevoir.
Inbal vient d'atterrir à l'instant juste pour nous.
Rao nous accompagne depuis ce matin.
Bien sûr, Inbal, l'IA n'est pas nouvelle pour vous en tant que
responsable produits chez GitHub, mais aussi Amazon
et Microsoft auparavant.
Vous travaillez dans le domaine depuis des décennies.
Je suis curieuse d'en savoir un peu plus sur le type de parcours que
vous avez suivi et sur vos observations concernant la période actuelle.
Un changement important est-il en train de produire ?
Si c'est le cas, quel est-il ?
Mon parcours dans l'IA a en fait commencé
il y a plus de 20 ans, ne comptez pas mon âge.
J'ai commencé à travailler avec l'IA pendant mon cursus de master.
J'ai eu la chance de coder des algorithmes génétiques.
Si vous en avez entendu parler, ils sont très amusants.
Cela ne prend que quelques jours pour obtenir des résultats.
Je construisais des systèmes de contrôle et l'idée était de
mettre en place une optimisation.
C'était réellement mes premiers pas dans le monde de l'IA.
Ensuite, je suis arrivée chez Amazon et j'ai eu la chance
de faire partie du projet Alexa et de travailler sur
certains domaines intéressants.
Je pense que mon préféré était la construction du service client Alexa,
et donc la capacité d'aider les clients, de penser à une conversation
avec Alexa permettant d'aider à résoudre les problèmes que les clients rencontrent
avec Amazon.
Chez Microsoft, j'ai travaillé sur un agent d'assistance virtuel qui,
une fois de plus, était tourné vers la conversation.
Récemment, j'ai pu rejoindre l'aventure Copilot chez GitHub,
qui se concentre sur l'optimisation des développeurs, de la productivité
et du temps, ce genre de choses.
Génial.
Nous allons parler de Copilot plus en détail par la suite.
Mais vraiment, dans quelle mesure le monde d'aujourd'hui a-t-il changé ?
La situation est-elle différente ?
Ou s'agit-il seulement d'une extension du passé ?
Je pense que c'est différent, car dans le passé,
l'IA était un domaine de niche.
Nous avions l'habitude de créer des algorithmes spécifiques en fonction
du problème que nous souhaitions résoudre, et l'affinage prenait un certain temps
car en même temps que l'IA évoluait, c'était également le cas
de nos capacités informatiques.
C'est pourquoi l'affinage des modèles, leur exécution réelle et
l'obtention de solutions ou de suggestions prenaient du temps.
Aujourd'hui, nous pouvons constater dans le nouveau monde des LLM qu'il existe
des algorithmes plus génériques qui intègrent de nombreux
algorithmes différents. En fait, on construit
un modèle qui est applicable
dans plusieurs disciplines.
Nous passons du monde de l'implémentation de niche à celui des
algorithmes plus génériques, que les entreprises peuvent ensuite
utiliser pour créer leur propre implémentation en fonction de
ce qu'ils souhaitent vraiment tirer des modèles LLM.
Alors on passe d'une niche aux délais de traitement longs,
avec une application à la fois et lentement
à de bonnes bases et modèles communs que nous pouvons utiliser
dans quasiment tous les domaines pour déterminer le cas d'utilisation.
Oui.
Génial.
Vous aussi Rao, vous avez un point de vue très intéressant
grâce à votre poste chez ServiceNow et dans vos fonctions précédentes.
Je suis curieuse de savoir comment vous appréhendez le monde d'aujourd'hui
par rapport à il y a deux ou trois ans.
Deux choses sont vraiment différentes aujourd'hui.
Aussi cliché que cela puisse être, l'IA s'est vraiment démocratisée
par le biais des API.
Voilà la première chose.
Ensuite : les capacités.
Nous pouvons désormais faire des choses radicalement différentes.
En appliquant ces deux points, il est possible de proposer des applications
réelles et semblables aux humains dans leurs connotations.
Vous pouvez vraiment proposer cela à vos utilisateurs finaux,
qu'il s'agisse de vos employés ou de votre client final.
Pour clarifier et que tout le monde comprenne bien,
lorsque vous parlez de démocratisation via des API, vous voulez dire qu'il est
possible de construire des applications optimisées par l'IA sans créer de modèle.
Il suffit de se servir d'une API.
Tout à fait.
Mon propre parcours a commencé avec
la vision par ordinateur, j'ai ensuite un peu travaillé sur
la reconnaissance vocale, à la fois sur la construction d'une plateforme
et sur l'application de ces solutions pour les proposer aux utilisateurs finaux.
Aujourd'hui, nous en sommes à un point où la compréhension du langage naturel
et la génération de langage naturel sont tellement performantes
qu'il est vraiment possible de les concrétiser pour vos utilisateurs.
Super.
L'une des choses qui se démarque selon moi
dans cette transformation actuelle, avec tout ce que vous avez mentionné,
c'est la manière dont l'IA se manifeste pour les utilisateurs, pas vrai ?
Nous connaissons l'IA depuis un moment maintenant.
Elle influence nos flux,
la manière de favoriser la réussite du service client,
ou encore les méthodes d'analyse de code
et de recherche de dépendances dans le code.
Mais je pense que la période actuelle se concentre davantage sur le fait
de mettre l'IA dans les mains des utilisateurs.
Dans de nombreuses expériences génératives, l'utilisateur interagit
directement avec l'IA, et non de manière implicite.
Avant que nous discutions de cela, je voudrais remettre tout le monde
à niveau concernant les applications d'IA existantes de façon très concrète,
qui sont centrales dans vos entreprises, et si/comment nous devons
les faire évoluer dans le contexte de l'IA générative.
Inbal, si vous voulez commencer ?
Oui. Je pense que pour nous, spécifiquement GitHub,
l'IA a toujours été présente dans l'analyse de code et il existait
un ensemble d'algorithmes différent.
Avec l'arrivée des LLM, nous travaillons sur l'amélioration
de notre analyse de code.
Juste pour clarifier, lorsque l'on parle d'analyse de code,
de quoi s'agit-il ?
L'analyse de code est la capacité
d'exécuter son code et d'identifier les vulnérabilités qui s'y trouvent.
Cela fait partie la solution de sécurité avancée de GitHub
qui a pour objectif de sécuriser le code et l'enlever de--
pas vraiment l'enlever, mais l'étendre à l'ensemble des développeurs,
de manière à ce que chaque développeur puisse bénéficier d'une sécurité
et écrire du code plus sécurisé.
L'analyse de code n'est qu'un élément de cette sécurité et elle se concentre
sur l'identification des vulnérabilités et
des recommandations pour les développeurs permettant d'éviter
les vulnérabilités ou de les corriger,
cette partie a toujours fait appel à l'IA.
Désormais, avec les LLM et le travail que nous effectuons sur Copilot,
nous faisons vraiment passer l'IA
à tous les niveaux du développement.
C'est à peu près la même chose chez ServiceNow, pas vrai ?
Vous étiquetez des tickets, les acheminez
et les optimisez.
Vous disposez d'un agent virtuel qui renferme de nombreuses fonctionnalités
optimisées par l'IA, certaines impliquant
l'utilisateur final, d'autres non.
Rao, selon vous, dans quelle mesure vos applications existantes ont-elles
évolué avec les LLM modernes ou sont-elles restées
plus ou moins les mêmes ?
Tout à fait.
ServiceNow propose des plateformes de flux intelligent
pour que les entreprises puissent organiser leurs activités, qu'il s'agisse
de l'informatique, la gestion de services, les RH ou le service client.
Nous avons toujours eu de nombreuses applications prédictives
selon une entrée de texte.
Un utilisateur saisit : "Réinitialiser mon mot de passe"
Cette requête était généralement transmise à un agent qui l'examinait et décidait
de la transférer au service informatique.
Cet agent pair initial n'est plus nécessaire
pour acheminer ce ticket.
Nous sommes toujours classés comme une solution, mais avec
l'émergence des LLM, nous pouvons être beaucoup plus efficaces
et précis, et nous n'avons pas besoin de former individuellement les clients.
Il existe désormais un modèle mondial, ces grands modèles de langage
sont tellement performants qu'il est vraiment possible de les remplacer
sans supervision supplémentaire de gestion individuelle des clients.
Cela signifie donc que vous pouvez lancer un
modèle hautes performances pour les clients plus rapidement et moins cher ?
Tout à fait.
Très bien.
Nous avons un peu parlé des applications existantes et
de leur évolution avec l'arrivée des LLM.
Il y a également de nombreuses personnes dans la salle qui pensent
qu'elles n'ont pas d'applications d'IA.
Je n'en ai pas, vous savez, je suis déjà passé
à la technologie actuelle.
Nous pouvons construire un nombre impressionnant de nouvelles choses
grâce aux LLM modernes.
Nous en avons exécuté un rapidement chez Stripe ce matin,
en posant une question commerciale à Stripe Sigma
en anglais simple.
Je suis curieuse de savoir quels exemples concrets vous viennent à l'esprit,
qu'il s'agisse de lancements récents
ou de projets à venir ?
Inbal, peut-être Copilot ? Un outil remarquable.
Nous pouvons commencer par là.
Bien sûr.
Dans GitHub, nous séparons notre manière d'élaborer
nos produits en quatre piliers :
la productivité des développeurs, la sécurité des développeurs,
la capacité évolutive des applications et,
bien sûr, la sécurité.
Nous gardons l'IA à l'esprit.
Nous avons lancé Copilot, un programmeur assisté par l'IA,
puis Copilot X plus récemment,
qui commencent vraiment à déployer l'IA sur les plateformes de développement
et dans ces quatre piliers.
Si l'on réfléchit à la manière dont nous abordons l'IA,
il s'agit d'un élément essentiel et important sur toutes nos plateformes,
toutes nos solutions, avec l'objectif de rendre le code plus sécurisé,
de faire en sorte que les développeurs soient plus productifs et en mesure
de faire évoluer leurs applications, de pouvoir faire plus que
jamais auparavant en utilisant GitHub.
Une fois de plus, cela diminue fortement le caractère standard de
ce travail avec l'introduction de l'IA.
OK. C'est beaucoup d'informations, vraiment beaucoup.
C'est vrai.
Ma tête tourne car j'imagine que ça c'est passé un peu comme ça :
"Je vais développer ce nouveau produit, ça va être un franc succès"
Génial, au fait. On l'adore chez Stripe.
Nous avons déployé une version pilote chez nos développeurs,
et ils en redemandaient encore plus.
Nous l'avons donc entièrement déployé le mois dernier.
Je suis curieuse.
À quoi ressemblait le parcours pour parvenir à cela ?
Par quoi avez-vous commencé ?
Comment vous êtes-vous assurée que vos équipes étaient sur la bonne voie ?
Quand le projet n'en était qu'à ses débuts ?
Nous disposons de GitHub Next,
une sorte d'incubateur, et nous avons la chance d'avoir
ce groupe de scientifiques dont le seul objectif est de déterminer
les futures tendances, ce qui sera intéressant pour les développeurs
et comment nous pouvons continuer à faire évoluer nos outils.
Il s'agit en quelque sorte de notre horizon à trois ans lorsque l'on parle
de la productivité ou de la sécurité des développeurs.
C'est donc ici que Copilot a commencé, et nous avons ensuite
conclu un partenariat avec OpenAI en vue de lancer Copilot
dans ce cadre.
Le projet est parti d'une idée de ce que l'on pouvait faire de plus
pour les développeurs.
Elle s'est imposée en examinant les différents signaux.
Que font les développeurs de manière répétée ?
Peut-être serait-il possible de créer un assistant de programmation
pour leur enlever cette charge de travail ?
Comment pouvons-nous améliorer encore plus
la productivité des développeurs ?
C'est de là qu'est venue l'idée de Copilot,
notre assistant de programmation.
Nous avons constaté son succès retentissant
et nous en sommes ravis.
Pour donner des chiffres, nous parlons de 65 % d'amélioration
de la productivité,
75 % d'amélioration de la satisfaction des développeurs.
Également, 46 % du code des clients est écrit à l'aide de Copilot
ou par Copilot.
Il s'agit d'un changement majeur, car imaginez que vous pouvez
en faire bénéficier votre entreprise et améliorer la productivité des développeurs
simplement en intégrant Copilot.
Maintenant, nous nous demandons quelle est la prochaine étape.
Super.
Vous avez mentionné cet incubateur,
cet accélérateur que vous avez établi en interne, cela m'a interpellée,
vraiment, ce groupe optimise vraiment ses produits en fonction
des besoins de l'utilisateur ou de l'entreprise, tout en étant
étroitement lié avec la technologie.
En se demandant ce qui est possible.
Je vois beaucoup d'entreprises qui ont du mal à conjuguer les deux.
Pas vrai ?
Il y a un groupe dédié aux activités commerciales ou
aux problèmes utilisateurs, et un autre qui réfléchit aux
aux questions technologiques, et je ne pense pas que les solutions idéales
puissent voir le jour avec une telle séparation.
Nous devons vraiment combiner les deux.
Je suis donc curieuse.
Rao, avez-vous fait quelque chose chez ServiceNow pour réunir
le côté commercial avec l'IA afin de proposer les bons produits
rapidement sur le marché ?
Cet aspect commercial n'est pas séparé
de l'IA en elle-même.
Voici ce que nous avons fait dans notre parcours chez ServiceNow.
Nous organisons généralement un idéathon.
Simplement, nous n'avons pas besoin de la technologie.
Parfois, nous n'examinons même pas les défis rencontrés par les clients.
Donc, un idéathon diffère d'un hackathon
car il n'y a pas que des hackers qui y participent.
Oui, il ne s'agit pas non plus d'un simple projet d'ingénierie.
Il suffit de donner une idée.
Cela se concentre davantage sur le fait de penser aux lacunes existantes.
Que pouvons-nous éventuellement résoudre ?
Il existe également des hackathons, généralement plus à destination
des ingénieurs et des développeurs.
Nous impliquons ensuite les dirigeants d'entreprise,
qu'il s'agisse des responsables produits ou des propriétaires d'entreprise.
Nous effectuons un deuxième tour dans lequel nous essayons de combiner
ces trois vecteurs à partir des idées relatives aux lacunes
jusqu'à leur mise en œuvre pour résoudre immédiatement certains problèmes,
et nous prenons cela comme point de départ.
Nous mesurons également cela en fonction du nombre d'idées intégrées
dans la prochaine version, et s'il s'agit d'une priorité de niveau un
ou de niveau deux.
Nous suivons donc un processus relativement rationalisé,
en commençant généralement par des idées divergentes,
que l'on converge ensuite dans un plan d'implémentation.
OK. Et une fois que vous avez une idée que vous souhaitez
mettre en œuvre, comment déterminez-vous s'il s'agit d'une réussite ?
Définissez-vous des objectifs et résultats clés pour ces projets ?
De nombreuses applications d'IA présentent par nature de l'incertitude.
Elles ne sont pas déterministes.
Alors, optimisez-vous en vue d'améliorer les performances du modèle ?
Ou optimisez-vous les résultats commerciaux ?
Par quoi êtes-vous guidés ?
Nous regardons toujours dans la direction
des résultats pour le client.
C'est ce que nous souhaitons atteindre.
Qu'il s'agisse de l'IA générative, de l'IA ou encore même
seulement d'une innovation UX de la manière de présenter
ces informations, tout cela nous guide.
Oui, l'IA générative apporte de nouvelles capacités,
mais également de nouveaux défis.
L'incertitude associée est bien là, mais nous devons déterminer comment
atténuer les risques liés et le vérifier tout au long
du processus.
Nous sommes toujours à la recherche de ces courtes boucles de commentaires permettant
d'élaborer quelque chose, d'obtenir une validation en interne,
de construire quelque chose de plus grand, d'obtenir une validation client,
et de partir de là.
Oui. On parle beaucoup de
personnes imaginaires dans une entreprise qui font quelque chose.
Qui sont ces personnes ?
S'agit-il de développeurs ?
De data scientists ?
Ou bien d'ingénieurs en apprentissage automatique ?
D'ingénieurs rapides ?
Vous savez ?
Et cela a-t-il évolué au fil du temps ?
Un changement est-il en train de se produire ?
Cette question est pour moi ?
Pour ceux qui veulent y répondre.
Je pense que pour nous, il s'agit de toutes ces personnes.
Tout le monde est impliqué.
Ce sont les data scientists.
Ce sont les ingénieurs.
Ce sont les responsables produits.
L'ensemble de l'entreprise est engagée à faire progresser l'IA
et imagine les futurs besoins des développeurs
dans quelques années, pour savoir où investir dès maintenant.
Ces besoins sont souvent exprimés par les clients
et rapportés par nos représentants sur le terrain, se reflètent dans
notre chiffre d'affaires et sont évoqués dans des conversations avec les clients.
Lorsque l'on revient aux activités, nous déterminons dans quels
problèmes nous devrions investir sans attendre
et à l'avenir, et c'est ici que les produits entrent en jeu.
Il y a ensuite un travail collaboratif entre les ingénieurs
et les data scientists, de manière à construire ensemble la solution.
Oui.
On parle beaucoup des ingénieurs rapides ces temps-ci.
Je n'ai pas trouvé de personnes diplômées d'un doctorat en ingénierie rapide.
Qu'est-ce que vous recherchez en recrutant vos ingénieurs rapides, Rao ?
Et que sont les ingénieurs rapides ?
Que font-ils ?
Tout à fait.
Je pense que cela fait partie de mon expérience et
j'analyse ce qui se passe à partir de là.
Généralement, nous commençons toujours par l'équipe d'ingénierie,
car je m'occupe de l'équipe Ingénierie et sciences.
Au sujet de l'ingénierie rapide, je vais commencer
par les caractéristiques des bons ingénieurs rapides
selon moi.
Tout d'abord, ils doivent être curieux et très à l'aise
avec l'expérimentation.
Je constate que les ingénieurs jouent avec les prompts, qu'ils voient
ce qui est entré et les résultats obtenus.
Ils doivent être capables d'expérimenter ainsi que de ressentir et d'identifier
les modèles du résultat.
Je considère qu'un ingénieur fait du bon travail lorsqu'il peut
déterminer ce qui est entré et voir les résultats.
Il manque une partie dans cet exercice, car généralement, je trouve que
les ingénieurs ne sont pas les meilleurs
en matière d'analyse de contenu, le résultat en lui-même.
Typiquement, je vois les ingénieurs dire : "OK, j'ai entré ce prompt
et la réponse est ceci.
Ça me va."
Lorsque nos linguistes entrent en jeu, des personnes formées
dans les arts du langage, ils sont capables
d'identifier des détails subtils.
Le ton est-il approprié ?
L'empathie est-elle appropriée ?
S'agit-il d'une voix active ou passive ?
Comment souhaitez-vous présenter à nouveau ces informations ?
Donc, selon moi, les caractéristiques appropriées seraient
la curiosité, l'envie d'expérimenter et la capacité d'approfondir
en détail le contenu produit.
Cela ne suffit pas de s'arrêter lorsque le logiciel fonctionne.
Il est nécessaire de savoir s'attaquer au niveau supérieur du contenu
des résultats également.
Super.
Parlons un instant des bases de la technologie.
De nombreuses entreprises disposent d'équipes d'infrastructure,
d'équipes d'infrastructure ML et d'équipes d'ingénierie des données
Dans quelle mesure les besoins en plateformes horizontales des entreprises
pour implémenter ces produits d'IA ont-ils évolué dans ce contexte,
peut-être simplement en exécutant une API ?
Je suis curieuse, que devez-vous construire pour répondre à ces besoins ?
Qu'est-ce qui vous passionne dans ce processus avec vos équipes ?
Que voudriez-vous conseiller aux autres entreprises de construire
lorsqu'il s'agit des bases horizontales ?
Pour moi, je gère une équipe de plateforme d'IA partagée,
mon travail est de faire en sorte que nos développeurs en interne
construisent des produits à l'aide de ces capacités.
Il existe maintenant une une plateforme géniale optimisée
par des API, mais il y a encore bien plus à faire en matière de
structure d'utilisation de ces produits, cela peut être l'expérimentation
avec les prompts.
Il est possible de le faire efficacement, tout comme un développeur
peut être efficace grâce à des suites de tests automatisés.
Des contrôles supplémentaires peuvent être ajoutés concernant la manière dont
les données et la sécurité d'entreprise sont gérées.
Enfin, lorsque les réponses sont retournées, en particulier
dans un contexte d'entreprise, disposer d'un certain niveau de confiance sur
les hallucinations ou être capable de valider ce contenu
est tout aussi important.
C'est sur cela que je me concentre pour mon équipe de plateforme IA,
en plus de tout ce qui gravite autour de cela.
C'est à peu près la même chose pour nous.
La manière dont nous réfléchissons à l'IA et à ce que nous faisons est
que nous essayons de créer cette plateforme spécifique à l'IA,
et nous rencontrons un défi par rapport au besoin accru
de Copilot et de son utilisation.
Nous investissons donc beaucoup dans notre capacité
à étendre cette plateforme.
Il s'agissait de construire une solution.
Maintenant, nous devons la faire évoluer en plateforme.
Alors, comment introduire ces API ?
Seront-elles ouvertes à tous ?
Une grande partie de notre réflexion relative à notre vision
du futur de l'IA du point de vue GitHub concerne à quel point il s'agit
d'une plateforme dans laquelle nous investissons par rapport à un produit
que nous construisons.
Lorsque nous pensons tous à notre
portefeuille d'investissements IA, il existe ce genre de victoires rapides,
les projets sur le court terme, pas vrai ?
Nous laisser écrire des documents avec la voix ou quelque chose du genre.
Il existe aussi certains paris sur le long terme, pas vrai ?
Imaginez si vous aviez un consultant commercial dans votre poche,
qui pourrait vous dire quoi faire pour optimiser votre entreprise ?
Je suis curieuse, lorsque vous pensez à vos propres allocations de portefeuille,
où positionnez-vous les équipes ?
Quelle est la part de victoires rapides, y a t-il de nombreuses choses
que nous pouvons faire plus ou moins hors des sentiers battus ?
Et quelle est la proportion de paris davantage sur le long terme ?
La situation a-t-elle évolué dans le contexte des LLM modernes ?
Je pense que l'idée selon laquelle il est nécessaire d'équilibrer
les gains à court terme et ceux à long terme est toujours présente.
Seulement maintenant, l'IA est ce que
nous essayons d'équilibrer.
Bien sûr, il existe un besoin de résolution immédiate des problèmes.
La demande est élevée.
Nous avons lancé quelques produits.
Nos clients en veulent plus.
Ils veulent constater une évolution rapide.
Mais ensuite, nous devons commencer à penser comment il est possible
de la faire évoluer et déterminer où nous souhaitons aller.
Je voulais continuer sur le fait que nous essayons de créer
une plateforme d'IA, nous essayons d'introduire un ensemble d'API
et nous faisons tout cela.
Il s'agit donc plus d'un enjeu sur le long terme pour nous.
Nous essayons de trouver un équilibre entre les problèmes immédiats
par rapport aux choses
que nous devons anticiper, dont les développeurs auront besoin
à l'avenir et sur lesquelles nous devons commencer à travailler dès maintenant.
Tout à fait.
Pour moi en ce qui concerne la stratégie à long terme, particulièrement si
vous commencez par le résultat client que vous souhaitez favoriser,
cela ne va pas changer.
Comment vous parvenez à atteindre cet objectif peut toutefois changer,
particulièrement en intégrant de nouvelles technologies.
Nous examinons de petites améliorations incrémentielles
avant de les valider.
Disposer de ces boucles internes de commentaires peut vous aider
à rester dans la bonne direction.
Cette continuité doit être développée.
Se concentrer sur l'agilité et la manière d'effectuer la prochaine étape,
puis la suivante, et ainsi de suite est toujours
essentiel pour nous.
D'accord, donc vous souhaitez faire preuve d'agilité.
Vous voulez évoluer rapidement.
Vous envoyez parfois en production des projets qui ne sont pas parfaits,
je suis donc curieuse de savoir ce que vous pensez de la qualité,
des flux human-in-the-loop, surtout pour la définition des attentes utilisateur.
Je pense que c'était différent lorsque l'IA était encore cachée,
elle classait seulement votre flux et nous ne savions même pas que l'IA
s'occupait de cela, et maintenant les individus, les utilisateurs finaux
interagissent directement avec l'IA.
Alors, quels sont les critères de qualité et comment gérez-vous les attentes ?
Je peux commencer.
Le flux human-in-the-loop est un espace formidable,
surtout pour cette technologie.
Nous devons en tirer parti.
Elle nous permet de mener la barque.
Selon la nouveauté de la technologie et les préoccupations associées,
que le produit ait des hallucinations ou non, la possibilité
d'hallucinations peut perturber le déploiement
de ces produits.
Qu'est-ce que ça signifie, elle vous permet de mener la barque ?
Dans quelle mesure cela se manifeste-t-il dans l'expérience ?
Qui sont les personnes impliquées dans le processus human-in-the-loop ?
Dans le contexte de ServiceNow, vous avez des utilisateurs finaux,
qu'il s'agisse de vos employés ou de l'espace client,
les clients de vos clients.
Chez ServiceNow, nous soutenons les agents, les agents qui gèrent
vos tickets informatiques ou les tickets RH.
Il s'agit d'agents human-in-the-loop spécialisés et stimulés.
Lorsque l'IA suggère quelque chose, ils connaissent le domaine.
Ils savent ce qui est vrai, ce qui est faux.
Ils sont capables d'aider l'utilisateur final, et ensuite, via des
actions implicites, ils peuvent fournir des commentaires sur ce qui est bien
ou sur ce qui ne l'est pas.
Lorsqu'un produit hallucine, ils peuvent vous donner cette information.
Nous avons donc tendance à exploiter cela.
La majorité des produits proposés
sur le terrain aujourd'hui sont des scénarios human-in-the-loop.
Un développeur est un parfait exemple de personne human-in-the-loop.
L'IA peut suggérer mais le développeur est tout de même incité à vérifier
le bon fonctionnement du code, des tests sont effectués, cela s'inscrit très bien
lors de l'intégration et enfin, le lancement a lieu.
Oui, l'IA est utile et elle permet aux humains d'être plus efficaces,
mais elle suit toujours ce cycle.
Quelque chose à ajouter ?
Je pense que pour nous chez GitHub, nous avons commencé à proposer
Copilot pour les particuliers, et ce choix était délibéré.
L'idée était de mettre Copilot dans les mains d'autant d'utilisateurs
que possible, et vous savez, nous avons maintenant la chance d'avoir
plus de 100 millions de développeurs dans notre communauté.
Nous avons donc pu créer très rapidement une boucle de commentaires
à partir du moment-- Nous expérimentons en continu, et à un moment,
nous avons fait assez d'expérimentation.
Il est temps de mettre le produit entre les mains des utilisateurs et de commencer
à recevoir des commentaires plus concrets et à examiner plus en détail
les mesures comme le taux d'acceptation, la satisfaction et la productivité,
tout en mesurant les signaux et en ajustant, équilibrant
et créant tous les éléments idéaux avant de faire passer le produit
dans une phase plus conservatrice, car nous le proposons maintenant
aux entreprises et nous savons que cela comprend la gestion des modifications
et la personne dans la boucle, tout ce genre de choses.
Il s'agit donc vraiment de trouver l'équilibre dans l'expérimentation
et des manières de créer une boucle de commentaires
plus rapidement pour l'expérimentation.
Super.
Donc, trouver des utilisateurs qui veulent bien faire partie de la version bêta,
la mettre en service, fournir cette boucle de commentaires.
Oui.
Parlons un peu plus en détail de la rapidité.
Abe Stanway, directeur technique d'Amperon, a posté un bon tweet
l'autre jour, disant que tous les problèmes difficiles sont juste des
boucles de commentaires lentes dissimulées.
J'ai l'impression que cela s'applique à beaucoup d'aspects de l'IA,
en particulier l'IA traditionnelle, l'apprentissage automatique appliqué,
lorsque l'on travaille hors ligne, puis en ligne avec des échantillons de données,
avant de travailler en ligne avec des données réelles.
Avez-vous des conseils pour accélérer tout ce processus ?
J'ai l'impression que le délai de mise sur le marché est important.
Une fois de plus, tout tourne autour de l'expérimentation.
Si vous cherchez à toujours optimiser la qualité à 100 %,
vous lancerez un produit qui recevra
une boucle de commentaires très lente.
Étant donné que l'IA évolue rapidement, il est vraiment nécessaire d'avoir
une boucle de commentaires moins longue.
Vous devez commencer à vous créer une communauté afin de
davantage expérimenter dans les mains des clients, de manière à
commencer les tests et à accélérer cette boucle de commentaires.
Obtenir plus d'informations, davantage de signaux de vos clients
vous aidera à accélérer votre capacité à innover
et à mettre un produit entre les mains de vos clients.
Oui. Rao, des conseils que vous souhaitez
partager sur cette accélération ?
Tout à fait, avoir accès aux données,
surtout les données client pertinentes, en recueillir autant que possible
de façon ouverte, et investir dans l'acquisition et les pipelines de données
vous aidera beaucoup en amont,
avant même d'atteindre le client.
Cela a toujours été l'objectif.
Il est possible de progresser grâce à cette approche.
Oui. Nous avons brièvement mentionné les objectifs et résultats clés.
Parlons maintenant des mesures réelles de la réussite, les décisions
d'approbation et de rejet lorsque vous lancez quelque chose.
Vous avez beaucoup parlé d'expérimentation.
Vous avez proposé quelque chose.
Il s'agit d'une expérience déterministe.
Il est possible d'effectuer des tests A/B.
Vous pouvez voir si les performances
surpassent les bases ou les contrôler.
Je ne sais pas, ces produits d'IA sont différents.
Leurs performances sont souvent moins bonnes au début, et la question
n'est pas de savoir s'ils sont meilleurs que les produits existants, mais de savoir
s'ils s'améliorent suffisamment au fil du temps.
Je suis donc curieuse de savoir comment vous abordez la qualité de l'expérience
et la réussite des expérimentations dans vos décisions de continuer
ou non quelque chose, ou de l'abandonner.
Oui. Il est très important de définir
les mesures de réussite que vous souhaitez recueillir, car dans le monde de l'IA,
il y a énormément de signaux et beaucoup de données.
En ce qui concerne l'évaluation de la réussite de l'IA
par rapport à une manière traditionnelle de mesurer les choses,
il arrive souvent de manquer des signaux.
C'est pourquoi il faut penser légèrement différemment,
pourquoi intégrez-vous l'IA dans ce produit spécifique ?
Que voulez-vous faire ?
Quel est votre objectif optimal ?
Il faut ensuite chercher à s'améliorer au fil du temps.
Oui, parfois, il y a beaucoup de bruit sur le signal,
alors créer un pool d'expérimentation plus large vous aidera à
recueillir davantage de données, mais vous devez fixer une limite temporelle
et décider de la période que vous accordez à votre produit
pour réussir, pour constater le succès ou non.
Vous pouvez ensuite choisir de changer de cap.
Le signal que vous obtenez lors de
l'expérimentation vous donnera beaucoup d'indications sur
si vous faites les choses bien ou non.
Pour nous, cela commence vraiment
par la définition des attentes.
Nous commençons par la construction du produit.
Nous avons un programme intitulé Now on Now.
Donc, en interne, nous utilisons ce produit exclusif.
Nous avons des partenaires formidables dans notre organisation qui
essayent réellement la première version.
Parfois, elle ne fonctionne pas.
Alors, nous improvisons rapidement.
Ainsi, au moment où nous atteignons les clients, nous avons déjà évalué
le produit en situation réelle grâce à l'utilisation des données beta internes.
L'autre chose qui a quelque peu changé avec l'arrivée de ChatGPT
est qu'il était précédemment prouvé que l'IA fonctionne.
Nous devions expliquer ce qu'était un seuil, pourquoi c'était utile,
ce genre de choses.
Désormais, nous voyons une différence dans la manière dont les clients
nous contactent pour nous demander de les aider à tirer parti de cette technologie
pour que cela bénéficie à leurs clients.
Il y a beaucoup plus d'intérêt à faire partie de cette
validation client précoce et de la manière dont nous exploitons cela.
C'est très intéressant.
Vous savez, je suis frappée par le fait que l'IA appliquée traditionnelle était
en quelque sorte concentrée sur une exactitude parfaite.
Les résultats étaient bons, vous vous évaluiez selon si les résultats obtenus
étaient ceux attendus ou non, il y avait une source de vérité qui indiquait cela.
Le monde actuel est plus tourné sur le caractère utile, pas vrai ?
L'utilisateur final interagit directement avec la technologie.
Il ne s'agit plus de fournir des résultats corrects de manière fluide,
en coulisses.
L'IA doit être utile.
Est-ce que vous constatez que l'on discute davantage avec les clients,
un genre de travail standard d'adéquation sur le marché ?
Car l'IA fait partie de l'expérience vécue
contrairement à l'expérience cachée, je suis donc curieuse de savoir pour vous,
en tant que responsable produits, comment cela se manifeste-t-il ?
Je pense que GitHub est un produit
très orienté utilisateur à l'origine.
C'est pourquoi interagir avec les utilisateurs et nos clients,
ainsi que nos développeurs est vraiment
une deuxième nature pour nous.
C'est comme ça que nous fonctionnons.
Avec l'arrivée de l'IA, il s'agit vraiment d'essayer d'évaluer
dans quelle mesure cet ensemble de développeurs l'accepte et
si elle est vraiment utile.
Beaucoup de craintes surgissent au début.
Est-ce que l'IA va prendre notre travail ?
Va-t-elle nous remplacer ?
L'idée est que non.
Il y aura toujours besoin d'une intervention humaine.
Mais alors, comment les développeurs peuvent-ils s'améliorer,
car ils ont maintenant un meilleur ensemble d'outils entre leurs mains ?
Il existe donc un engagement client important en ce qui concerne
l'évolution de l'IA et la manière dont nous l'intégrons à nos produits.
Nous voulons donc que des humains soient impliqués dans le processus.
Oui.
Également, nous ne souhaitons pas créer de perturbations non nécessaires
pour nos utilisateurs.
Nous voulons que nos solutions soient utiles, pas un fardeau.
De quelle manière intégrez-vous la boucle de commentaires
de façon naturelle dans l'expérience utilisateur ?
Est-ce un principe de base, comment la construisez-vous ?
Ou réfléchissez-y après coup ?
Quand prenez-vous en compte la boucle de commentaires ?
À tout moment, car nous suivons
le taux d'acceptation et les retours--
Pouvez-vous définir ce qu'est le taux d'acceptation ?
C'est lorsque l'utilisateur accepte une suggestion
affichée par Copilot.
Vous obtenez un assistant de programmation.
Il suggère des segments de code
basés sur des prompts que vous avez saisis.
Le taux d'acceptation correspond au nombre de suggestions acceptées.
Nous menons également des enquêtes pour mesurer la productivité.
Lorsque les clients indiquent qu'ils n'ont pas pu produire un code
dans cette période de temps définie.
Nous sommes également utiles aux entreprises, qui peuvent constater
dans quelle mesure Copilot a amélioré leur productivité.
Vous avez--
Oui, allez-y.
J'aimerais ajouter quelque chose.
Certains éléments de l'expérience client jouent un rôle crucial.
Nous pouvons adopter une approche structurée.
Lorsque le niveau de confiance de l'IA est élevé, il est possible de l'utiliser
par défaut, de remplir certains champs avant de poursuivre.
Bien sûr, il est préférable d'indiquer
que cela a été suggéré par l'IA.
Lorsque la confiance est moindre, cela peut se traduire par
des choix multiples ou des suggestions quasi exactes.
En fait, nous permettons à l'utilisateur
de pouvoir choisir entre les deux ou trois meilleures options.
Celles-ci représentent lorsque l'IA est confiante, très confiante
ou assez confiante.
Il existe également des cas où il est utile que l'IA
se trompe avec confiance, pas vrai ?
Il est toujours préférable de disposer d'une voie de sortie lorsque quelque chose
comme un faux négatif se produit.
En examinant ce genre de situations et en identifiant où l'IA peut s'appliquer
et effectuer l'action pour le compte de l'utilisateur, mais aussi
où nous pouvons faire des suggestions grâce aux résultats et où nous devrions
simplement résoudre cela par nous-mêmes,
selon nos propres idées.
Dans ce contexte, l'expérience utilisateur met l'accent
sur l'IA en tant qu'approche.
Super.
Vous avez tous les deux lancé beaucoup de solutions géniales,
à la fois des réussites rapides comme des améliorations de vos produits existants,
mais aussi de tout nouveaux produits dans le contexte actuel.
Je me demande si vous avez fait des erreurs ?
Que souhaiteriez-vous avoir fait différemment ?
Qu'avez-vous appris et que vous ne souhaitez pas que
les autres apprennent par eux-mêmes ?
Par exemple, imaginez que je suis deux ans dans le passé.
Que me diriez-vous ?
Je commencerais certainement par
comprendre les données et par s'assurer que vous disposez
des niveaux de contrôle, de la gouvernance et de l'accès appropriés,
et de la capacité à les appliquer au processus de développement produit.
Disposer de riches fonctionnalités robustes dans ce domaine
vous aidera à accélérer le développement et à être plus agile en ce qui concerne
le produit que vous souhaitez proposer à vos clients.
Je commencerais assurément par là,
afin d'accélérer tout le reste.
La chose la plus importante à laquelle je penserais
pour commencer serait le client.
Comprendre de quelle manière l'IA joue un rôle dans la résolution
des problèmes du client.
Il est simple de construire une super solution qui sera formidable,
mais si le client n'en a pas besoin,
vous n'avez pas vraiment résolu le problème.
Il faut toujours se concentrer sur le besoin commercial, sur le problème client
que vous essayez de résoudre, et déterminer comment il est possible
d'intégrer l'IA d'une manière qui peut aider les clients, mais aussi favoriser
l'adoption sur une période très courte.
Il est important de reconnaître que même si vous proposez l'IA à vos clients,
ils suivent une courbe d'apprentissage.
L'adoption ne se produit pas du jour au lendemain, même si vous créez
le meilleur produit optimisé par l'IA.
Les clients suivent une courbe d'apprentissage car il s'agit d'un
nouvel ensemble de solutions, et cela prend du temps
de s'ajuster et de s'adapter.
Soyez donc patient avec eux et accompagnez-les lorsqu'ils
progressent dans ce parcours d'apprentissage.
Vous en avez fait l'expérience.
Quels sont les types de tendances que vous recherchez pour savoir
si un problème client peut être résolu grâce à l'IA ?
C'est une bonne question.
Question informelle.
Cela est relatif aux principes de votre entreprise et
à sa vision et sa mission.
Quel est le problème que vous essayez de résoudre ?
Ensuite, si vous intégrez l'IA, dans quelle partie des activités
cela peut aider à accélérer les choses ?
Nous mettons l'accent sur la productivité.
C'est notre objectif principal.
Nous souhaitons améliorer la productivité des développeurs.
Dans ce cadre, nous nous concentrons sur l'ajout de sécurité
et les capacités d'évolution.
La productivité est l'investissement le plus important de GitHub.
Nous voulons servir l'ensemble des développeurs.
La productivité est notre priorité.
En pensant à l'IA, nous identifions où nous pouvons l'appliquer
dans le cadre de notre solution pour aider les clients à être plus productifs.
Nous avons commencé par là avec notre assistant de programmation,
puis nous avons déterminé si d'autres besoins étaient présents.
Nous étions vraiment concentrés sur le pilier central,
sur qui nous sommes en tant qu'entreprise.
Qu'est-il possible d'améliorer si nous adoptons l'IA
et par où devrions-nous commencer ?
Lorsque vous pensez à intégrer l'IA dans les principaux produits
des utilisateurs, cela va être très spécifique à quels sont ces produits,
mais je suis curieuse de savoir si vous pensez qu'il existe
des applications que tout le monde ou plus de la moitié des entreprises
devraient envisager ?
Utilisez les LLM pour faire X.
C'est une bonne question.
Une autre question informelle.
Je pense à l'IA conversationnelle.
Le chat est un outil très robuste.
Il est très puissant.
Il ne va pas résoudre les problèmes de tout le monde.
Plus vous introduisez la capacité de poser des questions
d'une manière plus naturelle, plus vous constaterez de réussite
dans ces domaines lorsque vous appliquez l'IA.
Je pense que cela est généralement vrai, peu importe l'entreprise
que vous dirigez.
Si vous interagissez avec un client, si vous intégrez
la capacité de chat, qu'il s'agisse d'une conversation,
de poser des questions, de recherche un article
ou s'il fait quelque chose à l'aide de la conversation,
c'est essentiellement l'un des éléments les plus importants.
Tout ce qui à trait à la conversation.
Nous avons tant de conversations ici.
C'est vrai.
Rao, qu'en pensez-vous ?
Quelque chose d'important à ajouter ?
Inbal en a assurément déjà parlé.
Chez ServiceNow, les chatbots et l'intelligence sont présents dans
une grande partie de nos activités.
Comme je le disais, qu'il s'agisse de RH, d'informatique ou de service client,
nous rendons possible de nombreuses interactions/conversations d'entreprise.
Voilà sur quoi nous nous concentrons.
Nous avons quelques autres nouveautés prévues au programme,
mais je ne peux pas en parler pour le moment.
Nous organisons notre propre conférence dans deux semaines
et vous aurez plus d'informations à ce moment-là.
Super.
Nous n'avons pas du tout parlé des applications LLM
au sein de sa propre entreprise, alors si cela vous intéresse, contactez Rao
pour qu'il construise ces produits, mais je pense qu'il existe également
beaucoup d'applications internes que nous pouvons optimiser nous-mêmes.
Très bien.
Il ne nous reste plus que quelques minutes
à passer ensemble.
C'était super de parler de l'évolution actuelle de l'IA générative,
de ce que cela signifie pour les applications existantes et
de quelle manière elle permet de créer de nouvelles applications, j'ai apprécié
tous les bons conseils relatifs à une mise sur le marché rapide des produits,
à l'intégration d'un processus human-in-the-loop
et à la manière de définir les attentes avec les utilisateurs.
Pour conclure, je suis curieuse de savoir si vous avez vécu
des expériences personnelles particulièrement agréables avec les LLM,
au-delà de l'entreprise et du produit, comment l'utilisez-vous
dans votre vie quotidienne ?
Je peux raconter une anecdote personnelle.
Mon fils aîné avait terminé sa candidature pour l'université.
Pour une raison ou une autre, il a décidé qu'il souhaitait suivre
un cursus d'ingénierie informatique.
Je promets que je n'ai rien à voir avec ça.
Pas en ingénierie rapide,
ça n'existe pas encore.
Pas encore, on ne l'enseigne pas.
C'est l'une des choses dont nous parlons chez GitHub,
comment intégrer ce que nous apprenons au sujet de l'IA
dans le système pédagogique ?
Nous essayons de déterminer ce que l'on peut faire.
Ce n'est pas encore concret.
Lorsqu'il a rédigé sa candidature et qu'il a écrit sa dissertation,
j'étais plutôt curieuse de ce qui se passerait
si je demandais à Copilot d'écrire une dissertation de candidature
en saisissant le sujet, et il se trouve que Copilot
a produit une dissertation plutôt réussie.
Cela ne veut pas dire que nous l'avons utilisée.
Mon fils l'a écrite tout seul.
Nous n'irions pas le rapporter à l'université de toute façon.
C'est une bonne anecdote.
S'il vous plaît, non.
Nous ne l'avons vraiment pas utilisée car je pense que, entre autres,
cela ne faisait pas assez humain, et c'est quelque chose
que nous avons appris, mais dans l'ensemble,
la structure, les informations ou la méthode étaient incroyables.
C'était amusant.
Il s'agit vraiment d'une composition générative.
C'est de la création, pas vrai ?
Oui.
C'était une expérience amusante, vraiment surprenante.
J'ai peut-être écrit les questions d'aujourd'hui
à l'aide de ChatGPT.
Rao, et vous ?
J'ai une nièce de neuf ans.
Son personnage de dessin animé préféré est Bob l'éponge.
Elle a toujours de super idées sur ce qui pourrait être encore plus drôle.
Cet été, nous avons prévu d'utiliser Midjourney et ChatGPT
pour éventuellement écrire une bande dessinée selon sa créativité.
Nous allons essayer cela pendant les vacances d'été.
Magnifique.
J'adore cette anecdote.
Cela conclut notre panel d'aujourd'hui.
Un grand merci à Inbal et Rao pour nous avoir fait part de leur point de vue.
Pour ceux qui en veulent encore plus, nous discuterons plus tard aujourd'hui
avec Sam Altman.