>> EMILY SANDS: Herzlich willkommen! Ich bin Emily Sands.
Ich leite die Info-Abteilung von Stripe, einschließlich unserer ML-Infra-
und Data-Science-Teams.
Und wir sind hier, um über KI und insbesondere über KI im Kontext
der Produktentwicklung zu sprechen.
Bill Gates hat kürzlich in seinem Blog geschrieben, dass das Zeitalter
der KI begonnen hat.
Er behauptet, dass sie so revolutionär sein wird wie Mobiltelefone
oder das Internet, dass sich ganze Branchen um diese Technologie
herum neu orientieren werden und dass sich Unternehmen dadurch
auszeichnen werden, wie gut sie sie nutzen.
Also, ziemlich entspannt.
In diesem Sinne freue ich mich, die heutige
Diskussionsrunde zu moderieren.
Wir werden uns mit Beispielen aus der Praxis befassen, wie einige
Ihrer Kollegen KI in ihren eigenen Produkten einsetzen, und von ihnen
Tipps hören, die uns allen hoffentlich auf unserem Weg
weiterhelfen können.
Begrüßen Sie also mit mir auf der Bühne Rao Surapaneni,
Senior Vice President of ATG Engineering bei ServiceNow, und
Inbal Shani, Chief Product Officer bei GitHub.
Fantastisch.
Vielen Dank, dass ihr beide heute hier seid.
>> INBAL SHANI: Vielen Dank, dass du uns eingeladen hast.
>> EMILY SANDS: Inbal ist extra für uns eingeflogen.
Rao hat schon den ganzen Morgen mit uns verbracht.
Weißt du, Inbal, offensichtlich ist KI nicht neu für dich, da du
derzeit CPO bei GitHub bist, aber auch schon bei Amazon
und Microsoft davor.
Du bist schon seit Jahrzehnten dabei.
Ich bin neugierig darauf, etwas über deinen Weg
zu erfahren und darüber, was du in der jetzigen Zeit beobachtest.
Gibt es gerade einen bedeutenden Wandel?
Wenn ja, worin besteht dieser Wandel?
>> INBAL SHANI: Ja. Also, meine Reise mit KI begann eigentlich
schon vor mehr als zwei Jahrzehnten – nein, denkt jetzt nicht an mein Alter.
Aber ich begann meine KI-Reise eigentlich während meines Masterstudiums.
Ich hatte die Gelegenheit, genetische Algorithmen zu optimieren.
Wie Sie sich sicher vorstellen können, macht das eine Menge Spaß.
Es dauert halt Tage, bis man Ergebnisse erhält.
Ich baute Steuerungssysteme und hatte die Idee,
eine Optimierung zu entwickeln.
Das war also mein erster Ausflug in die Welt der KI.
Danach war ich bei Amazon und ich hatte die Chance,
Teil der Alexa-Abteilung zu sein und einige
interessante Bereiche aufzubauen.
Ich denke, das Coolste war, den Support auf Alexa aufzubauen,
also wirklich die Fähigkeit, den Kund/innen zu helfen, über eine
Konversation mit Alexa nachzudenken, um Ihnen zu helfen, Probleme zu lösen,
die sie mit Amazon haben.
Bei Microsoft haben wir einen virtuellen Support-Agenten entwickelt,
der ebenfalls auf Konversation basiert.
Und dann vor Kurzem mit GitHub auf der erstaunlichen Reise, die Copilot
ist, die sich auf die Unterstützung der Entwickler/innen und auf Produktivität
und Zeitersparnis und all diesen Spaß konzentriert.
>> EMILY SANDS: Klingt spannend.
Nun, wir werden noch viel mehr über Copilot sprechen.
Aber mal ehrlich, wie anders ist es heute?
Ist es wirklich anders?
Oder ist es nur eine Erweiterung der Vergangenheit?
>> INBAL SHANI: Ich denke, es ist anders, denn in der Vergangenheit
war KI sehr nischenorientiert.
Man entwickelte also spezielle Algorithmen, je nachdem, welches
Problem man lösen wollte, und die Abstimmung hat lange gedauert,
denn gleichzeitig mit der Entwicklung der KI hat sich auch unsere
Rechenleistung weiterentwickelt.
Das Abstimmen der Modelle und das Ausführen der Modelle,
um eine Lösung oder einen Vorschlag zu erhalten, brauchte also Zeit.
Jetzt, in der neuen Welt des LLM, gibt es nun
mehr generische Algorithmen, die viele verschiedene
Algorithmen in sich vereinen. Damit wird es möglich,
dass man ein Modell erstellt, das für viele
Disziplinen geeignet ist.
Wir bewegen uns also von der Welt der Nischenimplementierung hin zu
allgemeineren Algorithmen, und dann kann jedes Unternehmen seine eigene
Implementierung erstellen, auf der Grundlage der LLM-Modelle,
die es nutzen möchte.
>> EMILY SANDS: Der Übergang von der Nische, in der es ewig dauerte,
eine Anwendung nach der anderen auszuführen, hin zu: Hey, jetzt
haben wir diese großartigen Modelle für gemeinsame Grundlagen, die wir fast
flächendeckend nutzen können, um den Anwendungsfall herauszufinden.
>> INBAL SHANI: Ja.
>> EMILY SANDS: Spannend.
Und weißt du, Rao, auch du hast durch deine Arbeit bei ServiceNow
und davor eine sehr interessante Perspektive.
Ich bin neugierig darauf zu erfahren, wie du die Situation heute
im Vergleich zu vor zwei oder drei Jahren siehst.
>> RAO SURAPANENI: Heute sind definitiv zwei Dinge anders.
Wir haben, so klischeehaft es auch klingen mag, eine echte Demokratisierung
der KI durch APIs.
Das ist das eine.
Das zweite ist, dass sich die Möglichkeiten,
die wir tatsächlich haben, stark verändert haben.
Aus diesen beiden Gründen können wir echte,
menschenähnliche Anwendungen bereitstellen, die man
seinen Endnutzer/innen, seien es die Mitarbeitenden
oder die Endkund/innen, anbieten kann.
>> EMILY SANDS: Und nur für die Anwesenden hier im Saal: Wenn du
von Demokratisierung durch APIs sprichst, meinst du damit, dass man
jetzt KI-gestützte Anwendungen erstellen kann, ohne ein Modell zu entwickeln.
Man greift einfach auf eine API zu.
>> RAO SURAPANENI: Genau das!
Was mich betrifft: Ich selbst habe mit Computer Vision angefangen
und dann ein wenig an der Spracherkennung gearbeitet.
Ich stand also auf auf beiden Seiten: bei der Entwicklung einer Plattform
und bei der Anwendung dieser Lösungen für die Endnutzer/innen.
Heute sind wir so weit, dass das Verstehen von
natürlicher Sprache und die Generierung natürlicher Sprache so gut
sind, dass man sie für die Nutzer/innen wirklich brauchbar machen kann.
>> EMILY SANDS: Sehr interessant.
Wisst ihr, einer der Aspekte, die mir auffallen bei diesem
aktuellen Wandel, ist all das, was ihr gesagt habt, und auch,
wie es sich für die Nutzer/innen manifestiert, nicht wahr?
Wir alle erleben ja KI schon seit einer Weile.
Sie beeinflusst unseren Feed.
Sie beeinflusst, wie wir den Support erfolgreich gestalten.
Sie beeinflusst, wie wir das Code Scanning durchführen und Abhängigkeiten
im Code herausfinden.
Aber ich denke, dass wir die KI derzeit viel mehr
in die Hände der Nutzer/innen legen.
Bei vielen der generativen Erlebnisse treten die Nutzer/innen
direkt mit der KI in Kontakt, und sie bleibt nicht mehr im Verborgenen.
Bevor wir also dazu kommen, würde ich gerne
ganz konkret auf bestehende KI-Anwendungen eingehen,
die für eure Unternehmen von zentraler Bedeutung sind, und darauf,
ob und wie ihr diese im Kontext der generativen KI weiterentwickelt.
Fangen wir vielleicht mit dir an, Inbal?
>> INBAL SHANI: Ja. Also, ich denke, bei uns, speziell bei
GitHub, gab es schon immer KI beim Code Scanning, und
es gab verschiedene Algorithmen.
Und jetzt, mit der Einführung von LLM, arbeiten wir daran, unser
Code Scanning zu verbessern.
>> EMILY SANDS: Was das Code Scanning betrifft: Was genau ist
eigentlich damit gemeint?
>> INBAL SHANI: Also, mit Code Scanning bezeichnen wir die Fähigkeit,
Code auszuführen und Schwachstellen darin zu finden.
Es ist Teil unserer GitHub Advanced Security Solution, die
wirklich darauf abzielt, Sicherheit zu bringen und sie wegzunehmen von
– also nicht wirklich weg –, sondern sie auf die gesamte Entwicklungs-
Community zu skalieren, also allen Entwickler/innen Sicherheit zu bringen
und allen Entwickler/innen zu helfen, sichereren Code zu schreiben.
Und Code Scanning ist ein Element davon, es geht dabei
wirklich darum, Schwachstellen identifizieren zu können und
unseren Entwickler/innen Empfehlungen zu geben,
wie sie Schwachstellen vermeiden oder beheben können,
also enthielt dieser Teil immer KI.
Aber jetzt, mit LLM und der Arbeit, die wir mit Copilot leisten,
erreichen wir die nächste Stufe, indem wir die KI
auf den gesamten Stack anwenden.
>> EMILY SANDS: Und ähnlich ist es bei ServiceNow, nicht wahr?
Iht taggt Tickets, ihr leitet Tickets weiter,
ihr optimiert Tickets.
Ihr hattet einen virtuellen Agenten, bei dem eine Menge KI
im Verborgenen ablief, teilweise unter Einbeziehung
der Endnutzer/innen, teilweise nicht.
Rao, was glaubst du, auf welche Weise haben sich eure aktuellen
historischen Anwendungen mit den modernen LLMs weiterentwickelt, oder
sind sie im Grunde genommen identisch?
>> RAO SURAPANENI: Auf jeden Fall.
ServiceNow verkauft intelligente Workflow-Plattformen für
Unternehmen, um ihre Aktivitäten im Unternehmen zu steuern,
sei es in der IT, im Servicemanagement, im Personalwesen oder im Support.
Wir hatten schon immer eine Vielzahl von prädiktiven Anwendungen
mit Texteingabe.
Eine Nutzerin gibt ein: „Ich brauche Hilfe beim Zurücksetzen des Passworts.“
Normalerweise ging das an einen Agenten, der sich das ansah und
sagte: „Okay, das muss an die IT-Abteilung gehen.“
Dieser Peer-Zero-Agent wird also nicht mehr benötigt, um
dieses Ticket weiterzuleiten.
Wir hatten also schon immer diese Klassifizierung als Lösung, aber
jetzt können wir sie mit den LLMs viel effizienter und genauer machen,
und wir müssen kein Per-Customer-Training mehr durchführen.
Jetzt gibt es also ein globales Modell. Diese großen Sprachmodelle sind
so gut, dass man sie tatsächlich ersetzen kann, ohne den
zusätzlichen Aufwand für das Per-Customer Management.
>> EMILY SANDS: Das bedeutet also, dass ihr ein leistungsstärkeres
Modell für die Kund/innen schneller und billiger auf den Markt bringen könnt?
>> RAO SURAPANENI: Genau das!
>> EMILY SANDS: Gut.
Wir haben also ein wenig über bestehende Anwendungen gesprochen
und darüber, wie sie sich mit LLMs weiterentwickeln.
Es gibt auch einige Leute hier im Saal, die denken: „Hey,
ich habe keine KI-Anwendungen.
Habe ich nicht.“ Wissen Sie, ich habe sie bereits
für die aktuelle Technologie entwickelt.
Es gibt eine ganze Reihe neuer Dinge, die wir heute dank
moderner LLMs entwickeln können.
Wir haben heute Morgen hier bei Stripe ein Beispiel gesehen,
bei dem es darum ging, Stripe Sigma eine geschäftliche Frage
in einfachem Englisch zu stellen.
Ich bin neugierig auf konkrete Beispiele, was für euch oben auf der Liste steht,
entweder Dinge, die ihr kürzlich ausgeliefert habt, oder Dinge,
die sich am Horizont abzeichnen.
Und ich vermute, Inbal: Copilot ist eine solche Ausnahmeerscheinung.
Vielleicht können wir dort beginnen.
>> INBAL SHANI: Klar.
Bei GitHub teilen wir die Art und Weise, wie wir
über unsere Produkte denken, in vier Säulen auf.
Wir sprechen über Produktivität für Entwickler/innen, Sicherheit für
Entwickler/innen und die Möglichkeit, die Anwendung zu skalieren, und
natürlich über die Sicherheit.
Und wir denken über KI nach.
Und mit Copilot, dem KI Pair Programmer, den wir
gestartet haben, und dann mit Copilot X, das wir vor Kurzem gestartet haben,
fangen wirklich an, die KI in die Entwicklerplattform
und in diese vier Säulen zu integrieren.
Wenn wir also darüber nachdenken, wie wir über KI denken, dann ist KI
ein entscheidender und wichtiger Bestandteil all unserer
Plattformen, all unserer Lösungen, mit der Idee, den Code
sicherer zu machen, Entwickler/innen produktiver zu machen,
die Anwendung skalierbar zu machen und mehr Dinge tun zu können
als bisher, wenn GitHub genutzt wird.
Und noch einmal: Mit der Einführung von KI wird ein großer
Teil dieser langweiligen Standardarbeit wegfallen.
>> EMILY SANDS: Okay. Das hört sich nach einer enormen Menge an.
>> INBAL SHANI: Das ist es auch.
>> EMILY SANDS: In meinem Kopf dreht sich alles und ich stelle mir vor,
wie das war: „Ich werde dieses neue Produkt entwickeln,
das ein solcher Kracher sein wird.“ Ganz toll, übrigens, Stripe ist begeistert.
Wir stellten es einigen unserer Entiwckler/innen in einem Pilotprojekt
zur Verfügung, und die Leute wollten unbedingt mehr davon.
Also haben wir es letzten Monat zu 100 % eingeführt.
Ich bin neugierig.
Wie war der Weg dorthin?
Womit hast du angefangen?
Wie hast du sichergestellt, dass die Teams das Richtige taten?
Wo fängst du generell an?
>> INBAL SHANI: Ja, wir haben GitHub Next, eine Art
Inkubationszentrum, und wir haben das Glück, eine Gruppe von
Forschenden zu haben, deren Aufgabe es ist, herauszufinden, was
für Entwickler/innen als Nächstes ansteht und wie wir
unsere Tools weiterentwickeln können.
Was ist unser Dreijahreshorizont, wenn wir über die Produktivität
von Entwickler/innen oder die Sicherheit von Entwickler/innen sprechen.
Copilot entstand also im Grunde genommen aus dieser Idee heraus. Und dann bauten
wir die Partnerschaft mit OpenAI auf und konnten Copilot im Rahmen
dieser Partnerschaft ausliefern.
Am Anfang stand also die Idee, wie wir mehr
für Entwickler/innen tun können.
Und wir haben uns viel mit Signalen beschäftigt.
Was sind einige der Dinge, die Entwickler/innen tun, die sich
wiederholen und die wir vielleicht einem Pair Programmer vorstellen können,
um sie ihnen abzunehmen?
Wie können wir die Produktivität der Entwickler/innen
noch weiter steigern?
Die Idee von Copilot, dem Pair Programmer,
entstand genau aus diesen Überlegungen.
Und dann haben wir den Erfolg gesehen,
es ist erstaunlich.
Wir sehen – wenn ich einmal Zahlen nennen darf – 65 %
Produktivitätssteigerung. Und 75 %
mehr Zufriedenheit bei den Entwickler/innen.
Und dann 46 % vom Code, wenn die Kund/innen Copilot nutzen
oder Copilot einsetzen.
Das ist eine enorme Verbesserung. Stellen Sie sich vor, Sie könnten
dies auf Ihr Unternehmen übertragen und die Produktivität der Entwickler/innen
allein durch die Integration von Copilot verbessern.
Und jetzt sind wir auf dem Weg zu: „Okay, was kommt als Nächstes?“
>> EMILY SANDS: Wirklich eindrucksvoll.
Ihr habt ein wenig über diese Inkubator-, diese
Beschleunigersituation gesprochen, die ihr intern hattet. Und mir fiel auf,
dass diese Gruppe sich wirklich auf die Bedürfnisse der Nutzer/innen
und die geschäftlichen Probleme konzentriert, dabei aber eng
mit der Technik verbunden ist.
Also mit Fokus auf den Möglichkeiten.
Und ich sehe, dass viele Unternehmen Schwierigkeiten haben, beides
miteinander zu verbinden. Stimmt's?
Es gibt eine Gruppe, die über das Geschäftliche oder
das Problem der Nutzer/innen nachdenkt, und eine Gruppe, die über
die Technologie nachdenkt, und ich glaube nicht, dass die richtigen Lösungen
isoliert voneinander entwickelt werden können.
Wir müssen sie miteinander verbinden.
Ich bin also neugierig.
Rao, was tut ihr bei ServiceNow, um die geschäftliche Seite
mit der KI zusammenzubringen, damit ihr die richtigen Produkte
schnell auf den Markt bringen könnt?
>> RAO SURAPANENI: Also, es ist definitiv nicht
auf KI beschränkt.
Wir haben das bei unserer Reise mit ServiceNow so gemacht.
Wir veranstalten normalerweise einen „Ideathon“.
Man braucht dazu keine Technologie, man braucht sie nicht einmal
manchmal, wenn man sich die Herausforderungen der Kund/innen ansieht.
>> EMILY SANDS: Ein „Ideathon“ unterscheidet sich vom Hackathon, weil
es nicht nur Hacker sind.
>> RAO SURAPANENI: Ja, es geht auch nicht nur um Technik.
Kommen Sie einfach mit einer Idee.
Es geht mehr darum, an den Whitespace zu denken.
Was sind die möglichen Probleme, die wir lösen können?
Es gibt auch Hackathons, die in der Regel von Techniker/innen
oder Entwickler/innen geprägt sind.
Und dann bringen wir die Geschäftsinhaber/innen ins Spiel, ob es
nun die Produktleitung oder die Geschäftsinhaber/innen sind.
Im zweiten Durchgang versuchen wir, alle drei Vektoren zu kombinieren,
von den Ideen, den Ideen für den Whitespace, bis hin zu den inkrementellen
Ideen, was wir für die Kund/innen sofort lösen können, und dann
machen wir an dieser Stelle weiter.
Wir messen auch, wie viele dieser Ideen es in die nächste Version
schaffen und ob es sich dabei um eine Idee für Horizont eins
oder Horizont zwei handelt.
Wir haben also einen relativ stromlinienförmigen Prozess, aber wir
beginnen in der Regel mit der Divergenz der Ideen und
einigen uns dann auf den Implementierungsplan.
>> EMILY SANDS: Okay. Und wenn du eine Idee hast, die du
umsetzen möchtest, woran machst du dann den Erfolg fest?
Wie legst du die OKRs für diese Projekte fest?
Eine Reihe von KI-Anwendungen ist mit Unsicherheiten behaftet.
Sie sind nicht deterministisch.
Optimierst du also die Performance des Modells?
Optimierst du sie im Hinblick auf die Geschäftsergebnisse?
Was ist also deine Richtschnur?
>> RAO SURAPANENI: Unsere Richtschnur ist letzlich immer
das Ergebnis für die Kund/innen.
Das sehen wir als das Ergebnis an.
Ganz gleich, ob es sich um generative KI oder KI handelt
oder ob es nur eine UX-Innovation ist, wie wir diese Informationen präsentieren,
dann sehen wir das als unsere Richtschnur an.
Auf jeden Fall bietet generative KI neue Möglichkeiten und
auch neue Herausforderungen.
Die damit verbundene Ungewissheit ist also vorhanden, aber wir müssen herausfinden,
wie wir das Risiko verringern können, und auf dem Weg
diese Checkpoints haben.
Wir sind immer auf der Suche nach solchen kurzen Feedbackschleifen, damit
wir etwas entwickeln können, eine interne Validierung erhalten, etwas
Größeres entwickeln können, Validierung durch die Kund/innen erhalten
und dann von dort aus weitermachen.
>> EMILY SANDS: Ja. Wir sprechen ja viel über irgendwelche
imaginären Menschen in einem Unternehmen, die irgendetwas tun.
Wer sind diese Menschen?
Sind es Entwickler/innen?
Sind es Datenwissenschaftler/innen?
Sind es Ingenieure und Ingenieurinnen für Maschinelles Lernen?
Sind es Prompt Engineers?
Weiß man das?
Und hat sich das mit der Zeit geändert?
Ändert sich das gerade?
>> INBAL SHANI: Ist die Frage an mich gerichtet?
>> EMILY SANDS: An jeden, der sie beantworten möchte.
>> INBAL SHANI: Ich glaube, bei uns sind das alle.
Alle sind beteiligt.
Es sind die Datenwissenschaftler und -wissenschaftlerinnen.
Es sind die Techniker und Technikerinnen.
Es sind die Product Manager.
Im Grunde ist das gesamte Unternehmen daran beteiligt, sich mit KI zu
beschäftigen und darüber nachzudenken, was die Entwickler/innen in ein paar
Jahren brauchen werden, sodass wir jetzt dort investieren sollten.
Es kommt also viel von der Stimme der Kund/innen, es kommt
von unserer Belegschaft im Außendienst, es kommt
von unseren Umsätzen, es kommt von den Gesprächen mit den Kund/innen.
Und dann geht es zurück ins Unternehmen, und wir untersuchen, in welche
Probleme wir jetzt und in Zukunft investieren sollten,
und da kommen die Produkte ins Spiel.
Und dann gibt es gemeinsame Arbeit zwischen dem Engineering und den
Datenwissenschaftler/innen, um es wirklich gemeinsam aufzubauen.
>> EMILY SANDS: Wirklich beeindruckend.
Heute hört man viel von Prompt Engineers.
Ich kenne aber niemanden mit einem Doktortitel in Prompt Engineering.
Worauf achtest du bei der Auswahl deiner Prompt Engineers, Rao?
Und was sind eigentlich Prompt Engineers?
Was machen sie überhaupt?
>> RAO SURAPANENI: Das erkläre ich gerne.
Ich denke, dass ich das wirklich erlebe und analysiere,
was dabei vor sich geht.
Normalerweise beginnen wir immer mit dem Engineering-Team,
denn ich leite das Team für Engineering und Wissenschaft.
Wenn ich also über Prompt Engineering spreche,
beginne ich mit den Eigenschaften eines guten Prompt Engineers,
wie ich sie sehe.
Erstens müssen sie wissbegierig und außerordentlich
experimentierfreudig sein.
Ich sehe, dass die Engineers einfach mit den Prompts spielen und sehen,
was dabei reingeht und was dabei rauskommt.
Sie müssen in der Lage sein, zu experimentieren, zu fühlen und
die Muster der Ausgabe zu erkennen.
Ich sehe also, dass die Engineers ziemlich gut darin sind, herauszufinden,
was eingegeben wird, und dann zu sehen, was herauskommt.
Der Teil, der bei dieser Übung fehlt, bei typischen Ingenieur/innen,
ich hab festgestellt, dass Ingenieur/innen allgemein dabei nicht die besten sind,
ist die Content-Analyse des eigentlichen Ergebnisses.
In der Regel erlebe ich, dass die Ingenieur/innen sagen: „Okay, ich habe
diesen Prompt, und die Antwort sieht so aus.“
Ich komme gut damit zurecht.
Aber wenn wir dann unsere Linguist/innen hinzuziehen, also Leute,
die eine klassische Ausbildung in Sprachwissenschaften haben, dann sind sie
in der Lage, subtile Dinge zu erkennen.
Stimmt der Tonfall?
Stimmt das Einfühlungsvermögen?
Ist es eine aktive oder eine passive Stimme?
Wie wollen wir diese Informationen präsentieren?
Die richtigen Eigenschaften sind also
Neugier, Experimentierfreudigkeit und das Eingehen auf die
Details des Contents, der produziert wird.
Es geht dabei nicht nur um Software, das weiß ich.
Sondern man muss auch wissen, wie man die nächste Ebene des Content
Output erreichen kann.
>> EMILY SANDS: Fantastisch.
Lasst uns einen Moment über die technischen Grundlagen sprechen.
Viele unserer Unternehmen haben Infrastruktur-Teams,
ML-Infrastruktur-Teams, Data-Engineering-Teams.
Wie hat sich der Bedarf an horizontalen Plattformen in Unternehmen verändert,
um diese KI-Produkte zu ermöglichen, während man heute vielleicht
einfach eine API nutzen kann?
Ich bin neugierig: Was muss aufgebaut werden?
Was würdet ihr gerne in euren eigenen Teams aufbauen?
Was würdet ihr anderen Unternehmen raten, wenn es um
den Aufbau der horizontalen Grundlagen geht?
>> RAO SURAPANENI: Ich leite ein gemeinsames KI-Plattform-Team,
und meine Aufgabe ist es, unsere internen Entwickler/innen in die Lage
zu versetzen, Produkte zu entwickeln, die diese Fähigkeiten nutzen.
Es gibt jetzt definitiv eine erstaunliche Plattform, die durch
APIs ermöglicht wird, aber es gibt noch viel mehr zu tun,
wenn es um das Gerüst geht, wie wir diese Produkte nutzen,
auch beim Experimentieren mit den Prompts.
Man kann das effizient gestalten, so wie Entwickler/innen mit
automatisierten Testsuits effizient sein können.
Es kann zusätzliche Kontrollen geben, wie die Unternehmensdaten und
die Sicherheit verwaltet werden.
Und wenn dann die Antworten zurückkommen, ist es besonders
in einem Unternehmen wichtig, ob man sich auf Halluzinationen verlassen muss
oder in der Lage ist, den Content zu validieren.
Das ist enorm wichtig.
Darauf konzentriere ich mich also für mein KI-Plattformteam,
zusätzlich zu dem, was wir sonst noch in diesem Bereich tun.
>> INBAL SHANI: Bei uns ist es sehr ähnlich.
Die Art und Weise, wie wir über KI denken und was wir tun, ist, dass wir
jetzt versuchen, eine KI-spezifische Plattform zu schaffen,
und einige der Herausforderungen, die wir haben, sind der steigende
Bedarf an Copilot und die Nutzung von Copilot.
Wir investieren also gerade viel in unsere Fähigkeit,
diese Plattform zu erweitern.
Es war der Aufbau einer Lösung.
Jetzt müssen wir sie zu einer Plattform weiterentwickeln.
Wie werden wir also diese APIs einführen?
Werden wir diese APIs für alle öffnen?
Ein Großteil der Überlegungen, wie wir die Zukunft der KI
aus der Perspektive von GitHub betrachten, ist also die Frage,
wie viel wir in eine Plattform investieren und wie viel in ein Produkt,
das wir aufbauen.
>> EMILY SANDS: Wenn wir alle über unser Portfolio
an KI-Investitionen nachdenken, gibt es die Quick Wins,
die kurzfristigen Gewinne, nicht wahr?
Hier könnten wir über Docs oder andere Aspekte sprechen.
Es gibt aber auch die längerfristigen Wetten, nicht wahr?
Was wäre, wenn man einen Unternehmens- berater in der Tasche hätte,
der einem sagt, was man tun muss, um sein Geschäft zu optimieren?
Ich bin neugierig: Wenn ihr beide über eure eigene Portfolioaufteilung
nachdenkt, wo positioniert ihr die Teams?
Wie viel davon sind Quick Wins, also Dinge, die wir
sofort erledigen können?
Und wie groß ist der Anteil an längerfristigen Wetten?
Hat sich das im Kontext moderner LLMS geändert?
>> INBAL SHANI: Ich glaube, die Idee, dass man zwischen
kurzfristigen und langfristigen Gewinnen abwägen muss, ist nie verschwunden.
Es ist nur so, dass wir jetzt mit KI versuchen,
ein Gleichgewicht herzustellen.
Und natürlich gibt es den Bedarf, Dinge sofort zu lösen.
Es gibt da eine große Nachfrage.
Wir haben einige Produkte herausgebracht.
Die Kund/innen wollen aber mehr.
Sie wollen eine schnelle Entwicklung sehen.
Aber dann müssen wir auch darüber nachdenken, wie wir
das Ganze skalieren können und wo wir letztendlich hinwollen.
Und ich habe ja schon angedeutet, dass wir gerade versuchen, eine KI-
Plattform aufzubauen, wir versuchen, eine Reihe von APIs einzuführen,
und wir tun all das gerade.
Das ist also eher eine langfristige Strategie für uns.
Es geht also darum, abzuwägen zwischen einigen der
Probleme, die aktuelle Probleme sind, und den Dingen, von denen wir annehmen,
dass die Entwickler/innen sie in der Zukunft brauchen werden, sodass wir
schon jetzt damit beginnen müssen, sie zu entwickeln.
>> RAO SURAPANENI: Auf jeden Fall.
Ich denke, dass sich die langfristige Strategie nicht ändern wird,
vor allem, wenn man mit dem Kundenergebnis beginnt,
das man erreichen will.
Der Weg dorthin kann sich ändern, insbesondere durch
die Einbeziehung neuer Technologien.
Wir achten sehr auf kleine, inkrementelle Verbesserungen
und validieren diese.
Wir haben diese inneren Feedback- schleifen, die helfen können,
sich dem Zielpunkt anzunähern.
Diese Kontinuität muss der Motor sein.
Wir konzentrieren uns auf die Agilität und darauf, wie wir den nächsten Schritt,
wieder den nächsten und den übernächsten Schritt machen, und
das wird für uns immer der Schlüssel sein.
>> EMILY SANDS: Ja. Okay, ihr wollt also agil sein.
Ihr wollt schnell vorankommen.
Manchmal gebt ihr Dinge in die Produktion, die nicht perfekt sind,
und ich bin neugierig, was ihr über Qualität, Human-in-the-Loop
und insbesondere über die Erwartungen der Nutzer/innen denkt.
Ich glaube, es war etwas anderes, als die KI noch im Verborgenen saß und
nur eure Feeds bewertete und man nicht einmal wissen sollte, dass
die KI dafür verantwortlich war, und jetzt haben die Einzelnen, die Endnutzer/innen,
direkt damit zu tun.
Was ist also gut genug, und wie kann man die Erwartungen steuern?
>> RAO SURAPANENI: Damit kann ich beginnen.
Human-in-the-Loop ist ein großartiger Bereich, besonders
bei dieser Technologie.
Das muss man ausnutzen.
Dabei sind wir heute führend.
Die Neuheit der Technologie und die Bedenken,
ob das Produkt halluziniert oder nicht, die Möglichkeit
der Halluzination, führen zu Reibungsverlusten bei der
Markteinführung dieser Produkte.
>> EMILY SANDS: Und was bedeutet es, dass ihr dabei führend seid?
Wie manifestiert sich das in der Erfahrung?
Wer sind die Humans in the Loop?
>> RAO SURAPANENI: Wenn wir also in einem ServiceNow-Kontext
Endnutzer/innen haben – ob die Belegschaft oder die Verbraucher/innen,
die Kund/innen der Kund/innen.
Bei ServiceNow unterstützen wir die Agents, die sich
mit Ihren IT-Tickets oder den HR-Tickets befassen.
Sie sind motivierte Expert/innen, die im Loop arbeiten.
Wenn KI etwas vorschlägt, kennen sie den Bereich.
Sie wissen, was richtig ist und was falsch ist.
Und sie sind in der Lage, erstens den Endnutzer/innen zu helfen und zweitens
ihnen durch implizite Aktionen Feedback zu geben, was gut ist
und was nicht.
Wenn ein Produkt halluziniert, können sie Ihnen diesen Einblick geben.
Das können wir uns also zunutze machen.
Die meisten der Produkte, die wir heute in der Praxis sehen,
sind also Human-in-the-Loop-Szenarien.
Die Entwickler/innen sind ein gutes Beispiel für „Human-in-the-Loop“.
KI kann zwar Vorschläge machen, aber die Entwickler/innen bleiben motiviert,
dafür zu sorgen, dass der Code funktioniert, Tests durchgeführt werden,
er sich bei der Integration gut einfügt und dass er letztlich geliefert wird.
Ja, die KI hilft dem Menschen und erleichtert ihm die Arbeit,
aber der Code durchläuft immer noch diesen Zyklus.
>> EMILY SANDS: Möchtest du noch etwas ergänzen?
>> INBAL SHANI: Was uns bei GitHub betrifft, so haben wir
mit Copilot for Individuals begonnen, und das war Absicht.
Die Idee war, Copilot möglichst vielen Nutzer/innen zur Verfügung zu stellen,
und wir sind in der glücklichen Lage, sage und schreibe über
100 Millionen Entwickler/innen in unserer Community zu haben.
Wir waren daher in der Lage, sehr schnell eine Feedbackschleife zu schaffen.
Wir experimentierten und experimentierten, und dann sagten wir:
„Okay, genug experimentiert.“
Legen wir es in die Hände der Nutzer/innen und fangen wir an,
etwas konkreteres Feedback zu einzuholen, und sehen wir uns Metriken
wie die Akzeptanzrate und die Zufriedenheit und die Produktivität an
und messen die Signale und stimmen sie ab und
schaffen all die richtigen Dinge, bevor wir es in die eher
konservative Ebene bringen, denn jetzt führen wir sie in Unternehmen
und Geschäften ein, und wir wissen, dass das Change Management und die
Person im Loop und all das dazugehören.
Es geht also wirklich darum, das Gleichgewicht zwischen Experimenten
und der Schaffung einer schnelleren Feedbackschleife
für das Experimentieren zu finden.
>> EMILY SANDS: Sehr interessant.
Also Nutzende zu finden, die es okay finden, an der Beta-Phase teilzunehmen,
und damit sofort eine Feedbackschleife zu schaffen.
>> INBAL SHANI: Genau!
>> EMILY SANDS: Lasst uns ein wenig mehr über das Tempo sprechen.
Abe Stanway, der CTO von Amperon, hat neulich einen großartigen Tweet
abgesetzt, in dem er sagte, dass alle schwierigen Probleme lediglich verkappte
langsame Feedbackschleifen sind.
Und ich habe das Gefühl, dass ein Großteil der KI eine verkappte langsame
Feedbackschleife ist, insbesondere die traditionelle KI, angewandtes ML, wobei
man erst offline arbeitet und dann online mit Beispieldaten
und schließlich online mit echten Daten.
Habt ihr irgendwelche Tipps oder Tricks, um das Ganze zu beschleunigen?
Ich habe das Gefühl, dass die Zeit bis zur Marktreife hier enorm wichtig ist.
>> INBAL SHANI: Auch hier geht es ums Experimentieren.
Wenn man immer versucht, die Qualität zu 100 % zu optimieren,
wird man etwas ausliefern, mit dem man eine sehr
langsame Feedbackschleife erhält.
Da sich KI so schnell weiterentwickelt, braucht man wirklich
diese kürzere Feedbackschleife.
Man muss damit beginnen, eine Community aufzubauen, damit
man mehr Experimente in die Hände der Kund/innen geben kann, damit man
mit dem Testen beginnen und die Feedbackschleife verkürzen kann.
Wenn man mehr Informationen und mehr Signale von seinen Kund/innen erhält,
kann man schneller innovativ werden und seinen
Kund/innen schneller etwas an die Hand geben.
>> EMILY SANDS: Ja. Rao, hast du irgendwelche Tipps oder Tricks,
wie sich das Tempo erhöhen lässt?
>> RAO SURAPANENI: Definitiv! Wenn man Zugang zu Daten hat,
vor allem zu kundenrelevanten Daten, wenn man so viel wie möglich davon
im Voraus bekommt, wenn man einfach in die Datenerfassung und die Pipelines
investiert, kann man viel mehr im Voraus tun, bevor man überhaupt
bei den Kund/innen ist.
Das war schon immer das Ziel.
Und mit diesem Ansatz gelingt auch der Left-Shift.
>> EMILY SANDS: Ja. Wir haben schon ein wenig über OKRs gesprochen.
Lasst uns über tatsächliche Erfolgsmetriken sprechen, über
„Go“- und „No-Go“-Entscheidungen, wenn ihr etwas startet.
Ihr habt viel über Experimente gesprochen.
Ihr bringt etwas auf den Markt.
Es ist eine deterministische Erfahrung.
Ihr könnt es auf AB testen.
Ihr könnt sehen, ob es besser abschneidet als
die Baseline oder die Kontrolle.
Ich weiß nicht; diese KI- Produkte sind anders.
Zum Beispiel schneiden sie zu Beginn oft am schlechtesten ab, und die Frage
ist nicht: Sind sie besser als die bestehenden, sondern ob sie sich
im Laufe der Zeit ausreichend verbessern.
Ich bin einfach neugierig, was ihr über die Qualität der Erfahrungen und
den Erfolg von Experimenten denkt, wenn ihr entscheidet,
ob ihr etwas vorantreibt oder aufgebt.
>> INBAL SHANI: Ja. Das Wichtigste ist die Definition der Erfolgs-
metriken, die man zu messen versucht, denn in der Welt
der KI gibt es so viele Signale, so viele Daten.
Und wenn man versucht, den Erfolg von KI
anhand traditioneller Messmethoden zu bewerten,
entgehen einem oft Signale, die man übersieht.
Denken wir also etwas anders, in etwa: Warum
führen Sie KI in diesem speziellen Produkt ein?
Was wollen Sie damit erreichen?
Was ist Ihr optimales Ziel?
Und dann schauen Sie nach Verbesserungen im Laufe der Zeit.
Und ja, manchmal wird das Signal stark „verrauscht“ sein.
Wenn Sie also einen größeren Pool für Experimente schaffen, werden Sie
mehr Daten erhalten, aber letztendlich müssen Sie einen Zeitrahmen festlegen
und sagen: „Okay, das ist der Zeitrahmen, den ich meinem Produkt für
den Erfolg gegeben habe, dann sehe ich den Erfolg oder nicht.“
Und dann entscheiden Sie sich für einen Pivot.
Aus den Signalen, die Sie während des Experimentierens
sammeln, erhalten Sie eine Menge Hinweise darauf,
ob Sie das Richtige tun oder nicht.
>> RAO SURAPANENI: Für uns fängt es wirklich damit an,
die Erwartungen festzulegen.
Wir beginnen mit der Entwicklung des Produkts.
Wir haben ein Programm namens Now on Now.
Wir verwenden also intern dieses Originalprodukt.
Wir haben also großartige Partner in unserem Unternehmen, die
die erste Version nehmen und sie ausprobieren.
Manchmal klappt es nicht.
Dann verbessern wir es schnell.
Wenn wir also zu den Kund/innen kommen, haben wir das Produkt bereits
in einem realen Szenario mit unserer eigenen internen Betaversion getestet.
Eine andere Sache, die sich mit ChatGPT geändert hat,
ist, dass es früher dazu diente, zu beweisen, dass die KI funktioniert.
Wir mussten also erklären, warum und wie hoch der Schwellenwert ist,
und all das.
Jetzt sehen wir einen deutlichen Unterschied, wie die Kund/innen
zu uns kommen und sagen: „Helfen Sie mir, diese Technologie zu nutzen,
damit ich meinen Nutzer/innen mehr bieten kann.“
Es gibt also ein viel größeres Interesse daran, Teil dieser frühen Validierung
durch die Kund/innen zu sein, und zu erfahren, wie wir das nutzen können.
>> EMILY SANDS: Das ist sehr interessant.
Wisst ihr, mir fällt auf, dass es bei der traditionellen angewandten KI
vor allem um so etwas wie nahtlose Korrektheit ging.
Man hat es richtig gemacht, man hat sich daran gemessen,
ob man es richtig gemacht hat, es gab eine Source of Truth, ob es richtig war.
Und in der heutigen Welt geht es eher um Nützlichkeit, richtig?
Die Endnutzer/innen stehen in direktem Kontakt mit der Technologie.
Es geht nicht mehr darum, dass sie im Verborgenen
nahtlos korrekt arbeitet.
Es geht darum, dass sie nützlich ist.
Erlebt ihr also, dass man mehr mit den Nutzer/innen spricht, mehr
Standardarbeit in Bezug auf die Marktanpassung von Produkten leistet?
Denn die KI ist ein Teil der gelebten Erfahrung und arbeitet nicht mehr
im Verborgenen, und ich bin neugierig, wie sich das in deiner Rolle
als CPO manifestiert.
>> INBAL SHANI: Ich denke, GitHub war von Anfang an ein sehr
an den Nutzer/innen orientiertes Produkt.
Die Zusammenarbeit mit den Nutzer/innen, unseren Kund/innen
und unseren Entwickler/innen ist für uns
eine Selbstverständlichkeit.
Das ist unsere Arbeitsweise.
Bei der Einführung von KI geht es nun darum, herauszufinden, wie diese
Gruppe von Entwickler/innen sie annimmt und ob sie
wirklich hilfreich ist.
Und am Anfang gab es viele Ängste.
Wird sie uns die Arbeit wegnehmen?
Wird sie uns ersetzen?
Und die Idee ist: Nein.
Wir brauchen weiterhin einen Human-in-the-Loop.
Aber wie sollen die Entwickler/innen dann bessere Entwickler/innen werden,
wo sie doch jetzt bessere Werkzeuge an der Hand haben?
Wenn wir also über die Entwicklung von KI nachdenken und darüber,
wie wir sie einführen, müssen wir unsere Kund/innen intensiv einbinden.
>> EMILY SANDS: Wir wollen also den Human-in-the Loop?
>> INBAL SHANI: Ja.
>> EMILY SANDS: Wir wollen auch keine unnötigen Reibungsverluste
für unsere Nutzer/innen schaffen.
Wir möchten, dass es eher nützlich als eine Last ist.
Wie denkt Ihr darüber, die Feedbackschleife auf
natürliche Weise in die Erfahrung der Nutzer/innen einzubauen?
Ist das so etwas wie ein Grundprinzip bei der Entwicklung?
Ist das ein nachträglicher Gedanke?
Wann zieht man die Feedbackschleife in Betracht?
>> INBAL SHANI: In jedem geeigneten Moment, denn wir schauen
auf die Akzeptanzrate und wir schauen auf das Feedback.
>> EMILY SANDS: Und die Akzeptanzrate ist definiert als was?
>> INBAL SHANI: Sie wird definiert, wenn man einen Vorschlag
akzeptiert, den Copilot einem unterbreitet.
Sie bekommen also einen Pair Programmer.
Er schlägt Ihnen ein Stück Code vor, der auf einem von Ihnen
eingegebenen Prompt basiert.
Und wenn Sie ihn annehmen, ist das die Akzeptanzrate.
Wir haben Umfragen, welche die Produktivität messen.
Wenn Kund/innen sagen: „Oh, ich war nicht in der Lage, einen Code in
dieser bestimmten Zeit zu erstellen.“
Und dann betreuen wir auch Unternehmen, um zu sehen, wie sehr
sich ihre Produktivität durch den Einsatz von Copilot verbessert hat.
>> EMILY SANDS: Ja. Nun, ihr habt beide –
oh, ja, fahre bitte fort.
>> RAO SURAPANENI: Ich kann das noch ergänzen.
Die Nutzererfahrung spielt dabei eine große Rolle.
Wir – das ist ein ziemlich strukturierter Ansatz, den man verfolgen kann.
Wenn die KI sehr vertrauenswürdig ist, können Sie standardmäßig vorgehen,
einige Felder ausfüllen und weitergehen.
Natürlich sollten Sie trotzdem darauf hinweisen, dass dies
von der KI vorgeschlagen wurde.
Wenn wir nicht so viel Vertrauen haben, könnten wir Multiple Choice
oder Close Enough als Option anbieten.
Wir geben den Nutzer/innen die Möglichkeit zu sagen, dass sie
zwischen den ersten beiden oder den ersten drei Möglichkeiten wählen sollen.
Das ist also der Fall, wenn die KI vertrauenswürdig ist, extrem
vertrauenswürdig oder einigermaßen vertrauenswürdig.
Es gibt aber auch Fälle, in denen sie sich sicher ist
– und sicher falsch liegt, nicht wahr?
Sie möchten also immer einen Ausweg haben, wenn etwas
wie ein False Negative passiert.
Sie schauen sich also diese Art von Situationen an und überlegen, wo KI
eingesetzt werden kann und die Aktion im Namen der Nutzer/innen durchführt,
wo wir Vorschläge machen und den Input der Benutzer/innen annehmen
können und wo wir einfach sagen sollten, dass sie es selbst herausfinden
müssen. Das sind die Dinge, die mir durch den Kopf gehen.
Man betrachtet es also als einen Ansatz, bei dem die Benutzererfahrung
durch die KI ergänzt wird.
>> EMILY SANDS: Fantastisch.
Ihr habt eine Menge cooler Sachen ausgeliefert, sowohl
Quick Wins bei der Verbesserung eurer aktuellen Produkte als auch
ganz neue Produkte im aktuellen Kontext.
Ich frage mich: Was habt ihr falsch gemacht?
Was hättet ihr gerne anders gemacht?
Was habt ihr gelernt, von dem ihr nicht möchtet, dass andere
es lernen müssen?
Stellt euch einfach vor, ich bin zwei Jahre hinter euch.
Was möchtet ihr mir sagen?
>> RAO SURAPANENI: Ich würde auf jeden Fall damit beginnen,
die Daten zu verstehen und sicherzustellen, dass man das richtige
Maß an Kontrollen und Governance sowie Zugriff hat und in der Lage ist,
dies auf die Produktentwicklung anzuwenden.
Wenn man in diesem Bereich wirklich reichhaltige und robuste Daten hat,
kann man auch schneller und agiler sein und seine Kund/innen
schneller beliefern.
Ich würde auf jeden Fall damit anfangen, denn das
beschleunigt auch alles andere.
>> INBAL SHANI: Ich denke, das Wichtigste, woran ich denken würde,
ist, bei den Kund/innen anzufangen.
Zu verstehen, welche Rolle die KI bei der Lösung des Problems
der Kund/innen spielt.
Es ist leicht, eine coole Lösung zu entwickeln, die erstaunlich ist, aber
wenn es keinen Bedarf für die Kund/innen gibt, hat man
das Problem nicht wirklich gelöst.
Konzentrieren Sie sich also immer auf den geschäftlichen Bedarf, auf das
Problem der Kund/innen, das Sie zu lösen versuchen, und überlegen Sie,
wie Sie KI auf eine Art und Weise einführen können, die ihnen hilft
und die Akzeptanz in einer sehr schnellen Phase erhöht.
Und seien Sie sich bewusst, dass selbst wenn Sie KI bei
Ihren Kund/innen einführen, diese eine Lernkurve haben.
Das passiert nicht von heute auf morgen, selbst wenn Sie
das tollste KI-gestützte Produkt entwickeln.
Die Kund/innen haben eine Lernkurve, weil es sich um neue
Lösungen handelt und sie Zeit brauchen werden,
um sich darauf einzustellen und sich anzupassen.
Haben Sie also Geduld mit ihnen und nehmen Sie sie an die Hand,
während sie diese Reise, diese Lernreise, durchlaufen.
>> EMILY SANDS: Und ihr habt es gelebt und geatmet.
Aber nach welchen Mustern sucht ihr, um zu erkennen,
ob ein Kundenproblem mit KI gelöst werden kann?
>> INBAL SHANI: Das ist eine gute Frage.
>> EMILY SANDS: Eine logische Frage, eine ganz logische Frage.
>> INBAL SHANI: Eine logische Frage.
Es geht um Folgendes: Wie lauten die Grundprinzipien und die Vision
und Mission Ihres Unternehmens?
Was ist das Problem, das Sie zu lösen versuchen?
Und wenn Sie dann KI einführen: In welchem Teil des Unternehmens
wird sie helfen, dies zu beschleunigen?
Wir konzentrieren uns auf die Produktivität.
Das ist unser Hauptziel.
Wir wollen, dass die Entwickler/innen produktiver werden.
Und in diesem Zusammenhang konzentrieren wir uns darauf,
die Sicherheit und die Skalierbarkeit zu erhöhen.
Aber die Produktivität ist die große Investition für GitHub.
Wir wollen das Zuhause für alle Entwickler/innen sein.
Produktivität ist die Nummer eins.
Wenn wir uns also mit KI befassen, wo können wir KI als Teil
unserer Lösung einsetzen, um die Kund/innen produktiver zu machen?
Hier haben wir mit dem Pair Programmer begonnen und dann
festgestellt, dass es noch weitere Bedürfnisse gibt.
Aber wir haben uns mit höchster Präzision darauf konzentriert,
was unser Kernstück ist, wer wir als Unternehmen sind.
Was können wir besser machen, wenn wir diesen Bestandteil der
KI einführen, und wo sollten wir anfangen?
>> EMILY SANDS: Wenn ihr darüber nachdenkt, KI in die
Kernprodukte der Leute einzubauen, wird das sicher sehr spezifisch
für deren Kernprodukte geschehen, aber ich bin neugierig, ob ihr denkt,
dass es Anwendungen gibt, die jeder oder mehr als 50 % der
Unternehmen in Betracht ziehen sollten?
Nehmen Sie diese LLMs, um Ziel X zu erreichen.
>> INBAL SHANI: Das ist ein guter Witz.
Das ist noch so eine logische Frage.
Ich denke da an konversationelle KI.
Der Chat ist etwas sehr Starkes.
Er ist enorm leistungsfähig.
Er wird aber nicht alle Probleme lösen.
Aber je mehr wir die Möglichkeit einführen, Fragen auf eine
natürlichere Art und Weise zu stellen, desto erfolgreicher wird
der Einsatz von KI in diesen Bereichen sein.
Ich denke, das gilt generell für jedes Unternehmen,
das man betreibt.
Wenn Sie mit einem Kunden in Kontakt treten, wenn Sie die
Möglichkeit eines Chats einführen, ob es ein Gespräch ist, ob es
das Stellen von Fragen ist oder ob es die Suche nach einem Artikel ist oder
ob es irgendeine Aktivität ist: Die Nutzung dieser Konversation,
das ist dann meiner Meinung nach eines der wichtigsten Bestandteile.
>> EMILY SANDS: Alles, was mit Konversation zu tun hat.
>> INBAL SHANI: Alles, was mit Konversation zu tun hat.
>> EMILY SANDS: Und es gibt so unendlich viele Konversatioen.
>> INBAL SHANI: Das stimmt.
>> EMILY SANDS: Rao, was sagst du dazu?
Gibt es etwas, das dich besonders beschäftigt?
>> RAO SURAPANENI: Inbal hat das auf jeden Fall schon angesprochen.
Also, für ServiceNow sind Chatbots und Intelligenz ein großer Teil
unseres Geschäfts.
Wie ich bereits erwähnte: Egal ob Personal, IT-Abteilung oder Support,
wir steuern einen Großteil dieser Interaktionen und Konversationen.
Das ist es, worauf wir uns konzentrieren.
Wir haben noch ein paar weitere Dinge vor, aber darüber
möchte ich an dieser Stelle nicht sprechen.
In zwei Wochen findet unsere eigene Konferenz statt, auf der Sie
noch mehr darüber erfahren werden.
>> EMILY SANDS: Spannend!
Und wir haben heute gar nicht alles abgedeckt, etwa LLM-Anwendungen
in Ihren eigenen Unternehmen. Also wenn Sie darüber etwas wissen wollen,
sprechen Sie Rao an, er kann Ihnen diese Produkte entwickeln, aber es gibt
wohl einige interne Anwendungen, die wir auch selbst erstellen können.
Sehr spannend.
Damit sind wir schon bei den letzten Minuten
unserer gemeinsamen Zeit angelangt.
Es macht einfach Spaß, über den aktuellen Wandel hin zu generativer
KI zu sprechen und darüber, was das für bestehende Anwendungen bedeutet
und wie dadurch neue Anwendungen erschlossen werden können. Wir haben
all die schnellen Tipps geschätzt, wie man Dinge schnell auf den Markt bringen
kann und was es mit Human-in-the-Loop auf sich hat und wie man
die Erwartungen bei den Nutzer/innen weckt.
Abschließend möchte ich euch fragen, ob ihr eine
persönliche Erfahrung mit LLMs gemacht habt, die über das
Geschäft und das Produkt hinausgeht, und wie ihr diese
in eurem Alltag nutzt.
>> INBAL SHANI: Nun, dazu eine persönliche Anekdote.
Also, mein älterer Sohn hat gerade seine College-Bewerbung abgeschlossen.
Aus irgendeinem Grund hat er beschlossen, dass er
Computertechnik studieren möchte.
Ich hatte nichts damit zu tun, das schwöre ich.
>> EMILY SANDS: Also nicht Prompt Engineering; das
ist noch nicht im Angebot.
>> INBAL SHANI: Noch nicht, das ist noch kein Studienfach.
Das ist eines der Dinge, über die wir bei GitHub sprechen:
Wie können wir das, was wir über KI lernen,
in unser Bildungssystem einbringen?
Wir versuchen herauszufinden, was wir da tun können.
Wir haben noch keine konkreten Vorstellungen.
Aber als wir seine Bewerbung geschrieben haben und er seinen
Essay verfasst hat, da war ich doch neugierig.
Okay, wenn ich Copilot bitte, mir einen Essay für die
Bewerbung zu schreiben, und das ist der Prompt. Und tatsächlich hat
Copilot einen ziemlich guten Essay geliefert.
Nicht, dass wir den genommen hätten.
Den hat mein Sohn schon ganz alleine geschrieben.
>> EMILY SANDS: Wir würden es der Universität auch nicht verraten.
Das ist ein guter Spruch.
>> INBAL SHANI: Bitte nicht!
Aber wir haben ihn nicht verwendet, weil ich denke, dass er irgendwie
nicht menschlich genug rüberkam, was eine der Sachen ist,
die wir gelernt haben. Aber insgesamt, was den Aufbau angeht,
den Informationsgehalt, die Erzählweise – das war schon erstaunlich.
Das war aber nur zum Spaß.
>> EMILY SANDS: Es ist wirklich der generative Teil.
Es ist das Schöpferische, nicht wahr?
>> INBAL SHANI: Genau!
Und es war ein lustiges Experiment, ein echtes Wow-Erlebnis.
>> EMILY SANDS: Es kann sein, dass ich die heutigen Fragen
mit ChatGPT geschrieben habe.
Rao, was sagst du dazu?
>> RAO SURAPANENI: Also, ich habe eine neunjährige Nichte.
Ihre Lieblingsfigur ist SpongeBob Schwammkopf.
Und sie hat erstaunliche Ideen, was noch lustiger sein könnte.
Im Sommer wollen wir mal Midjourney und ChatGPT nutzen, um
zu sehen, ob sie einen Comic schreiben möchte, der auf ihrer Kreativität basiert.
Das wollen wir in den Sommerferien mal ausprobieren.
>> EMILY SANDS: Toll!
Das gefällt mir.
Das war ein schönes Schlusswort für die heutige Runde.
Vielen Dank an Inbal und Rao für all ihre Einblicke.
Und für diejenigen, die noch mehr Spaß haben wollen, haben wir später
am Tag noch unser Kamingespräch mit Sam Altman.