Hola. Soy Emily Sands.
Manejo la organización de la info en Stripe, incluidos los equipos
de ciencia de datos e infraestructura de AA.
Hablemos de Inteligencia Artificial,
particularmente, la IA en el contexto de desarrollo del producto.
Bill Gates escribió en su blog
que la era de la IA ha comenzado.
Afirmó que será tan revolucionario como los celulares o Internet,
que industrias completas se acomodarán en torno a la tecnología
y que las empresas se diferenciarán de acuerdo a cómo la usen.
Algo casual.
Con eso en mente, estoy encantada de moderar el panel de hoy.
Ahondaremos en ejemplos reales sobre cómo sus colegas
están aprovechando la IA en sus productos,
y escucharemos sus consejos que nos pueden ayudar a todos
en nuestro camino.
Acompáñenme a darle la bienvenida a Rao Surapaneni,
el vicepresidente ejecutivo de ATG Engineering en ServiceNow,
y a Inbal Shani, que es directora de productos en GitHub.
Genial. Gracias por estar aquí hoy.
Gracias a ti.
Inbal vino solo por nosotros. Rao estuvo con nosotros toda la mañana.
Sabemos, Inbal, que la IA no es nueva para ti
en tu puesto en GitHub, pero tampoco lo fue en Amazon y Microsoft.
Vienes haciéndolo hace décadas.
Nos encantaría oír más sobre tu aventura y lo que estás viendo en este momento.
¿Hubo un cambio trascendental? ¿Cuál es el cambio?
Sí, mi aventura con la IA comenzó
creo que hace más de dos décadas. ¡No calculen mi edad!
Pero comencé con la IA en mi maestría.
Tuve la oportunidad de trabajar con algoritmos genéticos.
Si no saben qué son, son muy divertidos.
Toma días llegar a un resultado.
Construía los sistemas de control,
y la idea era crear una optimización.
Esa fue mi primera aventura con la IA.
Y luego de eso, entré en Amazon y tuve la oportunidad
de ser parte del equipo de Alexa donde creé
algunos dominios interesantes.
Construir el servicio de atención al cliente en Alexa fue genial,
tener la habilidad de ayudar al cliente,
pensar en una conversación con Alexa para ayudar a solucionar problemas
que puedes tener con Amazon.
En Microsoft, era agente de soporte virtual que, de nuevo,
tenía que ver con la conversación.
Y recientemente con GitHub en esta hermosa aventura de Copilot,
nos estamos enfocando en permitirle a los desarrolladores más productividad
y reducir el tiempo y todas esas cosas divertidas.
Excelente. Hablaremos mucho más sobre Copilot.
Pero, ¿qué tan diferente es hoy?
¿Es diferente? ¿O es solo una extensión del pasado?
Creo que es diferente, porque, históricamente,
la IA era muy de nicho.
Construíamos algoritmos especiales
que dependían del problema que queríamos resolver.
Y los ajustes llevaban mucho tiempo
porque junto con la IA, también evolucionó nuestra habilidad informática.
Entonces, ajustar los modelos y hacerlos funcionar,
llegar a una solución o sugerencia, llevó tiempo.
Y ahora lo que vemos en el nuevo mundo de los LLM
es que existen más algoritmos del tipo genérico que incorporan
muchos algoritmos diferentes dentro de ellos
y luego, lo que ocurre es que construimos un modelo que es aplicable
a muchas disciplinas.
Así que nos movemos de un mundo de implementación de nicho
a algoritmos más genéricos, y luego cada empresa puede construir
su propia implementación del resultado al que quieren llegar
a partir de los modelos de LL.
Entonces, se pasó del nicho, que toma demasiado tiempo ejecutarlo,
tiene paso lento y permite solo una aplicación a la vez,
a tener estas bases compartidas, modelos, que los podemos usar
casi de manera general para entender el caso de uso.
-[Inbal] Sí. -[Emily] Genial.
Y, Rao, tú tienes una perspectiva interesante
por tu trabajo en ServiceNow y antes de eso.
Me interesa saber cómo ves las cosas hoy, y cómo las veías hace dos o tres años.
Totalmente. Hoy hay dos cosas que son diferentes.
Tenemos, aunque suene cliché, la IA democratizada por las API.
Esa es una.
La segunda es la capacidad.
Hay un cambio radical en lo que podemos hacer realmente.
Si aplicamos estas dos, podemos entregar aplicaciones
que son reales, que se asemejan a los humanos en sus connotaciones,
y brindar servicios a los usuarios finales,
ya sean empleados o clientes finales.
Y para que todos entiendan,
cuando dijiste "la IA democratizada por las API",
te refieres a que ahora puedes construir aps con la IA
sin tener un modelo, solo con una API.
Totalmente.
Mi experiencia comenzó con la visión computarizada,
luego siguió con reconocimiento del habla,
de nuevo, desde la perspectiva de crear una plataforma,
hasta aplicar esas soluciones para entregarlas al usuario final.
Si vemos ahora dónde estamos,
la comprensión del lenguaje natural y la generación del lenguaje natural
son tan buenas que pueden hacerse realidad para los usuarios.
Genial. Algo que me llama la atención
sobre el cambio actual, además de lo que dijeron,
es también cómo se manifiesta para los usuarios, ¿verdad?
Porque ya todos hemos experimentado con la IA por un tiempo.
Influencia nuestras redes.
Influencia el éxito de atención al cliente.
Influencia cómo hacen el escaneo del código
y cómo resolver dependencias en el código.
Pero creo que el periodo actual trata más sobre poner la IA
en las manos del usuario.
En muchas de las experiencias generativas,
el usuario se involucra directamente con la IA,
en lugar de internamente.
Antes de llegar a eso,
me encantaría que estemos al tanto de las aps existentes con la IA
que fueron el centro de su negocio muy en concreto
y si o cómo las hacen evolucionar en el contexto de la IA generativa.
Comencemos contigo, Inbal.
Creo que nosotros, específicamente en GitHub,
siempre tuvimos la IA en escaneo de código
y un set diferente de algoritmos.
Y ahora, con la presentación de LLM,
trabajamos para mejorar nuestro escaneo de código.
Escaneo de código, ¿qué es? ¿A qué nos referimos?
Escanear el código es la habilidad de ejecutarlo
e identificar puntos débiles.
Y es parte de nuestra solución de seguridad avanzada de GitHub
que tiene como objetivo traer seguridad
y hacerla escalar a toda la población de desarrolladores,
que todos los desarrolladores tengan seguridad
al momento de escribir su código.
Escanear el código es parte de eso
y es lo que les permite identificar cualquier tipo de vulnerabilidad
y recomendación a nuestros desarrolladores
para poder evitarlas o solucionarlas,
por lo que esa parte siempre tuvo la IA.
Pero ahora con LLM y el trabajo que hacemos con Copilot,
estamos llevando la IA a otro nivel.
Y lo mismo ocurre en ServiceNow.
Etiquetan, envían y optimizan tickets.
Tenían un agente virtual que era la IA funcionando internamente,
algunos involucraban al usuario, otros no.
Rao, ¿cómo crees que evolucionaron las aplicaciones históricas actuales
con estos LLM modernos?
¿O son las mismas?
Totalmente.
ServiceNow vende plataformas inteligentes de flujo de trabajo
para que las empresas encaminen su actividad,
ya sea en IT, gestión de servicios, RR. HH. o atención al cliente.
Siempre tuvimos variedad de aplicaciones predictivas
con texto de entrada.
El usuario escribe: "Necesito ayuda para resetear mi contraseña".
Antes, eso iba a un agente que observaba la situación
y decía: "Bien, esto corresponde al departamento de IT".
Ahora ya no necesitamos a ese agente para enviar el ticket.
Siempre tuvimos que clasificar como modo de solución,
pero ahora con los LLM, es mucho más eficiente y preciso,
y no necesitamos entrenar a nadie para cada cliente.
Hay un modelo global; estos modelos grandes de lenguaje
son tan buenos que puedes reemplazar a los agentes
sin el trabajo extra de manejarlo por cliente.
¿Eso significa que pueden lanzar un modelo
de alto rendimiento más rápido y barato?
Totalmente.
Hablamos un poco sobre las aps existentes
y cómo evolucionan con los LLM.
También tenemos gente aquí pensando: "Yo no tengo aps con la IA,
están desarrolladas para la tecnología actual".
Hay muchas cosas nuevas de internet que podemos construir hoy
gracias a los LLM modernos.
Vimos uno en Stripe esta mañana,
le hicimos una pregunta de negocios a Stripe Sigma en inglés simple.
Me pregunto, ¿qué es lo más importante para ustedes?
Ya sea algo que ya hayan enviado, o alguna meta en el horizonte.
Inbal, Copilot se destaca. Podemos empezar por ahí.
Seguro.
En GitHub, tratamos de dividir la forma en la que pensamos en nuestros productos
en cuatro pilares:
productividad para desarrolladores,
seguridad para desarrolladores,
la habilidad de escalar la aplicación, y por supuesto, seguridad.
Y pensamos en la IA.
Y Copilot, el programador de pares de la IA que lanzamos,
y luego Copilot X, que es más reciente,
están empezando a llevar la IA a la plataforma de desarrolladores
y a través de estos cuatro pilares.
Entonces, si piensan en cómo pensamos nosotros en la IA,
creemos que es un ingrediente crucial e importante
en nuestras plataformas y en nuestras soluciones,
con la idea de hacer que el código sea más seguro,
que los desarrolladores sean más productivos,
que las aplicaciones se puedan escalar, y que se puedan hacer más cosas
de las que se podían hacer antes cuando usábamos GitHub.
Y, de nuevo, quita el trabajo extra gracias a la introducción de la IA.
-[Emily] Eso es muchísimo. -[Inabl] Lo es, sí.
Estoy mareada, y me imagino:
"Bien, voy a desarrollar este producto nuevo,
va a ser genial, increíble--" Por cierto, a Stripe le encanta.
Lo lanzamos para los desarrolladores en una prueba piloto
y la gente exigió más.
Lo lanzamos el mes pasado.
Me pregunto, ¿cómo fue el trayecto?
¿Con qué empezaron?
¿Cómo se aseguraron de que los equipos estuvieran en lo correcto?
¿Cómo empezaron?
Sí, tenemos GitHub Next,
que es como el centro de incubación,
y somos afortunados de tener a este grupo de científicos
cuyo rol es el de descifrar qué sigue para los desarrolladores
y cómo podemos seguir desarrollando nuestras herramientas.
Esto forma parte de nuestro plan a tres años,
cuando hablamos de productividad o seguridad para los desarrolladores.
Copilot comenzó así,
y luego construimos la asociación con OpenAI
y pudimos lanzar Copilot como parte de eso.
Comenzó como una idea
de cómo hacer algo más para los desarrolladores.
Y entendimos mucho al mirar las señales.
¿Qué cosas hacen los desarrolladores que se repiten?
Quizás podamos introducir un programador de pares
y quitarles un peso.
¿Cómo podemos acelerar la productividad de los desarrolladores aún más?
Así que la idea de Copilot, el programador de pares, vino de ahí.
Y hemos visto su éxito, es increíble.
No tengo cifras exactas, pero vemos un aumento del 65 % en productividad,
un aumento del 75 % en la felicidad de los desarrolladores
y un 46 % en código cuando los clientes usan Copilot.
Y ese es un cambio radical porque imagina que llevas eso a tu empresa
y puedes mejorar la productividad de los desarrolladores
con solo incorporar Copilot.
Y ahora nos preguntamos qué es lo que sigue.
Sí. Excelente.
Mencionaste brevemente esta especie de incubadora,
este proceso de aceleración que tenían
y me llamó la atención que ese grupo está optimizando
basándose en las necesidades del usuario, los problemas,
pero relacionado con la tecnología. Algo que sea factible.
Y veo que para muchas empresas es difícil unir ambas cosas, ¿no?
Siempre hay un grupo encargado de resolver problemas
y otro grupo encargado de la tecnología.
No creo que la solución vaya a surgir de ninguno por separado.
Hay que unificar. Tengo curiosidad.
Rao, ¿estás haciendo algo en ServiceNow para unir el lado empresarial con la IA
para lanzar los productos indicados al mercado rápidamente?
Sí, definitivamente no se trata solo de la IA.
Hemos hecho esto en nuestra trayectoria con ServiceNow.
Normalmente, tenemos un ideatón.
No necesitas la tecnología.
Si consideras los desafíos del cliente--
El ideatón se diferencia del hackatón en que hay más que solo hackers.
Sí, tampoco es solo ingeniería.
Más bien se trata de dar con una idea. Pensar en lo que falta.
¿Qué es algo factible que podemos resolver?
También hay hackatones orientados al ingeniero o al desarrollador.
Y luego traemos a los dueños de las empresas,
ya sean líderes de producto o dueños de las empresas.
Y hacemos un segundo pase donde combinamos los tres vectores:
desde ideas sobre lo que falta, hasta ideas incrementales
y qué es lo que podemos solucionar para los clientes de inmediato,
y luego avanzamos desde ahí.
También medimos basándonos en cuántas de estas ideas
se incluyen en el próximo lanzamiento
y si se trata de una idea del horizonte uno o el horizonte dos.
Es un proceso relativamente ágil,
pero, en general, comenzamos con la divergencia de ideas
y luego las unimos en el plan de implementación.
Y una vez que tienes una idea que quieres utilizar,
¿cómo se ve el éxito entonces?
¿Cómo determinas los objetivos y resultados clave de estos proyectos?
Muchas aps con la IA tienen incertidumbre inherente.
No son deterministas.
¿Optimizas el rendimiento del modelo? ¿Optimizas para resultados empresariales?
¿Cuál es tu norte?
Nuestro norte siempre son los resultados del cliente.
Para nosotros ese es el resultado.
Ya sea la IA generativa o la IA,
o incluso una innovación de UX sobre cómo se presenta esta información.
Vemos eso como nuestro norte.
Sin duda, la IA generativa trae nuevas posibilidades
y también nuevos desafíos.
La incertidumbre inherente está presente,
pero tenemos que averiguar cómo reducir el riesgo
y tener esos puntos de referencia para así cumplir.
Siempre buscamos bucles de comentarios cortos
para así construir algo, obtener validación interna,
construir algo más grande, obtener validación del cliente,
y seguir desde allí.
Sí.
Hablamos mucho
sobre personas imaginarias en una empresa haciendo algo.
¿Quiénes son estas personas?
¿Son desarrolladores, científicos de datos?
¿Son ingenieros de ML? ¿Son ingenieros de peticiones?
¿Y es algo que ha cambiado o vaya a cambiar?
¿Es para mí la pregunta?
Para quien quiera responderla.
Creo que para nosotros se trata de todos.
Todos forman parte.
Los científicos de datos, los ingenieros,
los gerentes de producto.
La empresa entera se involucra en implementar la IA
y piensa en cómo serán las necesidades de los desarrolladores en unos años,
entonces deberíamos invertir ahora mismo.
Surge de nuestros clientes,
de nuestros representantes de campo, de nuestros ingresos,
también surge al conversar con el cliente.
Y luego volvemos a la empresa
y vemos cuáles son los problemas en los que deberíamos invertir
en un futuro,
y ahí es donde entran los productos.
Y luego hay un trabajo entre ingeniería y los científicos de datos
para construir en conjunto.
Sí.
Se habla mucho de los ingenieros de peticiones.
No conozco a nadie con un doctorado en ingeniería de peticiones.
¿Qué es lo que buscas en ingenieros de peticiones, Rao?
¿Y qué son los ingenieros de peticiones? ¿Qué hacen?
Por supuesto.
Realmente creo que vivo eso
y analizo lo que está sucediendo.
En general, siempre iniciamos con el equipo de ingeniería
porque manejo el equipo de ingeniería y ciencia.
Al hablar de ingeniería de peticiones,
empezaré con lo que para mí son las características
de un buen ingeniero de peticiones.
Uno, tienen que ser inquisitivos y no tener miedo de experimentar.
Lo que veo es que los ingenieros están jugando con las peticiones,
viendo lo que entra y lo que sale.
Necesitan experimentar
y tantear e identificar los patrones del resultado.
Creo que los ingenieros hacen un buen trabajo
al examinar qué está sucediendo y luego ver cuál es el resultado.
Lo que falta en ese ejercicio es que, a mi parecer, los ingenieros
no son los mejores analizando contenido,
el resultado en sí.
En general, los escucho decir:
"Di esta petición, el resultado se ve así.
Estoy bien con eso".
Pero luego cuando traemos a nuestros lingüistas,
personas capacitadas en el arte de los idiomas,
ellos pueden identificar las sutilezas.
¿Está bien el tono? ¿Está bien la empatía?
¿Es una voz pasiva o activa?
¿Cómo quieres presentar la información de vuelta?
Creo que las características adecuadas serían ser inquisitivo, experimentar,
luego adentrarse en los detalles del contenido que se produce.
No se trata solo de que el software funcione y nada más.
Hay que saber cómo llegar al siguiente nivel
de producción de contenido también.
Genial.
Hablemos un poco sobre las bases tecnológicas.
Muchas empresas tienen equipos de infraestructura,
de infraestructura de ML, de ingeniería de datos.
¿Cómo cambiaron las necesidades de la plataforma horizontal
de las empresas
para permitir estos productos con la IA en el contexto de solo usar una API?
Me da curiosidad. ¿Qué tienen que construir?
¿Qué les entusiasma?
¿Qué le aconsejarían a otras empresas en relación con bases horizontales?
Dirijo un equipo compartido de plataforma de la IA
y mi trabajo es posibilitar y capacitar a nuestros desarrolladores internos
para que construyan productos utilizando estas capacidades.
Ahora existe una plataforma increíble gracias a las API,
pero queda mucho por hacer en torno al andamiaje
de cómo utilizamos estos productos.
Se puede hacer que la experimentación con peticiones sea eficiente,
tal como un desarrollador puede serlo con paquetes de pruebas automatizadas.
Puede haber un control adicional
sobre cómo se gestionan los datos y seguridad de la empresa.
Y luego, en última instancia, cuando llegan las respuestas,
en especial en un entorno empresarial,
tener un nivel de confianza en las alucinaciones
o poder validar ese contenido es igual de importante.
Me estoy enfocando en eso para mi equipo de plataforma de la IA,
además de cualquier otra cosa que hayamos hecho al respecto.
Para nosotros es muy parecido.
Cómo pensamos en la IA y lo que hacemos
es tratar de crear una plataforma que sea específica para la IA
y algunos de los desafíos que tenemos
es que hay una necesidad creciente de Copilot y el uso de Copilot.
Estamos invirtiendo mucho en poder extender esa plataforma.
Creamos una solución.
Ahora necesitamos transformarla en una plataforma.
¿Cómo presentamos estas API? ¿Vamos a lanzar estas API para todos?
Mucho de lo que planeamos
en términos de cómo miramos hacia el futuro de la IA
desde la perspectiva de GitHub es cuánto invertimos de una plataforma
en comparación con cuánto construimos de un producto.
Mientras pensamos en nuestra cartera de inversiones en la IA,
hay ganancias rápidas y resultados a corto plazo, ¿verdad?
La posibilidad de comunicarse con la documentación.
También existen este tipo de apuestas a largo plazo.
¿Qué tal si tuviéramos un consultor empresarial al alcance
que pudiera decirte cómo optimizar tu empresa?
Me da curiosidad. Mientras piensan en la asignación de sus carteras,
¿dónde posicionan a los equipos?
¿Cuántas son las ganancias rápidas?
¿Hay muchas cosas que podríamos hacer de inmediato?
¿Y cuántas son apuestas a largo plazo?
¿Ha cambiado eso en el contexto de los LLM modernos?
La idea de que necesitas un equilibrio entre logros a corto plazo
y ganancias a largo plazo nunca desapareció.
Solo que ahora
lo que estamos tratando de equilibrar es la IA.
Y ahora tenemos la necesidad de resolver en el momento.
Hay mucha demanda.
Lanzamos un producto y los clientes quieren más.
Quieren ver una evolución rápida.
Pero también tenemos que considerar
cómo queremos escalar y a dónde queremos llegar.
Y como dije, tratamos de construir una plataforma de IA,
de presentar un conjunto de API y estamos haciendo todo esto.
Es más una estrategia a largo plazo.
Se trata de equilibrar
cuáles son los problemas que se pueden resolver ahora
con lo que anticipamos que necesitarán los desarrolladores
en un futuro
y tenemos que empezar a trabajar en eso ahora.
Cierto.
Creo que la estrategia a largo plazo,
en especial si comienzas con qué resultado quieres generar,
no va a cambiar.
Cómo llegas ahí sí puede cambiar,
en especial si incorporas nuevas tecnologías.
Sí nos enfocamos en validar pequeñas mejoras graduales.
Tener esos bucles de comentarios puede guiarte hacia tu norte.
Esa continuidad tiene que enfocarse en la agilidad
y cómo podemos dar el próximo paso, y así sucesivamente.
Será clave para nosotros.
Claro.
Quieres ser ágil, moverte rápido.
A veces enviarás algo a producción que no es perfecto
y me interesa saber cómo piensan acerca de la calidad,
los flujos de trabajo human-in-the-loop,
al establecer expectativas con los usuarios.
Creo que era diferente cuando la IA no era muy conocida
y solo clasificaba tu feed y ni siquiera sabías.
Ahora, la persona, el consumidor final, se relaciona directamente.
¿Qué se considera suficientemente bueno y cómo manejan las expectativas?
Puedo responder primero.
Human-in-the-loop es un espacio genial, en especial en esta tecnología.
Tienes que aprovechar eso.
Hoy lideramos con eso.
Solo por la novedad de la tecnología y las inquietudes,
tanto si el producto alucina como si no,
la posibilidad de que lo haga
crea fricciones en el lanzamiento de estos productos.
¿Y a qué te refieres con que lideran?
¿Cómo se manifiesta eso? ¿Quiénes son los human-in-the-loop?
En el contexto de ServiceNow,
tienes usuarios finales, ya sean empleados o el espacio del consumidor,
los clientes de tus clientes.
En ServiceNow, se trata de los agentes,
los agentes que lidian con tickets de IT o de RR. HH.
Son expertos human-in-the-loop incentivados.
Cuando la IA sugiere algo, conocen el dominio.
Ya saben qué está bien y qué está mal.
Y son capaces de, uno, ayudar a su usuario final,
y dos, a través de acciones implícitas, pueden dar su opinión
sobre lo que está bien y lo que no.
Cuando un producto alucina, pueden darte esa información.
Hay que aprovechar eso.
La mayoría de los productos que ves hoy en el campo
son casos que tienen human-in-the-loop.
Un desarrollador es un ejemplo perfecto de un human-in-the-loop.
La IA puede hacer sugerencias,
pero se busca que el desarrollador se asegure de que el código funcione,
que las pruebas se ejecuten,
que se integre bien, y que finalmente se envíe.
Sí, la IA ayuda a la persona a trabajar mejor,
pero todavía está en proceso.
¿Algo para agregar?
Nosotros en GitHub,
elegimos Copilot individual y fue consciente.
La idea es que Copilot llegue a tantos usuarios como sea posible,
y afortunadamente hay más de 100 millones de desarrolladores
que forman parte de nuestra comunidad.
Pudimos crear un bucle de comentarios muy rápido.
Experimentamos y luego dijimos: "Bien, basta de experimentar".
Pongámoslo en las manos de los usuarios
y empecemos a recibir opiniones más concretas
y a analizar métricas como el nivel de aceptación,
de felicidad y de productividad y a medir las señales
y a equilibrar y crear lo necesario antes de llevarlo a lo más conservador
porque ahora se lo presentamos a empresas y negocios
y sabemos que eso incluye gestión de cambios
a la persona en el circuito y todo eso.
Se trata de encontrar un equilibro entre la experimentación
y cómo crear un bucle de comentarios más rápido para experimentar.
Genial. Hay que encontrar usuarios
que estén dispuestos a formar parte de la beta,
ponerlo en marcha, y brindar ese bucle de comentarios.
Sí.
Hablemos un poco más sobre velocidad.
Abe Stanway, director de tecnología de Amperon,
publicó un tuit que decía que los problemas más difíciles
son solo bucles de comentarios lentos encubiertos.
Y me parece que mucha IA es así,
en especial la IA tradicional, el ML aplicado,
donde haces algo fuera de línea y luego en línea con datos de muestra
y luego con datos reales.
¿Algún consejo sobre cómo acelerar esto?
Creo que el plazo de comercialización es clave.
De nuevo, se trata de experimentar.
Si siempre buscas optimizar al 100 % la calidad,
entonces enviarás algo que tendrá un bucle de comentarios lento.
Como la IA está evolucionando muy rápido,
necesitas tener bucles de comentarios más cortos.
Cada uno tiene que construir esa comunidad
para así darle más experimentos a los clientes
con el objetivo de hacer pruebas para acortar ese bucle de comentarios.
Obtener más información y señales de los clientes
permitirá acelerar la capacidad de innovación
y ofrecerle algo a los clientes.
Rao, ¿algún consejo sobre cómo acelerar esto?
Definitivamente ayuda tener acceso a los datos,
en especial a los datos pertinentes del cliente.
Conseguir esa información con la mayor anticipación posible.
Invertir en la adquisición de datos y canales
ayuda a prepararse por adelantado, incluso antes de llegar al cliente.
Ese ha sido siempre el objetivo.
Con este método puedes prepararte con anticipación.
Sí.
Hablamos un poco sobre objetivos y resultados.
Hablemos de métricas de éxito reales.
Qué decisiones tomar y cuáles no al lanzar un producto.
Hablaron sobre experimentos. De publicar algo.
Es una experiencia determinista. Pueden hacer pruebas A/B.
Pueden ver si funciona mejor que el punto de referencia o monitoreo.
Estos productos de IA son diferentes.
Tienen un peor rendimiento al principio y no se trata de si son mejores,
sino de si mejoran con el tiempo.
Me da curiosidad saber cómo piensan
de la calidad de la experiencia y el éxito de los experimentos
al decidir si avanzar con algo o dejarlo.
Sí. Lo principal es definir las métricas de éxito
y no es fácil,
porque en el mundo de la IA hay muchísimas señales y datos.
Y si buscas evaluar el éxito de una IA
con una forma tradicional de medir las cosas,
a menudo omitirás señales que estás dejando pasar.
Entonces, si lo pensamos de otra manera,
¿por qué se incluye la IA en ese producto específico?
¿Qué se quiere lograr?
¿Cuál es el objetivo principal?
Y si se busca que haya mejoras con el tiempo,
sí, a veces habrá mucho ruido en la señal,
entonces crear un espacio más grande para experimentar
ayudará a obtener más datos,
pero habrá que poner un plazo de tiempo
y decir: "Bien. Este es el plazo que le di al producto para tener éxito.
Veremos si tiene éxito o no".
Y luego ver si se cambia de rumbo.
A partir de esa señal que se registra durante la experimentación,
se sabrá si se están haciendo las cosas bien o no.
Nosotros primero establecemos expectativas.
Construimos el producto.
Tenemos un programa llamado Now on Now.
Internamente, utilizamos el producto original.
Tenemos socios increíbles en nuestra empresa
que prueban la primera versión.
A veces no funciona, entonces lo mejoramos rápidamente.
Al momento de llegar al cliente,
ya evaluamos un caso real utilizando nuestra versión beta interna.
Lo otro que ha cambiado desde la llegada de ChatGPT
es que antes se demostraba que la IA funciona.
Por lo tanto, debemos explicar por qué, cuál es el umbral y todo eso.
Actualmente, vemos una gran diferencia
en cómo los clientes se acercan a nosotros y nos piden ayuda
para aprovechar esta tecnología y ser mejores para sus clientes.
Hay mucho más interés
en formar parte de la validación temprana del cliente
y cómo aprovechar esto.
Es muy interesante.
Me llama la atención que la IA aplicada tradicional
se enfocaba en la corrección perfecta.
Lo hacías bien, lo medías para ver si estaba bien,
había una fuente confiable para ver si estaba bien.
Y en la actualidad, se enfoca más bien en la utilidad, ¿no?
El usuario final se involucra con la tecnología.
No se trata de que sea impecablemente correcto,
sino de que sea útil.
Al interactuar con los usuarios,
¿han visto que hagan más trabajo estándar de ajuste de mercado de producto?
Porque ahora la IA forma parte de la experiencia
y me da curiosidad, en su rol como director de producto,
¿cómo se manifiesta eso?
Creo que...
GitHub es un producto muy orientado al usuario para empezar.
Interactuar con usuarios, con clientes, con desarrolladores
es algo que sale naturalmente para nosotros.
Así es cómo operamos.
Con la introducción de la IA,
tratamos de examinar cómo los desarrolladores la aceptan
y si realmente es útil.
Al comienzo había muchas dudas.
¿Nos quitará el trabajo? ¿Nos reemplazará?
Y la idea es que no.
Todavía necesitamos humanos.
Pero los desarrolladores ahora van a ser mejores
porque tienen otras herramientas al alcance.
Hay mucha participación del cliente
cuando consideramos la evolución de la IA y cómo la presentamos.
Sí queremos que haya personas.
Sí.
No queremos crear fricción innecesaria para nuestros clientes.
Queremos que sea algo útil y no una carga.
¿Cómo piensan incorporar el bucle de comentarios
de forma orgánica en la experiencia del usuario?
¿Es algo primordial? El cómo lo construyen.
¿O es algo secundario?
¿Cuándo consideran el bucle de comentarios?
En todo momento.
Vemos la tasa de aceptación y los comentarios que--
¿Y cómo se define?
Se define cuando aceptas una sugerencia que dio Copilot.
Tienes un programador de pares
que sugiere un código basándose en un indicador que diste,
y luego, si lo aceptas, ese es la tasa de aceptación.
Tenemos encuestas que miden la productividad.
Los clientes nos dicen:
"No pude generar un código en ese periodo de tiempo específico".
Y también ayudamos a empresas a ver cuánto mejora su productividad
cuando utilizan Copilot.
Sí, adelante.
Tengo algo que agregar.
La experiencia del usuario tiene un rol muy importante.
Es un enfoque bastante estructurado el que se puede tomar para esto.
Cuando la IA está muy segura
se pueden predeterminar y llenar algunos campos y proceder.
Por supuesto que hay que aclarar que esto fue sugerido por una IA.
Cuando no estamos seguros, tratamos de que sea opción múltiple
o de acercarnos.
Le damos la posibilidad al usuario
de elegir entre las mejores dos o tres opciones.
Eso es cuando la IA está segura, muy segura o solo un poco segura.
También es valioso en otros casos, como cuando está confiadamente equivocada.
Siempre hay que tener una salida cuando pasa algo como un falso negativo.
Entonces, vemos este tipo de situaciones y buscamos dónde podemos aplicar la IA
para que realice la acción en nombre del usuario,
y dónde podemos sugerir
teniendo en cuenta su opinión
y en dónde es mejor decirles:
"Tienen que averiguar esto por sí mismos. Esto es lo que pensé".
Entonces, lo que vemos es que el criterio de utilizar la IA
mejora la experiencia del usuario.
Genial.
Ustedes han enviado un montón de cosas geniales,
como ganancias rápidas en sus productos actuales
y también nuevos productos netos
en el contexto actual.
Me pregunto, ¿en qué se equivocaron? ¿Qué les gustaría haber hecho distinto?
¿Qué aprendieron
y no quieren que otros tengan que aprender?
Imaginen que estoy atrasada por dos años. ¿Qué me aconsejarían?
Empezaría por comprender los datos
y me aseguraría de tener el nivel adecuado de control, mando y acceso
y poder aplicar eso al desarrollo del producto.
Me enfocaría mucho en eso.
Eso le va a permitir a uno ser más ágil y rápido
con lo que desee darle a los clientes.
Sin duda, empezaría con eso ya que acelera todo lo demás.
Para mí, lo más importante es empezar por el cliente
y entender el rol que tiene la IA en la resolución del problema.
Es fácil construir una solución grandiosa,
pero si el cliente no tenía un problema, entonces no se solucionó nada.
Hay que pensar en las necesidades de la empresa,
en el problema del cliente que hay que solucionar
y averiguar cómo presentar la IA de forma que los ayude
y que también aumente la adopción en una fase muy rápida.
Y hay que reconocer que,
incluso si presentas la IA frente a tus clientes,
tienen que aprender.
No es algo que pasa de un día para otro,
incluso si construyes el producto más increíble
impulsado por la IA.
Necesitan tiempo para aprender porque es un nuevo conjunto de soluciones
y necesitan tiempo para adaptarse.
Hay que ser pacientes y ayudarlos
mientras estén en ese proceso de aprendizaje.
Y así lo han hecho.
Pero, ¿cuáles son los patrones que hay que buscar
para saber si el problema del cliente se puede resolver con IA?
Buena pregunta.
Fácil.
Muy fácil.
Depende de cuáles son los principios
y cuál es la visión y misión de tu empresa.
¿Cuál es el problema que quieres resolver?
Y luego, según en qué parte de la empresa implementes la IA,
esta va a ayudar a acelerar eso.
La productividad es nuestro objetivo principal.
Queremos que los desarrolladores sean más productivos.
Y como parte de eso,
nos enfocamos en agregar seguridad y la capacidad de escalar.
Pero la inversión más importante de GitHub es la productividad.
Queremos ser su casa.
La productividad es lo primero.
Entonces, cuando analizamos la IA, pensamos en dónde podemos aplicarla
como solución
para ayudar a los clientes a ser más productivos.
Ahí empezamos con el programador de pares
y luego identificamos más necesidades.
Pero tratamos de enfocarnos en cuál es nuestro pilar fundamental,
quiénes somos como empresa,
cómo podemos mejorar al implementar la IA,
y por dónde deberíamos empezar.
Cuando desarrollen la IA en los productos base de los clientes,
tendrá que ser específico, dependiendo del producto.
Pero me pregunto si creen que hay aplicaciones
que todo el mundo o más del 50 % de las empresas
deberían considerar.
Utilicen los LLM para hacer esto.
Es una buena pregunta. Es otra fácil de responder.
Creo que la IA conversacional.
Chatear es algo muy sólido. Muy potente.
Aunque no resuelve todos los problemas.
Pero entre más capacidad tengas para hacer preguntas
de forma natural,
más exitosas serán estas áreas al implementar IA.
Creo que suele ser cierto, sin importar qué empresa manejes.
Si puedes interactuar con el cliente,
si implementas la posibilidad de tener un chat,
sea para conversar o hacer preguntas, si es para buscar un artículo
o para lo que sea que necesites una conversación,
ese es uno de los componentes más importantes.
Lo conversacional.
Exactamente.
Y estamos conversando mucho.
Cierto.
Rao, ¿se te ocurre algo más?
Inbal lo explicó bien.
Para ServiceNow, los chatbots y la inteligencia
son una parte importante de nuestra empresa.
Como dije antes, ya sea RR. HH. o IT o atención al cliente,
impulsamos muchas de esas interacciones y conversaciones empresariales.
Nos enfocamos en eso.
Hay algunas cosas que están por venir,
pero por el momento, no hablaré de eso.
Tendremos nuestra propia conferencia en dos semanas
y ahí hablaremos más sobre eso.
Genial.
Y no-- no llegamos a cubrir todo sobre las aplicaciones LLM
de uso interno en sus empresas.
Si quieren de esas para su empresa, hablen con Rao. Él puede hacerlas.
Pero creo que hay muchas de estas aps que podemos poner en marcha.
Genial.
Ya nos quedan solo un par de minutos para terminar.
Sería entretenido hablar
sobre el cambio actual hacia la IA generativa
y lo que significa para las aps existentes
y cómo está desbloqueando nuevas aplicaciones.
Agradezco todos los consejos prácticos sobre cómo lanzar un producto al mercado
y cómo tener un human-in-the-loop
y cómo establecer expectativas con los usuarios.
Ya para terminar,
me pregunto si tienen alguna experiencia personal con los LLM,
aparte de las empresas y los productos.
¿Cómo los usan en el día a día?
Una anécdota personal.
Mi hijo mayor terminó de llenar su solicitud para la universidad.
Y por alguna razón,
decidió que quería estudiar ingeniería informática.
Les juro que no tuve nada que ver.
Aunque no ingeniería de peticiones.
No, aún no. No lo enseñan.
Sobre eso hablamos en GitHub.
Cómo tomar lo que aprendimos sobre la IA para llevarlo al sistema de educación.
Estamos viendo qué hacer. Todavía no lo hemos definido.
Pero cuando trabajamos en su solicitud y él escribió su ensayo,
tuve mucha curiosidad.
Bien. Le pediré a Copilot que me escriba un ensayo
para una solicitud sobre este tema.
Y de hecho, Copilot escribió un buen ensayo.
No es que lo hayamos usado. Mi hijo lo hizo solo.
No lo delataríamos a la universidad. Es bueno.
Por favor, no.
Pero no lo utilizamos
porque creo que no parece hecho por una persona,
y eso ya lo sabíamos.
Pero, en general, la estructura, la información--
Es impresionante. Fue muy divertido.
Una pieza generativa.
Es la creación.
Sí. Fue un lindo experimento. Fue sorprendente.
Puede que haya escrito las preguntas de hoy con ChatGPT.
Rao, ¿qué hay de ti?
Tengo una sobrina de nueve años. Su personaje favorito es Bob Esponja.
Y tiene muchas ideas muy graciosas.
Entonces, en el verano planeamos usar Midjourney y ChatGPT
para ver si ella quiere escribir un cómic basado en su creatividad.
Lo intentaremos en las vacaciones de verano.
Muy lindo. Me encanta.
Eso es todo por el panel de hoy.
Muchas gracias a Inbal y a Rao por toda la información.
Y para los que quieran seguir divirtiéndose,
hay una charla con Sam Altman más tarde.