Hoy: Modelos de procesamiento de lenguaje natural y sus aplicaciones

Estás escuchando Escenario Radio, la casa de todos.

Esta es la señal de Escenario Radio, emisora virtual de la Universidad Santo Tomás, conectando los oyentes con el mundo de la ciencia, la tecnología y la innovación.

Escenario Radio, una emisora afiliada a la Red de Radio Universitaria de Colombia.

Iniciamos una nueva transmisión de Smart Statistics, Mathematics, and Academy Created Transmissions.

Con temas en donde la estadística es nuestro eje fundamental.

Una nueva forma de comunicar e interactuar con expertos y usuarios de esta ciencia.

Toda la actualidad en donde Tú eres el protagonista.

Bueno, muy buenas tardes, bienvenidos a SMART, el programa que tiene la Facultad de Estadística de la Santa Tomás.

Estamos con el profesor Juan Carlos Rubriche, el ex docente de la Facultad de Estadística de la Santa Tomás.

Buenas tardes para toda la audiencia, profesor Dagoberto, y a la mesa de trabajo.

Bueno, acá en el estudio se encuentran dos estudiantes.

David Tautiva, él es nuestro representante estudiantil de toda la facultad.

Profe Juan Carlos, invitado, ¿Cómo están?

Profe de antemano, gracias por la invitación, chévere nuevamente compartir este espacio, desde el semestre pasado no venía.

Siempre, siempre invitado, si está con nosotros también Ana María Cortés, ella es estudiante también de la facultad.

Mi profe Juan Carlos nos trae un superinvitado.

Hoy vamos a hablar sobre modelos de procesamiento de lenguaje natural y sus aplicaciones.

Y el profe Juan Carlos ha traído un experto.

Cuéntanos de quién se trata, quién es, qué hace.

Bueno, esta tarde tenemos un profesor, un experto en ciencia de datos, el profesor John González.

El profesor tiene formación de físico y estadístico, tiene maestría además en ciencias y se ha enfocado obviamente en el análisis de datos en sectores financieros y tecnológicos.

Actualmente el profesor John trabaja como científico de datos del laboratorio del grupo Aval, y paralelamente se desempeña como profesor de posgrado en Matching Learning en la Fundación Universitaria Los Libertadores.

Entonces, este es el invitado especial para esta tarde para que hablemos de los modelos de lenguaje

bueno qué chévere tener invitados así expertos que además que están en la academia pues también están aplicando en la práctica, en el sector real, pues todas estas técnicas estadísticas tan chéveres.

Así es profesor John, bienvenido a este programa.

Muchas gracias por la invitación, profesor Juan Carlos, muchas gracias a escenario radio por haberme tenido en cuenta, esta es la segunda vez que estoy aquí compartiendo con ustedes estos aprendizajes que he obtenido desde los últimos años y qué bueno poderles compartir acerca de este tema que ha tomado bastante relevancia en los últimos meses

si no genial, recuerden que estamos pues a través de escenario radio que es la emisora que tiene la santo tomás de forma online estamos a través de youtube en el canal de la emisora de escenario radio y podemos interactuar nos pueden saludar nos pueden hacer preguntas bueno mi profe Juan Carlos pues iniciemos entonces con este tema tan chévere

bueno gracias profesor Dagoberto entonces queremos hablar de lo que llamamos modelos de procesamiento de lenguaje natural, pero queremos hacerlo desde un punto de vista estadístico.

Entonces, bueno, seguramente ya todos hemos trabajado, hemos hecho alguna consulta usando el chat GPT y justamente este es uno de los modelos grandes de procesamiento de lenguaje natural.

Entonces, profe John, quisiéramos entender desde un punto de vista estadístico, ¿Qué es un modelo de procesamiento de lenguaje natural?, ¿Cómo funciona?, ¿Cuál es el paradigma que usa?, ¿Y cómo es que aparecen palabras de manera mágica y uno puede hacer tareas sorprendentes este tipo de modelos, queríamos empezar con esa pregunta.

Vale, profesor Juan Carlos, bueno, estos modelos hacen parte de un gran conjunto de machine learning que se llama aprendizaje generativo.

No es un concepto nuevo, lo que sucede es que el año pasado tuvo bastante relevancia, porque como bien lo menciona el profe Juan Carlos, sale una aplicación llamada HGPD disponible a todo el público, y pues es ahí donde llama más la atención, realmente los modelos generativos son un concepto bastante antiguo por así decirlo y empezó a tener mucha importancia en el año

cuando se utilizaron redes neuronales para generar rostros que para el ser humano son también y ya en el año 2019 ya empezaron a superar la prueba de Turing, el test de Turing, es decir, era difícil reconocer un rostro real

rostro generado por una red neuronal de eso, en el año pasado, a partir del año

estas redes neuronales tuvieron un gran cambio y lo que sucede es que una arquitectura llamada transformers, que se basa en un mecanismo de atención que sólo lo único que hace es calcular una matriz de correlación entre las palabras de una frase cuando yo digo el perro no puede cruzar la calle porque esta es muy ancha, la palabra esta hace relación a la calle, entonces hay una fuerte correlación entre esta y calle de esta manera se logró destrabar un poco el avance para el tema de procesamiento de texto y se logró tener un modelo que lograba de cierta manera representar muy bien nuestro léxico, nuestro lenguaje con correlaciones, así de sencillo, ese es el mecanismo de atención.

Esto lo aprovechó la empresa OpenAI quien desarrolla el famoso modelo GPT lanzaron su primera versión, fue open source, segunda versión open source y ya la tercera versión, el GPT-3, lo cerraron, pero abrieron al público esta aplicación llamada Chajipití, lo que hace esta aplicación es predecir la siguiente mejor palabra, si yo digo hoy es un día soleado y la siguiente palabra más probable en que lo que el humano diga es bello, hoy es una tarde hermosa y bella, y es así como funciona, o sea, simplemente

es decir, profe, que en este caso, estos modelos no tienen en cuenta la estructura desde el punto ya de vista gramatical para generar palabras?

es que le explico un poco más en detalle, resulta que antes de estos modelos, lo que se hacía era ver, como decía el profesor Juan Carlos, la estructura gramatical, se descomponían las frases en verbos,

toda la estructura pues de una oración, incluso los signos de puntuación y con eso se hacían modelos que más o menos representaban bien nuestro lenguaje pero para que un modelo lograra comprender que esta palabra es un verbo y sobre todo en el lenguaje español como ustedes saben es más complejo que el inglés por ejemplo ir, iba, fue, hacen relación al mismo verbo que decir, el caso es que se volvió tan complejo esto que ya de cierta manera fue como insostenible y no logró los resultados que hemos visto en Chagy-Pitty, o sea, funcionaba bien pero hasta cierto punto, pero qué pasa aquí con estos modelos, ya como estos modelos están comprendiendo pues están generando bien la siguiente mejor palabra, esa red neuronal transformer que utiliza el mecanismo de atención logra absorber esa estructura gramatical, o sea son modelos que tienen cientos de miles de millones de parámetros y entre esos cientos de miles de millones de parámetros habrá uno que otro parámetro

que asociará a la estructura gramática realmente no debe ser uno sino bastantes, miles, millones de parámetros

una pregunta técnica también, cuál es la diferencia digamos esencial entre digamos el gpt, que ya está en su versión creo que 4, es la que uno usa cuando paga la aplicación de OpenAI y la que sacó Google, después que es la, o bueno, no sé si después, pero se popularizó después la BERT, entonces esos modelos trabajan bajo las mismas condiciones, digamos los mismos paradigmas o son modelos que de fondo tienen cosas diferentes?

Pues aquí esta pregunta es bien difícil, no, lo que pasa es que estas empresas, cuando están en su fase de investigación, ellas normalmente publicaban todo lo que iban obteniendo, incluso la metodología pero llegó un punto, eso fue este año, que se empezaron a cerrar y ahora ellos evitan compartir esa información, por ejemplo, de cuántos parámetros están utilizando su modelo de gpt tenemos documentación hasta gpt3 libre, disponible, o sea, un paper que dice cómo funciona y cómo lo construyeron y de Google tenemos BERT, también libre, la diferencia entre ambos es que BERT utiliza un mecanismo de atención para codificar y decodificar, mientras que gpt, el último, el penúltimo, el gpt3 utiliza un mecanismo sólo para decodificar el texto, es extraño porque se esperaba que sólo el mecanismo de decodificación diera peores resultados que el de codificación y decodificación en la arquitectura transformer, sin embargo parece ser que aumentar la complejidad del modelo tampoco es que se obtengan los mejores resultados entonces se sospecha que el último modelo de Google que es Palm, Palm 2 utiliza el mismo método que está usando ahorita OpenAI, que es solo el de decoder, el decodificador, y que la tarea, porque recuerden que estos modelos machine learning para que logren aprender, ustedes tienen que darle una tarea, uno le tiene que dar una tarea, por ejemplo si yo quiero que mi hijo aprenda las palabras de pronto yo le pongo una tarea y le digo dígame cuáles son los resultados de estas palabras de multiplicar, pues estos modelos también son, aprenden bajo tareas, Bert fue entrenado para la tarea de desenmascarar palabras de una frase, no necesariamente la última palabra, por ejemplo yo digo Rayita es un país hermoso por su biodiversidad, esa rayita es Colombia, entonces BERT tiene la tarea de descifrar Colombia, mientras que GPT su tarea es desenmascarar la última palabra

a ver si estoy entendiendo, o sea, ¿verd puede revisar el contexto anterior y digamos el contexto de la palabra antes y después?

Para hacer la predicción es algo bidireccional, sería como...

Hacia adelante hacia adelante, ok hacia adelante, y es extraño pero da mejores resultados para nosotros los seres humanos de ir hacia adelante nomás.

Y tal vez por eso es que pronto el modelo que más se está usando actualmente, o de pronto por muchos de nosotros el que más usamos es el de chat GPT

bueno, es que hay también un tema de comercialización, y OpenID hizo una jugada maestra, que fue disponibilizar el modelo al público, a pesar de que había riesgos, ellos decidieron lanzarlo, ellos tomaron esa decisión a final de año, de hecho cuando entrevistan a sus principales exponentes, le decían que en sus planes no estaba disponible al público a finales del año pasado.

Lo que ellos querían realmente era hacer GPT-4, ese era su plan, pero cuando cuando hicieron esa negociación con Microsoft, de que Microsoft les podía prestar el servicio de la nube y llegaba una negociación, entonces dijeron bueno listo, lancéamolo y el CEO de OpenID le puso a la gente a trabajar para disponibilizar el modelo al público y Google ahí quedó como uy no me esperaba esa jugada, nosotros siempre tuvimos un mejor modelo y nunca lo lanzamos, por los riesgos que esto tenía y esta gente si lo lanzó sin importar los riesgos, piénsenlo así, es como salir a la calle sin zapatos, una vaina así, pues OpenEDI dijo voy a salir a la calle sin zapatos, no me importa si me corto los pies, no tengo nada que perder, Google dijo no, si yo salgo a la calle sin zapatos, que dirán de mí, me puedo cortar los pies, entonces mejor no.

Espero y de cierta manera pues perdió, perdió ahí como unas ventajas competitivas.

Bueno profe, estamos hablando de este tema tan interesante de los modelos de generación de lenguaje y bueno ya hemos hablado de un tema de digamos de la parte técnica yo creería que aquí vamos cerrando esa sección profe Dago, usted como lo ve?

Muy bien, que interesante, mire Por acá tenemos un saludo de Xiomara Alejandra Monroy, si no estoy mal, está desde México.

Ella nos pregunta que si el modelo de Bing sería diferente y cómo se incluyen las búsquedas de la web dentro del modelo?

Y Juan David Bernal, estudiante acá de la facultad, nos dice que, o sea, teóricamente es mejor el modelo GPT que el de Google, a pesar de que tenga cierta similitud la última versión de este con la de OpenAI, bueno hay dos preguntas para el invitado,

están muy buenas las preguntas, bueno para contestar la primera, Bing utiliza, ustedes saben que a principios de este año Bing lanzó su Bing Chat, un producto con el cual tú puedes hacer búsquedas en lenguaje natural y luego conversar a partir de esa búsqueda, en Bing chat en el fondo está usando, pues se cree que está usando gpt4, incluso también puedes decirle, genérame una imagen de Da Goberto sentado en el escenario radio, y va a intentar hacerlo, algo generará, o sea tiene el poder también de generar imágenes, el BIN por debajo utiliza un método llamado RAC se traduciría como retrieval augmented generation, es decir, utiliza búsqueda avanzada, en este caso en la red, para generar una respuesta que el usuario espera, les voy a dar un ejemplo, si ustedes ahorita justo, justo ya entran a chat GPT y le dicen cuál fue el último presidente de Colombia, pues va a salir lo siguiente, va a decir no sé porque mi conocimiento basa septiembre del

o va a decir Duque porque pues en esa época era Duque pero por qué responde así?

Porque no sabe, no tiene información después de septiembre del

qué pasa cuando yo le paso contexto a Chagipiti o a cualquier modelo de estos de lenguaje y le digo que el presidente actual es Petro, fue elegido en 2022 y bueno, le doy el contexto, pues que ahora me va a decir que el presidente actual de Colombia es Petro, o sea, si yo le paso contexto, él no he logrado una respuesta, a pesar de que el modelo no fue entrenado con esa información, y así es como funciona Bing Chat, Bing chat, como Bing tiene un buscador, no es tan popular como el de Google, se ha vuelto popular últimamente, como tiene un buscador pues él fácilmente coge, toma las palabras claves de lo que yo estoy diciendo, le estoy diciendo a Bing chat, busca en la web, se trae esas páginas web, piénsenlo en las guías primeras de la búsqueda, y utiliza a gpt4 como modelo de lenguaje aplicado a ese contexto y a partir de eso da la respuesta, a eso se le llama sistema RAC, Retiro Al Aumento de Generation, y así es como también están haciendo ahora las empresas, para poderle sacar provecho a estos modelos de lingüística, y si creo que ahí quedó claro,

si no está muy bien profe, gracias por la explicación,

y la segunda pregunta, la segunda pregunta era que podemos decir que es mejor GPT que el modelo de Google pues es una pregunta difícil de responder porque finalmente cada modelo ha utilizado diferentes conjuntos de datos para ser entrenado, Google es muy cuidadoso en eso, entonces de pronto ese cuidado ha hecho que no utilice tanta información como de pronto si lo hizo GPT, o no han obtenido una metodología como la que logró GPT, el caso es que no ha logrado superar, ni siquiera Paldos, yo he visto videos en youtube donde han puesto a prueba a ambos, separan la ventana en dos partes, le hacen la misma pregunta a ambos lados y hacen como un test de comparación y por lo general siempre gana Chachipitín sus respuestas aún no es tan poderoso pero Google, estas de estos días, lanzó una, pues no sé si decir, no es una suite, unió Bart, que es el chat GPT de Google, Bart lo unió con todo su web space, o sea con gmail, con youtube, con Google maps, con Google flights, y toda esta suite de aplicaciones que todos usamos, la unió a Bart y le da resultados impresionantes, esa noticia está recién cocinadita, esas últimas semanas pasaron muchas cosas,

no se dejan y no se van a dejar, y Google tiene todas las de ganar porque tiene bastante información tiene bastantes aplicaciones, tiene bastantes usuarios, cualquier cosa que haga, nos va a impactar directamente porque somos nosotros pues las personas somos fanáticos a sus aplicaciones y cualquier mejora de ellas, pues va a ser demasiado ruido.

Claro, gracias profe por la respuesta tan completa e interesante.

Bueno, hemos llegado a la mediana del programa, estamos hablando en SMART sobre modelos de procesamiento del lenguaje natural y sus aplicaciones con el profesor Juan Carlos Rubriche, con John González, también científico de datos.

Vamos a ir a nuestra pausa institucional y ya regresamos con Smart.

Nuestro arroba ha cambiado, nuestra programación ha mejorado,

Ahora nos puedes encontrar como escenario radio santotto.

la velocidad se apodera de escenario radio no te pierdas de paddock Todos los lunes a las 7 de la noche por Escenario Radio, la casa de todos.

En los rincones más remotos del territorio nacional, hay personas cuya vida ha seguido adelante, pese a que el conflicto armado las afectó en el pasado.

Vidas, una producción de la Coalición Internacional de Sitios de Conciencia y Javeriana Estéreo, con el apoyo de la Red Radio Universitaria de Colombia.

Disponible en la programación de esta emisora y en javerianastereo.com

vidas, martes 9 y 30 de la mañana, escenario radio de

La Facultad de Negocios Internacionales invita a los estudiantes a participar en nuestra práctica portuaria y empresarial dos mil veintitrés dos a realizarse en la Costa Caribe.

Mayores informes en el link disponible en nuestro Instagram arroba FNI Ustavoc o con el docente líder de internacionalización Iván Ortega en la sede del doctor Angélico Piso nueve.

Este evento es extensivo a los estudiantes de último semestre con opción de grado para participar del Perifero y Diplomado Internacional en México del 3 al

Santoto, más allá de nuestros límites.

¿Quieres que tu día sea perfecto y sonreír a cada momento?

Es fácil, no te desconectes de la programación de Escenario Radio.

Simplemente escúchenos por nuestra aplicación, encuéntrala en cualquiera de las tiendas digitales, IOS o Android.

También estamos presentes en Garen Radio o Churren Radio.

Y si no usas aplicaciones, no hay problema.

Www.escenario.usta.edu.co Estás escuchando Escenario Radio, la emisora online de la Santoto.

Bueno, de nuevo acá en Smart, hablando sobre los modelos de procesamiento del lenguaje natural y sus aplicaciones.

Ahí nos saludó Juan David Bernal y Xiomara Alejandra.

Bueno, aquí nuestros invitados en la emisora están que se preguntan.

Bueno, Profe John, yo quisiera hacerle una pregunta, con toda la profundización y el avance que han tenido estas nuevas inteligencias artificiales, nuestro rol como estadísticos con esta nueva tecnología, ¿cuál sería o existiría alguna función de nuestra área que se pueda llegar a ver afectada con el avance de estas tecnologías?

Bueno, resulta que en el área de analítica, pues que también tiene en cuenta encontrar hallazgos en la data, OpenAI, la empresa que está detrás de ChatGPT, ha lanzado un producto, inicialmente se llamaba Code Interpreter, ahora le han llamado Data Analyst o algo así, no recuerdo exactamente el nombre, donde tú puedes cargar una tabla de datos y a partir de esa tabla de datos puedes empezar a interactuar, le puedes preguntar por ejemplo cuál es el, digamos que tenemos la floriris no sé cuál es la floriris que tiene mayor ancho de pétalo y te da la respuesta, pero no solo eso, también le puedes decir me puedes hacer un histograma de longitudes de pétalo y te lo da, cuál crees que debería ser la mejor manera de, a partir de los datos, de cultivar una flor y te da la respuesta y no sólo le puedes cargar un archivo, le puedes cargar una carpeta así con múltiples archivos, una base de datos y tú puedes empezar a interactuar con ella y pues esto ha generado bastante expectativas, hasta dónde puede llegar esto y eso nos ha hecho preguntar pues a todos los estadísticos, será que eso va a reemplazar en cierta medida nuestra función, nuestras funciones entonces aquí pues ahí nos toca como remontarnos nuevamente a los orígenes de la estadística, cuál es la función real del estadístico, será que sólo es hacer ese tipo de analítica o nuestra función es ir un poco más allá, generar nuevos métodos, generar, aprovechar pues esta herramienta para ir más allá y aquí quiero hacer un pequeño paréntesis, es que este mismo temor lo tuvieron los matemáticos cuando salió la calculadora, en ese momento los matemáticos incluso en algunos lugares hicieron hasta huelga imagínense o sea decían no no no es que cómo le vamos a dejar las calculadoras a nuestros estudiantes no eso eso no nos reemplaza bueno hubo como una controversia pero pues finalmente ahora entendemos que la función del matemático no es calcular como lo hace una calculadora, sino va más allá, lo mismo va a pasar pienso yo con las funciones del estadístico, tenemos que ir un poco más allá desde las universidades, desde las escuelas, mostrar estas herramientas, no podemos prohibir a la gente a que las use, al contrario, tenemos que potencializarlos, tenemos que desarrollar en ellos un pensamiento más, un poco más crítico.

Finalmente, una persona que use una calculadora, puede colocar cualquier número ahí y va a obtener una respuesta que tal vez no ni siquiera tenga sentido, lo mismo va a ocurrir con esta herramienta, tenemos que verlo es como una herramienta, lo tenemos que ver como el martillo que construye la casa, pero el arquitecto de esa casa sigue siendo el ser humano, entonces ahí tenemos que tener esa visión.

Replantearnos un poco desde las escuelas cómo estamos educando a nuestros estudiantes y cómo podemos aprovechar estas herramientas al máximo.

Muy buena reflexión, profe John, decir que estamos con una herramienta que nos va a permitir potencializar nuestro trabajo, puede ser que ahora seamos más productivos incluso que en lo que hacíamos antes pero la dirección inteligente de un ser humano sigue siendo fundamental y eso se ve a veces salen errores, que uno no se monta una plantea un problema o una pregunta y a veces hay obviamente errores, pero eso con el tiempo va a ser cada vez minimizado, verdad?

Sí, seguramente, cada vez van a ir mejorando las respuestas, aunque cuando hablamos del lenguaje es difícil decidir qué es una buena o una mala respuesta, si yo digo, le pregunto a la inteligencia artificial quién es Dios, entonces puede dar cualquier respuesta, pero cuál es buena y cuál es mala,

ya empieza una parte ética a estar ahí en juego,

también los datos de entrenamiento, creo que los datos de entrenamiento pueden sesgar mucho la respuesta, ¿no?, entiendo yo.

Porque como el modelo depende de esos datos de entrenamiento.

Profe, ¿y qué aplicaciones de estos lenguajes, de estos modelos de lenguaje le han fascinado, le han impresionado en estos tiempos, de pronto usted que tiene esa perspectiva y nos pueda de pronto mencionar algunas de esas aplicaciones que pronto lo han dejado con la boca abierta.

Esto es impresionante porque resulta que hace un par de meses, a finales del año pasado me dejaba boquiabierto Chachitico, o sea yo decía, ¿cómo es capaz de que yo le escriba algo y me responda tan bien?, esto parece magia, ya nos hemos acostumbrado, ya nos parece entre comillas normal, ahora empezaron a generar aplicaciones a partir de eso y las que empezaron a salir en enero, febrero, marzo, eran aplicaciones pues que digamos que aumentaban las capacidades de algunos procesos, ejemplo Notion, este editor de notas, un blog de notas pero bueno, empezó a lanzar una aplicación donde tú podías escribirle y decirle resúmeme tal conversación y pues tú veías cómo lo resumía tan bien, y entonces ahí yo en ese momento quedé abierto y decía, impresionante cómo están las empresas adquiriendo esta tecnología, y esta vaina sigue avanzando y como marzo, abril, mayo, empezaron ya a unir el texto con la imagen, o sea, en otras palabras ya es chat GPT, ya podía ver, y ver, no sé, por ejemplo le pasaban una imagen de unos globos, así como los de Up!, la película Up!, y con unos hilitos y al final abajo un yunque, y uno le preguntaba ¿qué pasa si corto el hilo?

Y respondía, no pues los globos van a salir volando, entonces uno decía wow, o sea impresionante,

y era capacidad de razonamiento ya propias,

es impresionante, y ya, y pues con ese tema de las imágenes, la semana pasada ya OpenEDI lanza, pues ya anuncia el lanzamiento ahorita en octubre de Chajipeto, que ya empiezas tú a escribirle y génerame una historia de un, no sé, de un pingüinito que es muy feliz, tiene ojos grandes, azules, no sé qué, y genérame una historia, él no tiene mamá y llora todos los días, y te hace las imágenes, te da opciones de pingüinito de ojos azules llorando por la mamá y coloca como las novesitas del pensamiento, de cómo se imaginaba, todo eso, o sea, es una vaina impresionante, ahorita me tiene impresionado eso, que ya puedes unir la imagen con el texto de ida y vuelta, tú le pasas imágenes, hablas acerca de la imagen, pero también le puedes pedir que genere imágenes y te genera imágenes, entonces vemos cómo esto va avanzando tan rápido y las aplicaciones cada vez son más impresionantes, todo eso me tiene a la expectativa.

Sí, realmente es algo que lo deja a uno sin palabras y que va a permitir que nosotros como que programemos a partir del lenguaje y podamos hacer cosas que antes no podíamos hacer es excelente, profe, estos avances que ha tenido esta tecnología.

See all Escenario Radio transcripts on Youtube

SMART - Hoy: Modelos de procesamiento de lenguaje natural y sus aplicaciones