Karpathy, Andrej
Andrej Karpathy, Youtube
[Introducción]()
Gemini Notebook
Los grandes modelos de lenguaje, como se explica en la fuente analizada, consisten fundamentalmente en archivos de parámetros y código de ejecución que operan mediante la predicción de la siguiente palabra. Su entrenamiento inicial o preentrenamiento requiere una enorme cantidad de texto extraído de internet procesado por clústeres masivos de GPU, seguido de una fase de ajuste fino con datos humanos de alta calidad para convertirlos en asistentes útiles. Estas arquitecturas operan como núcleos de sistemas operativos capaces de utilizar herramientas externas y procesar múltiples modalidades, aunque también enfrentan importantes desafíos de seguridad como ataques de evasión, inyecciones de comandos y envenenamiento de datos.
