Gemini Notebook
Este video de Andrej Karpathy ofrece una guía exhaustiva para comprender el funcionamiento interno de los modelos de lenguaje extenso como ChatGPT. El autor detalla el proceso de preentrenamiento, donde el sistema procesa billones de tokens extraídos de internet para aprender a predecir la siguiente palabra en una secuencia. Posteriormente, explica la etapa de posentrenamiento, mediante la cual el modelo se convierte en un asistente útil a través del ajuste con conversaciones humanas. La fuente también analiza las limitaciones cognitivas de la tecnología, tales como las alucinaciones y las dificultades con el razonamiento matemático o el deletreo. Finalmente, Karpathy enfatiza la importancia de utilizar herramientas externas, como intérpretes de código y búsqueda web, para mejorar la precisión y fiabilidad de estas herramientas digitales.