AI local con Docker: Gemma con el Docker Model Runner

🚀 Aprende AI Local con Docker Model Runner 🐳 En este video, te guiaremos paso a paso para **descargar y ejecutar LLMs abiertos y de libre uso directamente en tu máquina**, ¡y todo esto utilizando la versátil herramienta que ya conoces para tus contenedores: **Docker**! 🤯 ¡Olvídate de instalaciones adicionales! Con **Docker**, habilitarás de forma sencilla la asombrosa capacidad de correr modelos localmente. Imagina esto: los modelos se cargan ágilmente en tu memoria RAM justo cuando los necesitas y, de manera inteligente, se liberan cuando terminas de usarlos. ¡Eficiencia y comodidad en un solo movimiento! ✨ Pero eso no es todo, ¡hay más magia en el aire! 🧙‍♂️ **Docker Desktop** te brinda un servidor integrado que utiliza **llama.cpp** para la inferencia de modelos. Esto significa que podrás interactuar con tus modelos desde contenedores o, aún mejor, ¡a través de TCP utilizando cualquier cliente compatible con la API de OpenAI! 🌐 **¿Qué aprenderás en este video imperdible?** 👇 * ⚙️ **¡Activa el Docker Model Runner como un profesional!** Te mostraremos cómo habilitar esta funcionalidad sin esfuerzo. * 🧠 **Desentraña el proceso de uso e inferencia de modelos.** Comprenderás cómo funciona esta potente herramienta por dentro. * 🤖 **¡Manos a la obra! Corre modelos localmente en este caso Gemma3 e interactúa con ellos.** Experimenta la potencia de la IA directamente en tu computador. * 📡 **Domina la conexión TCP para un uso flexible.** Aprende a utilizar tus modelos a través de la red con cualquier cliente OpenAI. ¡Dale play y comienza la diversión local! ▶️ Referencias: - https://docs.docker.com/ai/model-runner/ - https://www.docker.com/blog/run-llms-locally/