Taller Práctico: Controla Hardware con IA Generativa
Descripción
En este taller, exploraremos cómo integrar modelos de lenguaje de gran escala (LLMs) con hardware embebido para controlar periféricos en tiempo real. Utilizaremos el XIAO ESP32S3 Sense, una potente placa que permite manejar entradas y salidas multimodales, incluyendo visión artificial y procesamiento de voz.
Los participantes aprenderán a convertir un modelo LLM en un agente de IA físico, capaz de recibir comandos y actuar sobre dispositivos externos, fusionando inteligencia artificial y hardware para aplicaciones en automatización, robótica y asistentes inteligentes.
Este taller está dirigido a personas con conocimientos intermedios en programación y electrónica que deseen explorar el control de hardware mediante IA.
Objetivos
Introducir el concepto de agentes de IA físicos y su integración con periféricos.
Configurar y programar el XIAO ESP32S3 Sense para procesar datos multimodales.
Implementar un modelo LLM en el dispositivo para interpretar comandos y actuar sobre hardware externo.
Explorar aplicaciones prácticas en automatización y asistentes inteligentes.
Contenido
Introducción a los agentes de IA físicos y los modelos LLM.
Configuración del entorno de desarrollo (instalación de librerías y herramientas).
Procesamiento de entradas multimodales (imagen, voz, texto) con XIAO ESP32S3 Sense.
Control de periféricos mediante IA (actuadores, sensores).
Casos de uso y discusión sobre aplicaciones innovadoras.
Materiales Requeridos
Computador personal
Cable USB-C
XIAO ESP32S3 Sense (Brindado en el taller)
Duración
📅 2 horas
Tallerista
👤 Gabriel Giraldo: Maker Advocate y Ranger Seeed Studio Latam.