Inteligencia Artificial · Universidad Icesi · 2026
Ajustamos un mismo modelo congelado a cinco tareas de reseñas con tres organizaciones de adaptadores LoRA. Solo cambia cómo se reparten los parámetros entre tareas. Todo lo demás es idéntico.
Pocos parámetros, pero las tareas compiten por el mismo espacio.
Varios expertos y un enrutador que decide cuáles usa cada tarea.
Sin competencia, pero el costo crece con cada tarea nueva.
1 · El experimento
DistilBERT congelado, adaptadores LoRA de rango 2 en las 12 proyecciones de consulta y valor, y una cabeza lineal por tarea. Elige una tarea para ver qué parámetros la atienden en cada configuración.
2 · Desempeño
Las tres configuraciones se entrenaron con los mismos datos, semilla e hiperparámetros. Vota por la que crees que obtiene la mejor macro-F1 promedio.
Diferencia frente al LoRA compartido, en puntos porcentuales. La banda gris es la semiamplitud aproximada del intervalo binomial al 95 % con 400 ejemplos de prueba. Es una aproximación analítica: el experimento tiene una sola semilla.
3 · Costo de ajuste
Parámetros entrenables de adaptador y enrutador según el número de tareas T. Mueve los controles para ver cuándo MoE-LoRA empieza a salir más barato que un LoRA por tarea.
4 · Enrutador
El notebook muestra los pesos crudos del enrutador, sin la temperatura ni el top-k que el modelo aplica al entrenar. Cambia a los pesos efectivos para ver lo que realmente usa cada tarea.
Entropía normalizada: 0 = un solo experto, 1 = mezcla uniforme.
Los pesos efectivos se reconstruyen desde los valores del mapa del notebook, redondeados a dos decimales: son aproximados. Dentro del top-k, ωi ∝ pi1/τ.
5 · Conclusiones
Problema abierto 1 · Variedad de tareas
Las tres tareas de polaridad comparten el experto 2, mientras que tópico y longitud
usan otros. Separar parámetros ayudó en rating5 (+3.6 a +3.9 pp) y
length (+1.5 a +1.8 pp): consistente con interferencia leve, no
concluyente con una semilla.
Problema abierto 2 · Costo de ajuste
MoE-LoRA usa un 20 % menos que LoRA por tarea con T = 5 y su costo no crece con las tareas. Aun así cuesta 4 veces el adaptador compartido, porque cada experto tiene rango completo.
rating5 y length.Repetir con varias semillas, expertos de rango r/N como en MOELoRA, enrutador por token, tareas generativas y modelos mayores.