qwen3-coder:30b ███████████░ 18 GB qwen3.5:27b ██████████░░ 17 GB gemma3:12b █████░░░░░░░ 8 GB
punk-lora
Enseñarle Punk a un modelo que corre en el portátil, y medir cuánto aprendió.
- Estado
- Anda
- Desarrollo
- 2.6 h
Dos trabajos que se necesitan. Enseñarle a un modelo de lenguaje local a escribir Punk, y tener un banco que diga si el que enseñó aprendió.
Todo corre en la máquina de uno. El modelo base es un Qwen de 14 mil millones de parámetros cuantizado a cuatro bits, y encima van adaptadores entrenados en el portátil.
Funcionalidades
El adaptador
- Se entrenan adaptadores sobre pesos congelados, en las capas de arriba, que son las que aprenden sintaxis.
- El conjunto de entrenamiento sale de tres fuentes. Los ejemplos del repositorio, que enseñan a escribir un programa completo. Los bloques de código de la documentación del lenguaje, que enseñan las reglas. Y la misma pregunta escrita de dos formas.
- La instrucción de cada ejemplo sale del comentario de cabecera del propio archivo.
- El entrenamiento corre en un M1 Max, en unas horas.
El banco de modelos
- El mismo juego de problemas de programación, resuelto en once lenguajes, contra cada modelo local.
- La cola retoma donde quedó. Relanzar no repite lo ya medido.
- Cada racha se revisa buscando defecto del instrumento antes que mérito del modelo. Un fallo resultó ser el razonamiento comiéndose el techo de tokens.