Acabo de terminar mi primer loop de contenido. "Terminar" es un decir: van dos rondas de cinco y tengo que esperar cuatro horas y media para poder retomarlo. Pero ya me dejó más aprendizajes que el resultado, que todavía ni miré.
La fantasía se rompió apenas arrancó
La fantasía era dejarlo corriendo de noche y despertarme con todo listo. No pasó. Me pidió permiso una cantidad de veces enorme, aun con las ediciones automáticas activadas.
El proceso tiene varios puntos donde necesita mi aprobación, y si esto va a correr de madrugada, ese tema hay que resolverlo antes que cualquier otra cosa. No voy a estar despierto para aprobar nada a las tres de la mañana.
Cómo se comió el plan Max en 25 minutos
Antes de arrancar le pregunté a la IA qué modelos me convenía usar en cada parte del proceso. Me recomendó el modelo más potente como orquestador, uno intermedio para todo lo que necesitaba pensamiento y criterio, y modelos rápidos para lo puramente mecánico. La lógica cerraba perfecto.
El problema es que ese modelo más potente consume una cantidad de recursos que no tuve en cuenta, y aunque solo lo usaba como orquestador, se llevó buena parte de mis créditos sin necesidad.
El error más grande, sin embargo, fue otro: apunté a diez piezas exitosas para el primer testeo, cuando me hubiera convenido arrancar con tres e iterar en lotes chicos.
El diseño consume una cantidad impresionante de tokens, y la revisión del diseño también.
Terminé gastando el cien por ciento del límite de mi plan en veinticinco minutos. Ni con el plan más caro hubiera alcanzado para completar esa corrida.
Ahora entiendo por qué tantos referentes de estos temas manejan varias cuentas a la vez. Seguro se encuentran con esto en cada loop.
Lo que me quedó dando vueltas al día siguiente
Pero lo que más me quedó dando vueltas pasó al día siguiente, cuando me puse a pensar en esa recomendación de modelos que seguí sin cuestionar.
En general está bien preguntarle a la IA cómo hacer algo cuando uno no tiene el criterio propio. Yo mismo lo recomiendo. El problema es que esta vez la pregunta no era chica: era una decisión con impacto real, y la respuesta sonó tan lógica que la tomé como un hecho.
Le pregunté con qué modelo convenía hacer cada parte del loop, y me respondió con un razonamiento que tenía sentido de punta a punta. La lógica cerraba. Y aun así no funcionó: los tokens prácticamente no alcanzaron para nada.
Tengo a la IA instruida específicamente para que no sea complaciente, para que no me dé la razón porque sí. Y aun con esa instrucción, es mucho menos crítica de lo que pensaba.
Suena segura. Suena razonada. Pero esa seguridad no tiene nada que ver con si el consejo realmente va a funcionar en la práctica.
La conclusión con la que me quedo: cuando la decisión tiene impacto de verdad, no alcanza con preguntarle a la IA y confiar en que la lógica de la respuesta sea suficiente. Hay que probarlo antes.
Yo no lo hice, y lo que me costó fueron millones de tokens en algo que podría haber sido mucho más simple.
¿Cuántas veces le creíste a una respuesta de la IA solo porque sonaba razonada, sin haberla probado primero?
Para probar en tu IA
Si tu IA te va a recomendar algo con impacto real (qué modelo usar, cómo estructurar un proceso, cuánto escalar de una), no lo tomes como un hecho. Pedile esto antes:
Antes de que apliquemos tu recomendación a la corrida completa, quiero probarla en chico primero. Decime cómo la testearías gastando lo mínimo posible, y qué resultado en esa prueba chica nos diría si conviene escalarla o no.