Las ventanas de contexto más grandes no eliminaron RAG, cambiaron la dinámica. La decisión ya no es "rellenar o recuperar". Es "qué va en el contexto y cómo llega allí".
La afirmación recurrente de que las ventanas de contexto grandes hacen obsoleto a RAG es incorrecta. Una ventana grande permite introducir más información; no convierte el relleno en la respuesta correcta. La recuperación sigue ganando en costo, precisión y en la cola larga, y la dinámica ahora es más nítida, no ha desaparecido.
Principios Fundamentales: Lo que Cuesta Cada Uno
En resumen:
- **Relleno.** Poner todo en el contexto. Barato de construir, caro por solicitud, impreciso en contextos largos y la calidad disminuye a medida que el contexto crece.
- **Recuperación.** Poner lo correcto en el contexto. Más costoso de construir, más barato por solicitud, más preciso y la calidad se mantiene a medida que el corpus crece.
La dinámica es costo, precisión y escalabilidad, no "cuál funciona".
Cuándo Gana el Relleno
El relleno gana cuando el contexto es pequeño y conocido: unos pocos documentos, un conjunto fijo de instrucciones, una conversación corta. El costo adicional de la recuperación no se justifica cuando todo encaja y el costo es bajo.
- Contexto pequeño y conocido.
- Instrucciones fijas.
- Conversaciones cortas.
Cuándo Gana la Recuperación
La recuperación gana cuando el corpus es más grande que la ventana, cuando el costo importa, cuando la precisión importa y cuando la cola larga no puede ser rellenada. Cuanto más grande sea la ventana, más le permitirá la recuperación usarla bien; ambas son complementos, no sustitutos.
- Corpus más grande que la ventana.
- Cargas de trabajo sensibles al costo.
- Consultas sensibles a la precisión.
- Conocimiento de cola larga.
La Verdadera Decisión
La decisión es "qué va en el contexto y cómo llega allí", una combinación de relleno (fijo, pequeño, conocido) y recuperación (variable, grande, preciso). Las ventanas más grandes hacen que la combinación sea más potente, no menos.
Conclusión
Las ventanas de contexto y la recuperación son complementos, no sustitutos. Rellene lo pequeño y conocido, recupere lo grande y variable, y cuanto más grande sea la ventana, más le permitirá la recuperación usarla bien.
Acerca de FACTA
FACTA ayuda a startups y equipos en fase de crecimiento a convertir la IA en sistemas de producción que se mantienen en funcionamiento, no en demostraciones que impresionan una sola vez.
Diseñamos la arquitectura en torno a las partes que realmente fallan bajo uso real: herramientas propias, credenciales controladas, conmutación por error (failover), controles de costos, observabilidad. La infraestructura esencial que mantiene un sistema vivo después del lanzamiento.
Dirigidos por Matías Baglieri y Carolina Fogliato, nos enfocamos en una cosa:
Liderazgo en IA que construye. No solo asesora.
Díganos el tamaño de su contexto y corpus.
Le diremos qué rellenar y qué recuperar. Consulte `chunking` para el lado de la recuperación.
Explore la Automatización de IA