Modelos de Recompensa por Proceso (PRM)

1. Visión general del concepto y problema sistémico

Cuando un agente de IA realiza una tarea compleja de múltiples etapas (por ejemplo, la planificación de la migración de una base de datos en 15 pasos), se aplica la ley de acumulación de errores:

• Si la probabilidad de error en cada paso es solo del 5%, después de 15 pasos, la probabilidad de éxito de toda la operación cae por debajo de $0.95^{15} \approx 46%$.
• Con el esquema tradicional de Supervisión de Resultados, solo nos enteramos del fracaso al final, cuando el agente ya ha modificado 40 archivos y ha puesto en producción.

Los Modelos de Recompensa por Proceso (PRM) abordan este problema a un nivel fundamental. Son modelos especializados o clasificadores de redes neuronales que verifican la validez de cada paso intermedio (Supervisión a Nivel de Paso).

2. Taxonomía arquitectónica y modelo mental

                       [ TAREA DE ENTRADA ]
                               │
                ┌──────────────┴──────────────┐
                ▼                             ▼
        [ Paso 1. Opción A ]         [ Paso 1. Opción B ]
        PRM Score: 0.98 (OK)          PRM Score: 0.21 (Error lógico)
                │                             │
                ▼                             X (Rama descartada)
        [ Paso 2. Opción A1]
        PRM Score: 0.95 (OK)
                │
                ▼
        [ Paso 3. Final ]
        PRM Score: 0.99 (Éxito)

1. Discretización por pasos: Los pensamientos del agente se dividen en quanta lógicos mediante separadores especiales (\n\n o tokens kysli).
2. Evaluación crítica: PRM lee el contexto de la tarea, la historia de pasos anteriores y el paso actual, emitiendo una probabilidad escalar de veracidad $P \in [0, 1]$.
3. Recorte temprano (Pruning): Si la puntuación cae por debajo de un umbral (por ejemplo, < 0.7), el agente detiene inmediatamente el despliegue de esta rama y regresa a caminos alternativos.

3. Pipeline técnico y mecánica interna

Construcción de un pipeline utilizando PRM:

• Búsqueda en Árbol de Monte Carlo (MCTS): PRM es el corazón matemático de los algoritmos de búsqueda en árboles de decisiones. El modelo no solo escribe código al azar, sino que explora el espacio de soluciones como lo hace el ordenador de ajedrez AlphaGo.
• Detección automática de alucinaciones en herramientas: Si el agente está a punto de invocar una herramienta con argumentos incorrectos, PRM asigna una puntuación penal antes de realizar la solicitud de red.

4. Escenarios prácticos de ingeniería en producción

01. Auditoría automatizada de seguridad del código

PRM verifica cada paso de la descomposición de vulnerabilidades de seguridad. Si el agente hace una suposición incorrecta sobre la falta de sanitización de la entrada, PRM bloquea la conclusión errónea, obligando al agente a revisar el código real del manejador.

02. Diseño de arquitectura de base de datos

Al crear un esquema complejo de relaciones de muchos a muchos, PRM evalúa cada paso de normalización: si se mantiene la tercera forma normal, si hay duplicación de claves externas.

5. Errores comunes, trampas y seguridad

• Altos costos de entrenamiento de PRM: Para entrenar un PRM de calidad se requiere una anotación detallada por pasos de los conjuntos de datos (Math-Shepherd, PRM800K), lo que demanda recursos computacionales significativos.
• Over-Conservatism (Conservadurismo excesivo): Un PRM imperfecto puede penalizar soluciones ingenieriles no convencionales pero geniales solo porque difieren de los ejemplos típicos en el conjunto de entrenamiento.