Skip to main content

Modelos de Recompensa por Proceso (PRM)

Modelos de evaluación de IA que analizan la corrección de cada paso lógico o llamada a la herramienta del agente, evitando la acumulación de errores hasta obtener el resultado final.

1. Visión general del concepto y problema sistémico

Cuando un agente de IA realiza una tarea compleja de múltiples etapas (por ejemplo, la planificación de la migración de una base de datos en 15 pasos), se aplica la ley de acumulación de errores:

  • Si la probabilidad de error en cada paso es solo del 5%, después de 15 pasos, la probabilidad de éxito de toda la operación cae por debajo de $0.95^{15} \approx 46%$.
  • Con el esquema tradicional de Supervisión de Resultados, solo nos enteramos del fracaso al final, cuando el agente ya ha modificado 40 archivos y ha puesto en producción.

Los Modelos de Recompensa por Proceso (PRM) abordan este problema a un nivel fundamental. Son modelos especializados o clasificadores de redes neuronales que verifican la validez de cada paso intermedio (Supervisión a Nivel de Paso).

2. Taxonomía arquitectónica y modelo mental

                       [ TAREA DE ENTRADA ]
                               │
                ┌──────────────┴──────────────┐
                ▼                             ▼
        [ Paso 1. Opción A ]         [ Paso 1. Opción B ]
        PRM Score: 0.98 (OK)          PRM Score: 0.21 (Error lógico)
                │                             │
                ▼                             X (Rama descartada)
        [ Paso 2. Opción A1]
        PRM Score: 0.95 (OK)
                │
                ▼
        [ Paso 3. Final ]
        PRM Score: 0.99 (Éxito)
  1. Discretización por pasos: Los pensamientos del agente se dividen en quanta lógicos mediante separadores especiales (\n\n o tokens kysli).
  2. Evaluación crítica: PRM lee el contexto de la tarea, la historia de pasos anteriores y el paso actual, emitiendo una probabilidad escalar de veracidad $P \in [0, 1]$.
  3. Recorte temprano (Pruning): Si la puntuación cae por debajo de un umbral (por ejemplo, < 0.7), el agente detiene inmediatamente el despliegue de esta rama y regresa a caminos alternativos.

3. Pipeline técnico y mecánica interna

Construcción de un pipeline utilizando PRM:

  • Búsqueda en Árbol de Monte Carlo (MCTS): PRM es el corazón matemático de los algoritmos de búsqueda en árboles de decisiones. El modelo no solo escribe código al azar, sino que explora el espacio de soluciones como lo hace el ordenador de ajedrez AlphaGo.
  • Detección automática de alucinaciones en herramientas: Si el agente está a punto de invocar una herramienta con argumentos incorrectos, PRM asigna una puntuación penal antes de realizar la solicitud de red.

4. Escenarios prácticos de ingeniería en producción

01. Auditoría automatizada de seguridad del código

PRM verifica cada paso de la descomposición de vulnerabilidades de seguridad. Si el agente hace una suposición incorrecta sobre la falta de sanitización de la entrada, PRM bloquea la conclusión errónea, obligando al agente a revisar el código real del manejador.

02. Diseño de arquitectura de base de datos

Al crear un esquema complejo de relaciones de muchos a muchos, PRM evalúa cada paso de normalización: si se mantiene la tercera forma normal, si hay duplicación de claves externas.

5. Errores comunes, trampas y seguridad

  • Altos costos de entrenamiento de PRM: Para entrenar un PRM de calidad se requiere una anotación detallada por pasos de los conjuntos de datos (Math-Shepherd, PRM800K), lo que demanda recursos computacionales significativos.
  • Over-Conservatism (Conservadurismo excesivo): Un PRM imperfecto puede penalizar soluciones ingenieriles no convencionales pero geniales solo porque difieren de los ejemplos típicos en el conjunto de entrenamiento.
/ Preguntas frecuentesSchema.org FAQPage

FAQ: Modelos de Recompensa por Proceso (PRM)

ORM evalúa solo el resultado final (correcto/incorrecto). Si el agente comete tres errores graves pero adivina accidentalmente el número final, ORM dará una evaluación positiva. PRM evalúa cada paso intermedio: tan pronto como ocurre un error, la rama se descarta o se corrige.
/ Enlaces internos

Términos relacionados

Todos los términos
Modelos e Inferencia

Modelos de Razonamiento

Clase de modelos de inteligencia artificial de nueva generación (OpenAI o1/o3-mini, DeepSeek-R1, Claude 3.7 Extended Thinking) que utilizan escalado de tiempo de cómputo (Test-Time Compute) y una cadena interna de pensamientos para verificar hipótesis.

Leer término
Prompts y RAG

Cadena de Pensamiento (Chain of Thought - CoT)

Metodología que impulsa a un modelo de lenguaje a generar pasos intermedios secuenciales de razonamiento antes de formular la respuesta final, convirtiendo tokens adicionales (Test-Time Compute) en calidad y precisión del resultado.

Leer término
Agentes y MCP

RLVR (Reinforcement Learning with Verifiable Rewards)

Método de post-entrenamiento y optimización del razonamiento de agentes de IA, donde la función de recompensa se basa en verificaciones matemáticas objetivas, compiladores y pruebas unitarias en lugar de evaluaciones humanas subjetivas.

Leer término
Agentes y MCP

Plan-and-Solve Prompting

Arquitectura de agente en dos etapas que separa la descomposición estratégica de la tarea en un plan global de su ejecución táctica secuencial con replanteamiento dinámico.

Leer término