Lanzaste una función de IA, workflow agentico o herramienta interna de IA. Ahora quieres una segunda opinión antes del próximo release — sobre arquitectura, evaluación, uso de tools, costo, seguridad u operación.
Esto no es una auditoría de preventa. No usamos las revisiones para meternos a un rebuild. El resultado es una evaluación escrita que tu equipo puede usar aunque nunca volvamos a trabajar juntos.
La forma
- Semana 1: Intake y accesos. Leemos arquitectura, prompts, evals, trazas, costos, incidentes y restricciones de producto. Si el sistema no está listo para revisión, lo decimos por escrito.
- Semana 2: Hallazgos y reproducción. Reproducimos las rutas más riesgosas, inspeccionamos modelo y retrieval, y buscamos gaps entre los criterios de éxito y lo que el sistema mide.
- Semana 3: Reporte y readout. Entregamos un reporte priorizado, hacemos una sesión de 90 minutos con ingeniería y producto, y dejamos claro qué arreglaríamos primero.
Entregables
- Una evaluación escrita con hallazgos priorizados.
- Una sesión de 90 minutos para ingeniería y producto.
- Un registro de riesgos: bloqueadores de release, fixes cercanos y backlog.
- Una revisión de costo y latencia separando modelo, retrieval y orquestación.
- Una revisión de tool use: qué puede llamar el sistema, qué puede mutar, qué registra y dónde debería detenerse.
- Un análisis de gaps de evaluación: qué detecta tu eval actual, qué no detecta y qué agregaríamos.
- Una re-revisión a 30 días, opcional y acotada.
Qué revisamos
- Prompts y rutas de agente que pasan demos pero fallan repetibilidad.
- Rutas de tool-calling con permisos poco claros, schemas débiles, falta de idempotencia o sin aprobación humana antes de acciones irreversibles.
- Sistemas de retrieval sin prueba de answerability ni umbral de grounding.
- Claims de seguridad que no están aplicados en código, flujo de revisión o escalación.
- Rutas de costo donde un modelo más pequeño, cache, batch job o contexto más angosto pasaría la misma evaluación.
- Gaps operativos: sin rollback, sin owner, sin playbook de incidente, sin forma de detectar drift de calidad.
La aritmética
La revisión de IA cuesta $15–25k, precio fijo, normalmente tres semanas. El extremo bajo encaja con una función acotada y accesos claros. El alto encaja con sistemas multi-agente, flujos regulados o varias rutas de retrieval y aprobación.
Para quién funciona
- Equipos con una función de IA cerca de release y suficiente detalle para revisar.
- Líderes que necesitan una lectura externa antes de seguridad, compras o comité.
- Equipos que prefieren la verdad a un certificado bonito.
No vendemos proyectos posteriores a partir de una revisión. Si quieres que implementemos hallazgos, se define aparte después del reporte.