El informe de SOC 2 Tipo II de un proveedor SaaS cubría un periodo de auditoría de doce meses, de enero a diciembre. El control de revisión de accesos, que exigía certificaciones de accesos trimestrales, se probó con una muestra de tres revisiones de accesos de las cuarenta y ocho realizadas durante el periodo. Las tres revisiones muestreadas presentaban la evidencia adecuada: cuentas revisadas, decisiones documentadas, revocaciones ejecutadas. Los auditores concluyeron que el control funcionó eficazmente durante todo el periodo. Lo que la prueba no sacó a la luz: durante Q2, el proveedor había migrado su plataforma de IGA y, durante seis semanas de la transición, las revisiones de accesos se realizaron mediante un proceso manual con hojas de cálculo, sin la enumeración automatizada de cuentas que normalmente garantizaba su exhaustividad. Una nota de auditoría interna de Q2 documentaba que se habían pasado por alto siete cuentas en las revisiones del periodo de transición. Las cuentas omitidas se descubrieron durante la revisión de Q3 y se corrigieron. La muestra de prueba del SOC 2 había seleccionado revisiones de Q1, Q3 y Q4, todos ellos periodos posteriores o anteriores a la migración con controles que funcionaban correctamente. El periodo de transición de Q2 no estaba en la muestra. El hallazgo de la auditoría era exacto respecto de lo que se probó. No se probó el periodo en el que el control había funcionado con un problema de calidad conocido.
¿Qué son realmente las limitaciones del alcance de las auditorías?
Las limitaciones del alcance de una auditoría son los límites de lo que la auditoría examinó, probó y sobre lo que concluyó y, por implicación, de lo que no examinó, no probó ni sobre lo que no llegó a conclusiones. Toda auditoría tiene un alcance definido: el periodo cubierto, los sistemas y servicios incluidos, los controles evaluados y la metodología de muestreo aplicada a cada control probado. Los hallazgos y las conclusiones son válidos dentro del alcance de la auditoría. Extrapolar las conclusiones de la auditoría más allá de su alcance, a periodos no probados, sistemas excluidos o instancias de control no muestreadas, produce un aseguramiento que la auditoría no respalda.
El muestreo es la limitación de alcance más relevante para los informes de SOC 2 Tipo II y otros informes de eficacia de los controles. Las pruebas de SOC 2 usan un muestreo estadístico para probar controles que funcionaron muchas veces durante el periodo auditado: revisiones de accesos mensuales, pruebas de penetración trimestrales, copias de seguridad diarias, comprobaciones de supervisión cada hora. En lugar de probar cada instancia de cada control, los auditores seleccionan una muestra diseñada estadísticamente para proporcionar una seguridad razonable de que la población completa de instancias del control funcionó eficazmente. El tamaño de la muestra se calibra según la frecuencia del control: los controles más frecuentes requieren muestras mayores, pero ninguna prueba de controles cubre todas las instancias. La conclusión de funcionamiento eficaz refleja las instancias muestreadas.
El problema de la detección de fallos sistemáticos frente a aislados es la limitación fundamental de las pruebas de auditoría basadas en muestreo. Las muestras de auditoría están diseñadas para detectar fallos sistemáticos de los controles: si un control falla con regularidad, una muestra diseñada estadísticamente detectará ese fallo con una alta probabilidad. Son menos eficaces para detectar fallos aislados en periodos concretos: un periodo de transición de seis semanas en el que un control funcionó con una calidad deteriorada, un trimestre concreto en el que el responsable de un control clave estuvo de baja prolongada o una migración de sistemas concreta en la que los controles funcionaron temporalmente de forma manual en lugar de automática. Un fallo aislado puede producirse en los periodos no muestreados y dar lugar a una muestra aprobada de los periodos en los que el control funcionó correctamente.
- Muestreo que no cubre todas las instancias del control: conclusiones sobre la eficacia en todo el periodo basadas en un subconjunto de instancias
- Fallos aislados en periodos no muestreados: funcionamiento deteriorado de los controles en periodos que la muestra no incluyó
- Migraciones y transiciones de sistemas no muestreadas: los periodos de transición a menudo no figuran en las muestras del SOC 2
- Sistemas excluidos no auditados: sistemas fuera del alcance del SOC 2 con su propia calidad de control
- Periodo del informe que no refleja el estado actual: informe de SOC 2 que cubre un periodo concluido, no el entorno actual
Por qué es importante
Las limitaciones del alcance de las auditorías son importantes para TPRM porque los informes de SOC 2, los certificados ISO 27001 y otros informes de auditoría de terceros son la principal evidencia de la eficacia de los controles en las evaluaciones de proveedores, y todos tienen limitaciones de alcance que afectan a lo que sus conclusiones respaldan válidamente. Un programa de TPRM que trata los informes de auditoría como un aseguramiento completo acepta las conclusiones sobre las instancias muestreadas y el alcance definido como si cubrieran toda la población de controles y todo el entorno. La diferencia entre lo que cubrió el informe y lo que se usa para afirmar es la brecha de limitación del alcance.
El problema del desfase temporal agrava la limitación del muestreo. Los informes de SOC 2 cubren un periodo de auditoría ya concluido, una ventana de doce meses que terminó en la fecha del informe. Cuando un cliente recibe el informe y confía en él, el periodo más reciente del informe puede ser de hace doce a dieciocho meses. El entorno ha seguido evolucionando. Los controles que funcionaban eficazmente en el periodo auditado pueden funcionar hoy, o no, con la misma calidad. El informe es evidencia del pasado. El riesgo del cliente está en el presente.
Dónde se equivocan la mayoría de los equipos
El fallo más habitual es aceptar las conclusiones de auditoría como un aseguramiento completo de todo el periodo en lugar de como una seguridad razonable basada en muestras. La seguridad razonable es un término técnico de auditoría: significa que la auditoría aporta evidencia suficiente para respaldar la conclusión con el nivel de confianza adecuado, no que la conclusión sea segura ni que se haya probado cada instancia. Aceptar la seguridad razonable como certeza, y los periodos muestreados como periodos completos, exagera lo que el informe de auditoría respalda válidamente.
- Aceptar las conclusiones de auditoría basadas en muestras como aseguramiento completo del periodo
- Sin revisión de la metodología de muestreo: qué instancias concretas del control se probaron
- Sin consultas sobre problemas de control conocidos en el periodo auditado
- Vigencia del informe no considerada: se confía en informes que cubren periodos de hace doce a dieciocho meses
- Secciones de exclusiones no revisadas: sistemas y servicios fuera del alcance de la auditoría
Cómo se ve una buena práctica
Los programas maduros de confianza en informes de SOC 2 revisan las secciones de descripción del sistema, metodología de muestreo y respuesta de la dirección del informe, preguntan a los proveedores por los problemas de control conocidos en el periodo auditado, confirman la vigencia del informe y evalúan directamente los controles en el intervalo entre la fecha del informe y la evaluación actual.
- Revise la sección de respuesta de la dirección: el reconocimiento de las excepciones por parte del proveedor y las medidas de corrección
- Pregunte por los problemas de control conocidos en el periodo auditado: problemas que se corrigieron antes de la auditoría, pero que representan brechas de calidad
- Confirme la vigencia del informe: qué tan reciente es el periodo auditado y qué ha cambiado desde entonces
- Revise la sección de excepciones y salvedades: los controles que no funcionaron eficazmente en las instancias muestreadas
- Pregunte por las transiciones de sistemas durante el periodo auditado: migraciones, actualizaciones o cambios operativos que puedan haber afectado a la calidad de los controles
Herramientas
Análisis del informe de SOC 2: estructura del SOC 2 Tipo II: descripción del sistema, criterios, controles, pruebas, excepciones
Los informes de SOC 2 Tipo II siguen una estructura definida que contiene varias secciones especialmente relevantes para las limitaciones del alcance: la descripción del sistema (qué está dentro del alcance), la metodología de muestreo (cómo se probaron los controles), la sección de excepciones (dónde los controles no funcionaron eficazmente) y la respuesta de la dirección (cómo se corrigieron las excepciones). Para los profesionales de TPRM, leer específicamente estas secciones en lugar de confiar en la opinión general de auditoría aporta la información sobre las limitaciones del alcance que la opinión por sí sola no ofrece.
Supervisión continua de controles: Drata, Vanta, Secureframe
Las plataformas de cumplimiento automatizado ofrecen una supervisión continua de los controles que complementa el muestreo de auditoría puntual, detectando los fallos de los controles a medida que se producen en lugar de esperar al siguiente ciclo de auditoría. Para los profesionales de TPRM, preguntar si los proveedores usan una supervisión continua de los controles que detectaría fallos aislados en periodos no muestreados es una pregunta concreta sobre la cobertura de esa brecha.
Desafíos de gobernanza
El reto de gobernanza de las limitaciones del alcance de las auditorías es saber qué leer en los informes de auditoría extensos. Los informes de SOC 2 pueden ser documentos largos con abundante detalle sobre las pruebas de los controles. La información sobre las limitaciones del alcance (qué se excluyó, qué se muestreó, qué excepciones se produjeron) está en secciones concretas que requieren una lectura dirigida. La mayoría de quienes revisan los informes leen la opinión general de auditoría y la descripción del sistema. La metodología de muestreo, la sección de excepciones y las respuestas de la dirección son igual de importantes para entender lo que el informe afirma válidamente.
- Lea las secciones de excepciones: los controles que no superaron las instancias de la muestra
- Lea la respuesta de la dirección: cómo abordó el proveedor las excepciones detectadas en las pruebas
- Pregunte por los problemas de control conocidos en el periodo auditado que no se recogieron en las excepciones
- Confirme la vigencia del informe: qué tan reciente es el periodo cubierto
- Pregunte por las transiciones de sistemas durante el periodo auditado que puedan no haberse muestreado
Si usted forma parte de un equipo pequeño
En sus tres relaciones más importantes de confianza en informes de SOC 2, lea tres secciones concretas del informe más reciente: la sección de excepciones, la respuesta de la dirección a las excepciones y las exclusiones de la descripción del sistema. Después, haga al proveedor dos preguntas que el informe no responde: ¿hubo periodos durante la ventana de auditoría en los que los controles funcionaron con una calidad reducida debido a transiciones de sistemas o problemas operativos? ¿Qué tan reciente es este informe en relación con el estado actual de su entorno? Esas lecturas y preguntas sacarán a la luz las limitaciones del alcance que la opinión de auditoría no aborda.
- Lea la sección de excepciones y la respuesta de la dirección en los informes de SOC 2
- Pregunte por los problemas conocidos de calidad de los controles durante el periodo auditado que no se recogieron como excepciones
- Pregunte por las transiciones de sistemas durante el periodo auditado
- Confirme la vigencia del informe y pregunte por los cambios posteriores al periodo
Qué exigir
Pregunte directamente:
“Durante su periodo de auditoría de SOC 2 más reciente, ¿hubo periodos en los que controles concretos funcionaron con una calidad reducida debido a migraciones de sistemas, transiciones de plataforma o problemas operativos, problemas que quizá se corrigieron antes de realizar la auditoría, pero que representan brechas de calidad dentro del periodo cubierto?”
“¿Qué tan vigente es su informe de SOC 2 más reciente en relación con su entorno actual? ¿Qué cambios significativos se han producido desde que terminó el periodo auditado que afectarían a las conclusiones del informe?”
Evidencia que debe esperar
- Divulgación de los problemas conocidos de calidad de los controles durante el periodo auditado
- Descripción de los cambios significativos posteriores al periodo
- Sección de excepciones y respuesta de la dirección del informe más reciente
- Documentación de las transiciones de sistemas durante el periodo auditado
A un proveedor que aporte un informe de SOC 2 Tipo II se le debe preguntar por los problemas de control conocidos durante el periodo auditado que se corrigieron antes de la auditoría, pero que representan brechas de calidad dentro del periodo cubierto. La auditoría probó muestras. La pregunta se refiere a lo que las muestras no incluyeron.
Cómo demostrarlo
- Registros de revisión de las excepciones y la respuesta de la dirección del SOC 2
- Registros de consultas sobre problemas de control conocidos
- Evaluación de la vigencia del informe
- Registros de revisión de los cambios posteriores al periodo
Conclusión clave
La auditoría prueba muestras. La conclusión abarca el periodo. Tres muestras de cuarenta y ocho revisiones de accesos respaldan una conclusión de funcionamiento eficaz en las cuarenta y ocho. El periodo de migración de seis semanas en el que las revisiones pasaron por alto siete cuentas estaba entre las cuarenta y cinco que no se muestrearon. La conclusión es exacta respecto de lo que se probó. No aborda lo que no se probó. El SOC 2 Tipo II aporta una seguridad razonable, una conclusión de alta confianza basada en un muestreo estadístico, no una certeza basada en la prueba de cada instancia. Entender qué significa la seguridad razonable, y qué no cubrió el muestreo, marca la diferencia entre usar los informes de auditoría de forma adecuada y usarlos como sustituto del aseguramiento completo que no están diseñados para aportar.