Les contrôles permettent la flexibilité dans la mise en œuvre et la croissance opérationnelle ainsi que l'innovation au fil du temps. Malheureusement, certaines organisations utilisent cette flexibilité pour cocher la case, mais n'ont pas de véritables défenses en place.

Un exemple parfait de ce problème est les systèmes de détection/protection contre les intrusions (IDS ou IPS). Comme les scanners de virus, la plupart des organisations investissent dans les IDS/IPS dans le cadre des pratiques standard de sécurité pour se protéger contre le trafic malveillant et l'exfiltration de données. L'industrie regorge de fournisseurs proposant diverses formes de systèmes IDS/IPS. Cependant, certaines organisations construisent des systèmes plutôt que d'acheter.

J'ai récemment quitté une telle organisation qui avait "construit" leur propre système de détection d'intrusion à partir d'outils open source. Les auditeurs se sont fait dire que le système était un « outil fantastique », et même donné des exemples de trafic. Lorsque j'ai creusé plus profondément dans la télémétrie que l'outil fournissait, j'ai réalisé que le trafic n'était pas du tout analysé. En réalité, il passait à travers le capteur car il n'était pas configuré pour capturer ou alerter sur le moindre trafic. De plus, les identifiants utilisés pour administrer l'outil avaient été mis en place par un ancien employé et n'ont jamais été mis à jour après son départ. Ainsi, l'outil était essentiellement en veille pendant des mois sans intervention humaine. Non seulement cela met la société en danger, mais cela compromet aussi le périmètre.

Un auditeur avisé n'aurait pas détecté le problème parce que les attestations ne recherchent pas d'information "opérationnelle" sur tous les systèmes – la norme consiste littéralement en une couche de question et réponse. En fait, la plupart des attestations mesurent simplement si l'outil existe, non sa viabilité opérationnelle. De plus, la plupart des auditeurs ne sont pas assez techniques pour discerner un IDS/IPS fonctionnel d'un non-fonctionnel. L'essentiel de l'audit repose sur l'entreprise pour se présenter sous son meilleur jour plutôt que de répondre à des questions difficiles. Les auditeurs doivent également couvrir un large éventail de contrôles lors d'un audit, donc le temps est un facteur important dans la qualité de leur analyse.

Une attestation seule vous dira qu'une entreprise a un programme de sécurité mature avec des contrôles. Exiger d'un partenaire potentiel de remplir une enquête de fournisseur ne vous donnera pas non plus confiance. Les enquêtes ne font que présenter les mêmes informations dans un format différent. Alors, comment évaluer un programme de sécurité mature ?