Marc-André Beaulieu
Marc-André Beaulieu est pentester chez Santé Québec. Avec plus de 5 ans d'expérience en sécurité offensive, il s'intéresse particulièrement à la sécurité web, à la sécurité des LLMs et à leur utilisation en sécurité offensive. Adepte d'énigmes, il a conçu des défis de CTFs au Hackfest, iHack, CSGames, UnitedCTF et au ULCTF qu'il a fondé en 2023. Ancien président du Club de sécurité informatique de l'Université Laval, il aime échanger et discuter autant devant une classe qu'autour d'une bière.
LinkedIn: https://www.linkedin.com/in/marc-andr%C3%A9-beaulieu5/ Discord: h3dg3h0g
Session
[Entreprise IA] : "Ce nouveau modèle a trouvé 5000 CVE !"
[Communauté infosec] : Proof ?
[Entreprise IA] : ¯_(ツ)_/¯
Pendant des années, on nous a présenté des "N vulnérabilités trouvées par l’IA", mais avec peu ou pas de détails sur la manière dont elles ont été découvertes, au point où cela ressemble davantage à des coups marketing qu’autre chose.
Cette présentation décrit en détail un design concret de système end-to-end utilisant des agents IA pour découvrir de manière entièrement autonome des vulnérabilités dans du code open source, ayant mené à des vrais CVE.
L’objectif n’est pas seulement de présenter le design lui-même, mais aussi comment chaque composant réduit les problèmes fréquents, notamment :
- Les boucles infinies d’agents qui oublient ce qu’ils ont déjà testé
- Les hallucinations de vulnérabilités
- Les impacts surrestimés
- Les agents qui trichent en introduisant volontairement des bugs dans le code source
- Le manque de profondeur et de créativité dans les vulnérabilités trouvées
La présentation couvrira les décisions de desing, notamment :
- Des processus conçus pour permettre la créativité et l’exploration tout en éliminant les faux positifs
- Un schéma de base de données structuré qui impose et encadre ces processus
- Des agents opinionnés avec des rôles, objectifs, outils et accès à la base de données explicitement définis
- Une exploitation end-to-end imposée dans des environnements isolés
Le résultat : un pipeline capable de fonctionner de manière entièrement autonome pendant 12h+ et de produire des vulnérabilités reproductibles à impact élevé, incluant des CVE publiées.
Finalement, on dirait bien que l’IA peut trouver de vrais bugs, il faut juste moins de prompt et plus d’engineering.