WIXLIB

Software FactoryBusiness Solution CenterDSI des Directions Centrales de la Société GénéraleTests Automatisés dans le cadred’une usine de développement logicielGuillaume Theytaz – Romain Ranson

Agenda1.Enjeux de la Software Factory2.Description3.Les tests et l’automatisation4. Focus sur les Tests Fonctionnels Applicatifs : Principes, Bilan et perspectives Focus sur les Tests de Sécurité Applicatifs : Principes , Bilan et perspectivesConclusion P.2

Enjeux Société GénéraleRéduire les coûts et être en mesure demobiliser les budgets en fonction desbesoins clientsDéclinaison pour l’ITRéduire le Time to Market enaugmentant l’efficacité conjointe desDEV et des OPSAugmenter la qualité du SIGarantir la sécurité du SI 4 DSI pour 4 lignes métiers 1 DSI Infrastructure unique 1 entité coordinatrice P.3

Programme CONTINUOUS DELIVERY AGILECONTINUOUSDELIVERY AGILEau BSCPlateformeSOFAMétierProduct OwnerContinuous IntegrationContinuous DeploiementFast ProvisionningAGILEFormation sensibilisationCoaching équipes / Métiers / ManagersExpertise technique(UCD, TDD, Analyse de la valeur)Rôle de Product Owner /Scrum MasterTESTINGAGILETests Unitaires AutoTests Fonctionnels AppliTests de sécurité AutoDevOpsOrganisation & ProcessusArchitectureIT SolutionsITDEVDevOpsITOPS P.4

Agenda1.Enjeux de la Software Factory2.Description3.Les tests et l’automatisation4. Focus sur les Tests Fonctionnels Applicatifs : Principes, Bilan et perspectives Focus sur les Tests de Sécurité Applicatifs : Principes , Bilan et perspectivesConclusion P.5

Focus sur les axes de travail5 axes de travailTechnique50%Technique40%Process lsSécuritéStandardsde DeliveryTechnique5%Déploiement ContinuxPaasIaasUn programme sur 5 ans (2014 à 2019)Environ 1,5 M / an ( 2000 j/h)Une stratégie de déploiement basée sur les techno des applications P.6

Focus sur la SOftware FActorySoftware FactoryContinuous DeploymentCODEContinuous IntegrationVersionningDeploymentLa maximisation de l’automatisationest recherchée : Code qualityPour tous les types de testsDans l’exécution des étapes de lachaineMetrologyUnit testsAutomated functionnal testsQualimetry2 types d’indicateurs QUALITE sontproduits :Packaging Continuous DeploymentINFRAEnvironment creationEnvironment removal Temps réel pour les DEV afin decorriger à chaque exécution de l’usineDashboard Mensuel pour les CP afinde monitorer le progrès et orienter lesactions d’améliorationxPaasIaas P.7

Organisation Testing 2016 au Business Solution CenterCentre d’activité BucarestCentre d’activité BangalorePiloteRelai CDSsupport outils,méthodologie, AQet besoinsSupport méthodologieSupport outillagePiloteBesoinsAutomatisationProjet CDSDCO/CDECDS (Centre de Solutions)Automatisation testsfonctionnels, Projet CDS P.8

Agenda1.Enjeux de la Software Factory2.Description3.Les tests et l’automatisation4. Focus sur les Tests Fonctionnels Applicatifs : Principes, Bilan et perspectives Focus sur les Tests de Sécurité Applicatifs : Principes , Bilan et perspectivesConclusion P.9

Process cible de l’usine JavaPoste développementEclemmaCodage TU (TDD)TestNGCodage CodeExécution TUSonarCommitTestNGQualimétrieExécution TUIntégration ducodeIntégration ContinueFortifyPackageSécurité : analyse statique du codeAnonymisationGold copyProvisioning desenvironnementsdans le CloudOPTIMSanity checksUFT/ SeleniumUFT/ SeleniumTests fonctionnelsIndicateurs/ SeuilsPerformance CenterTests de performanceDéploiement continuWebInspectTests de sécurité dynamiquesProductionTanaguruTests d’accessibilité numérique P.10

Les outils de tests dans SOFAOutils de TestPoste Mise enserviceTests Unitaires (TestNG Eclemma)2015Tests Unitaires (TestNG)2015Qualimétrie (Sonar)2015 Services opérationnelsTests de sécurité statiques (Fortify)2015Tests Fonctionnels (QC / UFT /Selenium)2015Tests de sécurité Dynamique(WebInspect)2016Tests de performances (PerformanceCenter)2016Anonymisation / jeux de tests (IBMOptim)2016Tests d’accessibilité numérique *2017Service Virtualisation *2017* : à définir P.11

Ce qui est automatisable au BSC Il est possible d’automatiser dans toutes les phases de test en fonction des types de testsà rejouer : des tests unitaires, fonctionnels, techniques ou métierRatios d’automatisation préconisés :Homologation (UAT)10 à 20 %Tests fonctionnels et techniquesTests unitaires et de composants30 à 60 %60 à 90 % P.12

Tests Fonctionnels automatisés : Bilan et perspectives20162017QTP/ UFT / SeleniumData Masking (Optim)Virtualisation de services *FortifyPerformance CenterAccessiblité Numérique *SonarWebInspect EnterpriseTeamConstructiondes Solutions2015* : à définir 2 ETP à BangaloreSocle : 2 ETP Paris 1 ETP BangaloreProjetsBilan 2015 15 projets réalisés 2500 cas fonctionnels automatisés 70 % de non régression automatisée R.O.I avant la 6ème exécutionPerspectives 2016 Plus de 50 projets identifiés Expérimenter le BDD Mesurer les gains qualitatifs Un message fort de la direction du BSC :En 2016 : le service d’automatisation est offertpour les projets, via l’offre Functionnal AutomatedTesting : « FAT makes your testing FIT » P.13

Les Tests de Sécurité ApplicativeL’offre Testing de Sécurité applicative (TSA) est une offre de service Groupe permettant d’évaluer de façon industrielle et agile, le niveau desécurité d’une application tout au long de son cycle de vie (du développement à la mise en production) afin de réduire les coûts de correction desvulnérabilités. Une vulnérabilité, en phase de développement, est jusqu’à 12 fois moins couteuse à corriger.Elle se compose de 2 modules :Analyse dite « statique » : L’ensemble du code source est analysé par les outils et les vulnérabilités identifiées sont qualifiées.Analyse dite « dynamique » : Effectue un « scan » de l’application comme un utilisateur standard (via les IHM Web). Particulièrement adaptépour les pro-logiciels.Complémentarité des offres matisé)Optimisation du coût de correctionNote desécurité(*)Tests TSA automatisés100%90%ApplicationsAudit decertificationAudits Manuels ExternesTests deSécuritéApplicative(TSA)Traitement enProduction0%MiddlewaresAudit QualysTraitement enDéveloppementOSCycle de vie de l’applicationCoût de correction :Surface en vert si traitement en développement de façon industrielle etautomatisé (TSA)Surface en rouge si traitement en production (Audit BT) Hors vulnérabilitésfonctionnelles(*) La note de sécurité est inversementproportionnelle au nombre de vulnérabilité P.14

TSA – Bilan et perspectives2017Data Masking (Optim)Virtualisation de services *FortifyPerformance CenterAccessibilité Numérique *SonarWebInspect EnterpriseSocle : 2 ETP à ParisBilan 2015Projets2016QTP/ UFT / SeleniumTeamConstructiondes Solutions2015 53 applications testées / 340 jh. 10 applications Java intégrées SOFA PL/SQL ready, COBOL (3 applications) Modèle centralisé* : à définir 1 ETP à Paris dans l’équipe Tests de Sécurité 2 ETP à BangalorePerspectives 2016 Déployer les tests dynamiques via WebInspect Enterprise Sensibiliser les référents applicatifs Certifier les développeurs Déployer le modèle semi-centralisé Internationalisation de l’offre avec Bucarest et Bangalore P.15

Agenda1.Enjeux de la Software Factory2.Description3.Les tests et l’automatisation4.1.Focus sur les Tests Fonctionnels Applicatifs : Principes, Bilan et perspectives2.Focus sur les Tests de Sécurité Applicatifs : Principes, Bilan et perspectivesConclusion P.16

Le Testing dans la Software FactoryChangement de paradigme : en mode Agile, l’automatisation des tests de non régression est indispensable pourrépondre au besoins d’exécution récurrents.Mode AgileProjet Cycle en V100806040200100806040200Activité de testAutres activités projetActivité de testOffre proposée aux projets : Sensibilisation aux tests fonctionnels automatisés Aide à l’identification des tests de non régression éligibles Automatisation et maintenance des scripts P.17

ConclusionLa production de livrables de qualité dans une organisation efficiente passe parl’automatisation de nombreux types de tests. De ce fait, le programme est ambitieuxmais est soutenu par le DSI.Des modèles à suivreDes solutions pragmatiquesLes équipes sont nos POUn accompagnement généralUn financement assuréPréambule des scénarios detests décritsUn investissement initial desprojets -Actions réalisées par le programme pour valoriser les pointset traiter les points : Conduite du Changement Intense Coordination en one2one avec toutes les entités concernées Action sur les rôles transverses pour accentuer : Architectes, Tech. Lead, Scrum Master etsurtout les managers Démonstrations par l’exemple P.18

Merci pour votre attentionguillaume.theytaz@socgen.com P.19

QTP/ UFT / Selenium Data Masking (Optim) Performance Center WebInspect Enterprise Virtualisation de services * Fortify Accessiblité Numérique * ts 2017 2 ETP à Bangalore Socle : 2 ETP Paris 1 ETP Bangalore 15 projets réalisés 2500 cas fonctionnels automatisés 70 % de non régression automatisée R.O.I avant la 6ème exécution