Évaluation de la conformité à la norme de référence

Cadre général

Afin d’évaluer la conformité du service de communication au public en ligne avec la norme de référence, l’organisme doit conduire un audit d’accessibilité. L’audit (ou évaluation) peut être effectué par l’organisme lui-même (auto-évaluation) ou par un tiers. L’évaluation est réalisée sur un échantillon de pages représentatif du service de communication au public en ligne. La vérification de la conformité des pages de l’échantillon avec les critères applicables s’effectue à l’aide des critères de contrôle du RGAA qui contiennent des tests techniques. La phase finale de l’audit est la déclaration d’accessibilité qui rend compte de la conformité des services de communication au public en ligne avec les règles applicables.

L’audit (ou évaluation) répond aux critères suivants :

il est fiable : il revient à l’organisme concerné de veiller à la fiabilité de sa déclaration par tous moyens (recours à un prestataire externe, formation d’experts internes, audits croisés…) ;
il est représentatif : il porte sur un échantillon représentatif des pages du service de communication au public en ligne (cf. section « Échantillon » ci-dessous).

En application de l’article 5 du décret n° 2019-768 du 24 juillet 2019 susmentionné relatif à l’accessibilité des services de communication au public en ligne aux personnes handicapées, les personnes mentionnées aux 1° à 3° de l’article 47 précité vérifient l’accessibilité de leurs services de communication au public en ligne, conformément à la norme de référence, en appliquant la méthode technique du présent référentiel. Cependant, jusqu’au 31 décembre 2019, il reste possible d’effectuer un audit de conformité tel que défini dans le RGAA 3.0 mis à jour en 2017.

Les personnes mentionnées au 4° de l’article 47 précité peuvent recourir à une autre méthode de tests, à une triple condition :

s’assurer que la méthode de test utilisée est communicable sur demande à un utilisateur ou à une administration ;
produire une table de correspondance explicite entre les critères et tests et la norme de référence choisie ;
l’indiquer dans la déclaration d’accessibilité.

Échantillon

L’échantillon sur lequel est réalisé l’audit porte au moins sur les pages suivantes, lorsqu’elles existent :

page d’accueil (page constituant le point d’entrée principal du service de communication au public en ligne),
page contact (page contenant les informations de contact ou le ou les formulaires permettant de contacter directement l’organisme responsable du service de communication au public en ligne),
page mentions légales,
page « accessibilité » (page comprenant la déclaration d’accessibilité),
page plan du site (page récapitulant l’arborescence du site ou permettant plus largement une navigation au sein des différentes pages composant le service),
page d’aide,
page d’authentification.

S’ajoutent à ces pages, les pages suivantes, lorsqu’elles existent :

au moins une page pertinente pour chaque type de service fourni et toute autre utilisation principale prévue (ex. : rubriques de 1^er niveau dans l’arborescence…), y compris la fonctionnalité de recherche ;
au moins un document téléchargeable pertinent, le cas échéant, pour chaque type de service fourni et pour toute autre utilisation principalement prévue ;
l’ensemble des pages constituant un processus (par exemple, un formulaire de saisie ou une transaction sur plusieurs pages) ;
des exemples de pages ayant un aspect sensiblement distinct ou présentant un type de contenu différent (ex. : page contenant des tableaux de données, des éléments multimédias, des illustrations, des formulaires, etc.).

La sélection des pages auditées ainsi que leur nombre doivent être représentatifs du service de communication au public en ligne. Le nombre de visiteurs par page peut notamment être pris en compte lors de la constitution de l’échantillon.

Enfin, s’ajoutent des pages sélectionnées au hasard représentant au moins 10 % des pages de l’échantillon décrit supra.

Sont considérées comme des pages au titre du présent référentiel les pages web et les écrans des applications mobiles.

Environnement de test (ou « base de référence »)

Quelques critères RGAA, notamment ceux de la thématique JavaScript, incluent des tests de restitution à effectuer sur des technologies d’assistance associées à des navigateurs et des systèmes d’exploitation.

Pour valider ces critères, il convient de définir un environnement de test (ou « base de référence »). Par défaut, il est composé des technologies d’assistance majoritairement utilisées par les personnes en situation de handicap combinées avec les navigateurs et systèmes d’exploitation pour lesquels elles sont optimisées. Cet environnement de test minimal peut être complété, le cas échéant, par des solutions libres et gratuites disponibles ou par des technologies plus anciennes, en fonction de l’usage du service de communication au public en ligne.

Lorsqu’il est possible de connaître la configuration des postes de travail, ainsi que le matériel utilisé, la base de référence est alors constituée des services réellement utilisés dans cet environnement.

Test des pages

Chaque page de l’échantillon doit être vérifiée au regard des critères qui lui sont applicables.

Il existe 3 raisons pour qu’un critère ne soit pas applicable à une page :

Le critère concerne un contenu ou une fonctionnalité qui n’existe pas, par exemple si la page ne comporte pas de vidéo, les critères liés aux vidéos ne seront pas applicables.
Le critère concerne un contenu ou un service exempté qui n’est donc pas soumis à l’obligation d’accessibilité.
Le critère concerne un contenu soumis à dérogation pour charge disproportionnée qui est accompagné d’une alternative numérique accessible. Par exemple, un tableau statistique avec des graphiques qui propose une alternative numérique en texte. Dans ce cas les critères applicables au contenu soumis à dérogation seront non applicables. À noter : si le contenu soumis à dérogation pour charge disproportionnée ne propose pas d’alternative numérique accessible, les critères concernant ce contenu sont considérés comme applicables.

Les pages sont ensuite testées au regard des critères applicables. Ces tests permettent d’obtenir :

le nombre de critères validés et non validés pour chaque page ;
le taux de conformité de chaque page.

À noter :

un critère est validé pour une page donnée lorsque tous les éléments de la page ont passé avec succès les tests permettant de valider le critère ;
dès lors qu’un seul élément de la page ne valide pas les tests d’un critère, le critère ne peut être validé ;
si la page fait partie d’un processus (faire une déclaration, participer à une consultation publique, prendre un rendez-vous), un critère est validé pour une page du processus uniquement s’il est validé pour toutes les pages du processus.

Taux de conformité à la norme

Le taux de conformité permet de mesurer les progrès du service en ligne eu égard à la conformité aux exigences d’accessibilité.

Ce taux peut indiquer le pourcentage de critères respectés ou le niveau de conformité moyen du service en ligne.

Le pourcentage de critères RGAA respectés s’obtient en divisant le nombre de critères validés par le nombre de critères applicables.

Critère validé : un critère est validé s’il est validé sur toutes les pages de l’échantillon. Si un critère est invalidé sur une seule page de l’échantillon, il ne pourra pas être considéré comme valide pour le calcul du taux.
Critère applicable : pour qu’un critère soit applicable, il suffit qu’il le soit sur une seule page de l’échantillon. Ce qui a pour corollaire qu’un critère est non applicable s’il est non applicable sur toutes les pages de l’échantillon sans exception.

Le taux de moyen de conformité du service en ligne s’obtient en faisant la moyenne des taux de conformité de chaque page.