Méthodologie

 

La qualité mesurée des performances des fournisseurs de téléphonie réalisée par Witbe ne vaut naturellement que pour la période de temps concernée et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès testés. La nature même des réseaux ne permet pas d'extrapoler une qualité nationale à partir des résultats issus des 3 points de mesure mis en œuvre L'objectif de l'étude est de donner des indications sur les tendances générales en terme de qualité de service.

Principes généraux

L'étude est réalisée au moyen de robots Witbe dual play Data/VoIP, connectés derrière les box des FAI. Le benchmark Witbe "Téléphonie" vise à évaluer la qualité du service tel qu'il est délivré sur 3 grandes villes de France par les principaux FAI.

» La qualité du service "Téléphonie sur ADSL" est évaluée selon 3 critères principaux :
- la disponibilité du service
- la qualité d'écoute lors de la conversation (indice PESQ-MOS)
- la stabilité de la qualité d'écoute sur la durée de la conversation.

» Tester la capacité à joindre un correspondant France Télécom fixe et converser durant 3 minutes :
Le robot Witbe réalise un appel téléphonique au travers du service de téléphonie du FAI, vers un robot répondeur connecté au RTC France Télécom en local. Le robot enregistre le message du répondeur et le compare à un fichier de référence normalisé (d'une durée de 14 secondes). Afin de pouvoir apprécier les dégradations de qualité, la conversation type dure trois minutes environ. Au sein d'une communication, le test complet consiste donc à écouter plusieurs fois le fichier de référence. Ce test est exécuté 23h/24, toutes les 15 minutes, soit 92 mesures par jour.

» Maintenance quotidienne : Les tests sont interrompus une heure par jour afin de permettre l'éventuelle mise à jour des box FAI. A l'issue de la période de maintenance, les équipements sont rebootés électriquement avant de reprendre les tests.

» Origine des tests : Les tests sont réalisés depuis trois points d'observation : - en ADSL : Courbevoie (92), Lyon et Marseille. - En Cable : Issy les Moulineaux, Lyon et Marseille. L'indice France est une moyenne des mesures de ces trois villes

Critères pris en compte et principes d'évaluation

1. Disponibilité du service :
La disponibilité du service est déterminée par le taux de réussite des tests. Un test est considéré comme réussi lorsque le robot appelant (robot VoIP) a pu joindre le robot répondeur et que la qualité d'écoute (PESQ-LQ) durant la conversation était « acceptable » (MOS > 2,5).

L'avis concernant la disponibilité du service repose sur la nomenclature suivante :
- Plus de 99,9 % : * * *
- de 98,5 % à 99,9 % : * *
- Moins de 98,5 % : *

2. Délai d'obtention de la tonalité (Post Dialing Delay - PDD) :
Le PDD est le délai compris entre la fin de la numérotation et la réception du premier train de sonnerie.

Le délai d'obtention de la tonalité est apprécié de la manière suivante :
- PDD < 2 secondes : * * *
- PDD compris entre 2 et 3 secondes : * *
- PDD > 3 secondes : *

3. Qualité perceptuelle de la voix :
L'analyse des dégradations de la voix est réalisée au moyen des algorithmes PESQ qui comparent le message délivré par le répondeur et enregistré par le robot VoIP avec un message de référence normalisé (1).

La qualité perçue de la voix est restituée sous forme d'une note PESQ (2) (Perceptual Evaluation of Speech Quality) de type MOS "Mean Opinion Score" (de 1 à 5, avec 5 = qualité parfaite).

La qualité de la voix est appréciée de la manière suivante :
- PESQ compris entre 4 et 5 : * * *
- PESQ compris entre 3 et 4 : * *
- PESQ inférieur à 3 : *

4. Stabilité de la Qualité sur la durée de la conversation :
Afin d'apporter un éclairage complémentaire à la valeur moyenne du PESQ-MOS sur la conversation, Witbe calcule un indice de stabilité de la qualité durant la conversation.

De cet indice de stabilité, Witbe décline un indicateur PMS (part de mesures parfaitement stables). Il est évaluée de la manière suivante :
- PMS compris entre 95 % et 100 % : * * *
-  PMS compris entre 90 % et 95 % : * *
-  PMS inférieur à 90 % : *

Notes :

(1) Le message audio utilisé pour le calcul du PESQ est conçu conformément aux spécifications ITU-T P.862. La durée du fichier utilisé par Witbe est de 14 secondes. Afin de réaliser les tests longs, le robot évalue 10 écoutes successives de ce fichier de référence.

(2) PESQ (Perceptual Evaluation of Speech Quality - évaluation perceptuelle de qualité de la parole) est un indice défini par l'Union Internationale des Télécommunications (ITU) pour évaluer la qualité perçue de la voix (ITU-T P.862/P.862.1). Le PESQ est capable de déterminer la qualité subjective de la voix et d'identifier l'origine des dégradations : coupures, atténuations, bruits, etc.
La valeur du PESQ est indiquée sous la forme d'une note de type MOS "Mean Opinion Score" comprise entre 1 et 5, avec :
5 : excellent
4 : bon
3 : correcte
2 : pauvre
1 : mauvais