Comparatif des fournisseurs d'accès : méthodologie

La qualité mesurée des performances des fournisseurs d'accès haut débit réalisée par Witbe ne vaut naturellement que pour la période de temps concernée et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès testés. Dans la mesure où les tests sont réalisés depuis un seul point de mesure (Courbevoie (92) pour les accès ADSL et Paris 15ème pour UPC-Noos), les résultats publiés ne peuvent de même s'extrapoler au niveau national.

SOMMAIRE   Guide de l'accès   Comparatif RTC   Toutes les offres ADSL

Objectif de l'étude
L'objectif du banc d'essai des FAI Witbe-Le Journal du Net-L'Internaute Magazine est de fournir aux internautes des indicateurs objectifs sur la qualité des services d'accès Internet haut débit des principaux fournisseurs d'accès Internet du marché français.
La qualité d'un FAI est évaluée suivant deux axes :
· La qualité de la connexion : disponibilité de la connexion
· La qualité des usages les plus courants au travers de cette connexion : websurfing, téléchargement de fichiers, et prochainement messagerie.

Les FAI sont classés en fonction d'un indice de performance globale (sur 100) synthétisant la qualité de la connexion et des usages constatés par Witbe. La qualité mesurée ne vaut naturellement que pour la période de temps concerné et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès testés.
La technologie Witbe, sa méthodologie de test (cibles, fréquences etc) et les grilles de scoring utilisées pour le classement sont reconnus et validés par les principaux fournisseurs d'accès.

Panels des offres haut débit testées
Dans le cadre de cette étude Witbe teste les pack modem ADSL2+ et les offres câbles de débit IP équivalent.

Les éventuelles fonctions téléphonie et télévision ne sont pas activées.

Périmètre géographique des tests
Les tests des FAI ADSL sont réalisés depuis un point de mesure unique situé à Courbevoie (92). UPC-Noos est testé depuis Paris (15ème arrondissement).

Les robots Witbe utilisés pour cette étude
Les tests sont conduits de manière automatique, 24 heures sur 24 et 7 jours sur 7, par les robots Witbe (sous Windows XP).

Witbe utilise un robot par fournisseur. Tous les robots sont identiques au niveau hardware, OS, logiciels du marché et logiciels Witbe.
Seul AOL dispose d'une spécificité : l'installation et l'utilisation de son kit AOL9 (pour la connexion, le websurfing et la messagerie). Pour les autres FAI, les connexions sont configurées manuellement (sans le kit d'installation) en suivant les recommandations des FAI. Par ailleurs, afin de disposer de configurations les plus proches possible de celles des utilisateurs, nous avons modifié les principaux paramètres systèmes (MTU, RWIN etc) conformément à ce qu'auraient fait les kits d'installation.

Principales caractéristiques de ces robots : Serveur 1U, processeur à 2,8 Ghz avec 1 Go de RAM , Windows XP SP2, Internet Explorer 6

Procédure générale des tests
Le banc d'essai repose sur l'exécution d'une session de tests identique toutes les 15 minutes, 24 heures sur 24 et 7 jours sur 7.
Cette session comporte :
- Un test de disponibilité réseau visant à déterminer le taux de réussite des connexions
- Le chargement consécutif de dix pages Web
- Le teléchargement d'un fichier d'un poids significatif depuis un serveur neutre basé en France
- Et prochainement un test de disponibilité des systèmes de messagerie (envoi et réception) vis-à-vis d'un destinataire neutre, externe à tous les FAI.

Compte tenu des deux modes de connexions existants dans le panel (modem et modem-routeur), la nature des tests de disponibilité réseau est adaptée au contexte :
- Pour les FAI connectés via modem, le robot établit la connexion (fonction accès réseau à distance pour Neuf telecom et kit AOL9 pour AOL) puis s'assure de la capacité à sortir du réseau du FAI.
- Pour les FAI connectés en mode routeur, le test de disponibilité consiste à s'assurer de la capacité à sortir du réseau du FAI.

Le chargement des dix sites Web est réalisé après avoir vidé le cache d'Internet Explorer et sans bloquer les pop-up, via Internet Explorer 6 pour la plupart des FAI, et via le client AOL9 pour AOL.

SOMMAIRE   Guide de l'accès   Comparatif RTC   Toutes les offres ADSL

Panel de sites web et Serveur référent pour le téléchargement
Le banc d'essai repose sur l'exécution d'une session de tests identique toutes les 15 minutes, 24 heures sur 24 et 7 jours sur 7.
Cette session comporte :
- Un test de disponibilité réseau visant à déterminer le taux de réussite des connexions
- Le chargement consécutif de dix pages Web
- Le teléchargement d'un fichier d'un poids significatif depuis un serveur neutre basé en France
- Et prochainement un test de disponibilité des systèmes de messagerie (envoi et réception) vis-à-vis d'un destinataire neutre, externe à tous les FAI.

Compte tenu du mode de connexion permanent, le test de disponibilité de la connexion consiste à s'assurer de la capacité à sortir du réseau du FAI.

Le chargement des dix sites Web est réalisé sans vider le cache d'Internet Explorer et en bloquant les pop-up, via Internet Explorer 6 pour la plupart des FAI, et via le client AOL9 pour AOL.

Composition de l'indice de performance globale
Le classement des FAI se base sur l'indice de performance globale P de chaque FAI. L'indice maximum est de 100.
P = C + U où :
C = indice de qualité de la connexion (sur 50)
U = indice de qualité des usages (sur 50)
Plus P est élevé, meilleur est, d'un point de vue technique et dans les conditions de nos tests, le service proposé par le FAI.

Les principes d'évaluation et de notation des FAI présentés ci-après sont le fruit d'un travail collaboratif entre Witbe, Le Journal du Net et les FAI.

Composition de l'indice de performance (P) sur 100 :

Principes de calcul des scores des FAI sur chacun des critères

Indice "Disponibilité" ( /50)
Il s'obtient par la formule suivante : 0,5 * (taux de réussite) - Malus :

Indice Web (/25)
La méthode de scoring utilisée pour les tests Web est relative. La performance Web d'un FAI est alors évaluée en comparant son temps de chargement avec celui du plus rapide et avec la moyenne du panel. La comparaison au meilleur et à la moyenne ont un poids identique de 50%.
- Ecart au meilleur : le meilleur obtient le maximum de points soit : [50%*25]. Les points obtenus par les autres dépendent de leur écart relatif au meilleur.
- Respect de l'état de l'art : un FAI affichant un temps de chargement égal à la moyenne du panel obtiendra la moitié des points associés au critère soit : [(50%*25)/2]. Les points obtenus dépendent de l'écart relatif à la moyenne.

Indice Téléchargement sur la plage horaire 17h-23h (/25)
L'indice de téléchargement est calculé sur la base du taux d'atteinte de l'objectif de débit (7,7 Mbit/s IP) aux heures chargées : entre 17h et 23h. Ainsi lors de chaque session (toutes les 15min, 7j/7) sur cette plage horaire, nous contrôlons que le débit délivré est au moins égal à 7,7 Mbit/s IP (valeur atteignable par tous les acteurs). Le taux d'atteinte de l'objectif correspond au nombre de fois où l'objectif est atteint sur le nombre total de test. L'indice de téléchargement est obtenu en divisant cet indice par 4.

Le temps de déroulement de la navigation de référence correspond au temps nécessaire au chargement consécutif de toutes les pages constituant le scénario de test.

SOMMAIRE   Guide de l'accès   Comparatif RTC   Toutes les offres ADSL

Les indicateurs délivrés
Le nombre d'échecs de connexion correspond au nombre de fois où il a été impossible de se connecter au FAI. Une connexion est réputée réussie si la connexion technique est effective (réception de l'adresse IP) et que nous avons de la bande passante internet.

Le taux de réussite des connexions  correspond au rapport entre le nombre de tentatives ayant abouti sur le nombre total de tentatives (4 par heure en ADSL 24h/24 et 7j/7).

Le temps de déroulement de la navigation de référence correspond au temps nécessaire au chargement consécutif de toutes les pages constituant le scénario de test (dix pages au total).

Le taux d'atteinte de l'objectif de débit correspond au nombre de fois où l'objectif de 7,7 Mbit/s est atteint sur le nombre total de tests réalisés entre 17h et 23h, 7j/7.

Processus de publication
Les résultats du benchmarking sont communiqués simultanément par Witbe au Journal du Net et aux fournisseurs d'accès ainsi testés. Ces derniers ont un délai de trois jours ouvrables pour apporter, s'ils le souhaitent, les précisions ou commentaires de leur choix qui seront alors apportés à la