Banc d'essai des FAI : la méthodologie
Le banc d'essai mensuel des fournisseurs d'accès Internet est réalisé par la société Witbe pour L'Internaute et Le Journal du Net. Voici les détails de la méthode et des techniques utilisées pour arriver aux résultats publiés.

Qui est Witbe ?

Qui est Witbe ?
Witbe (www.witbe.net) édite pour les entreprises les solutions logicielles complètes qui permettent de gérer la performance des systèmes d'information.
Les outils Witbe mesurent de bout en bout la qualité délivrée à l'utilisateur, alertent et diagnostiquent en cas de dysfonctionnement, fournissent des indicateurs adaptés aux directions informatiques et aux maîtrises d'ouvrage pour les aider dans leurs prises de décisions stratégiques.
Plus de 300 grandes entreprises utilisent quotidiennement les technologies Witbe pour contrôler et optimiser la qualité de leur système d'information dans le monde entier.

Objectif de l'étude
L'objectif du banc d'essai des FAI Witbe-Le Journal du Net-L'Internaute Magazine est de fournir aux internautes des indicateurs objectifs sur la qualité des services d'accès des principaux fournisseurs d'accès Internet du marchéfrançais.
La qualité d'un FAI est évaluée suivant deux axes :
· La qualité de la connexion : disponibilité de la connexion et temps d'établissement de la connexion,
· La qualité des usages les plus courants au travers de cette connexion : websurfing, téléchargement de fichiers, et prochainement messagerie.

Les FAI sont classés en fonction d'un indice de performance globale (sur 100) synthétisant la qualité de la connexion et des usages constatés par Witbe. La qualité mesurée ne vaut naturellement que pour la période de temps concerné et ne présage en aucune façon de la qualité permanente des fournisseurs d'accès testés.
La technologie Witbe, sa méthodologie de test (cibles, fréquences etc) et les grilles de scoring utilisées pour le classement sont reconnus et validés par les principaux fournisseurs d'accès.

Panels et offres testées
Le banc d'essai porte sur deux catégories d'accès :
les accès par modem RTC (V92, 56k)
les accès ADSL à 1024K.

Dans le cadre du banc d'essai modem, Witbe teste les forfaits des FAI en utilisant un modem V92 générique.

Pour les tests ADSL 1024K, Witbe teste les Pack Modem des FAI. Dans le cas de Free, Witbe teste la FreeBox sans utilisation de la fonction télévision.
Les différents FAI testés ont été sélectionnés en fonction de leur importance sur le marché mais aussi de la faisabilité technique des mesures. Aussi dans le cas spécifique d'AOL et de son environnement propriétaire, Witbe travaille en collaboration avec les équipes techniques du FAI afin d'adapter sa technologie de test. AOL rejoindra donc prochainement nos bancs d'essai modem et ADSL 1024K, une fois la technologie de test validée.

Périmètre géographique des tests
Les tests sont réalisés depuis un point de mesure unique situé à Courbevoie (92). Les Robots Witbe sont installés dans un data center « carrier class ». Courbevoie est en zone dégroupable pour tous les FAIs.

Procédure générale des tests
Les tests sont conduits de manière automatique, 24 heures sur 24 et 7 jours sur 7, par les robots Witbe (sous Windows XP).

Toutes les 15 minutes en ADSL et toutes les 30 minutes en RTC, les robots se connectent aux FAIs au moyen du service d'accès réseau à distance de Windows :
- Ils analysent le processus de mise en communication (PPP/PPoE) et détectent les éventuels échecs de connexion ; Une connexion est réputée disponible si nous avons pu nous connecter et que nous disposons d'un accès opérationnel à l'internet, c'est-à-dire si nous pouvons sortir du réseau du FAI.
- Ils reproduisent les usages prévus pour le test et en mesurent les performances : téléchargement d'un fichier type, chargement de pages web etc.
A la fin de chaque session de test, le robot se déconnecte ... sauf dans le cas de Free DSL (FreeBox) où l'accès est véritablement permanent (adresse IP fixe).

Panel de sites web et Serveur référent pour le téléchargement
Les tests de websurfing consistent dans le chargement successif des homepages d'un panel de sites web de renom au travers d'Internet Explorer 6. Avant chaque visite sur les sites, le cache du navigateur et les cookies sont vidés. L'utilisateur Witbe profite uniquement des éventuels systèmes de cache transparents du FAI.
- en RTC, 5 homepages : tf1.fr, google.fr, sncf.com,download.com et microsoft.com/france.
- en ADSL, 10 homepages : les 5 chargées en RTC auxquelles s'ajoutent lemonde.fr, real.com, fnac.com, boursorama.com, yahoo.fr

Test de téléchargement sur le "périmètre de responsabilité des FAI + 1 saut".
En matière de bande passante (débit) ou temps de réponse, la responsabilité du FAI porte sur le périmètre qu'il peut maîtriser à savoir son infrastructure nationale et ce jusqu'à l'internet global (pouvant être matérialisé par un nœud d'échange par exemple). Pour ce banc d'essai, afin de mesurer le débit délivré sur un périmètre national incluant la sortie Internet, nous réalisons nos tests de téléchargement sur un serveur neutre (hors des réseaux des FAIs ou de leurs opérateurs) accessible sans cascades et interconnecté avec quasiment tous les réseaux Internet français.

Ainsi nous mesurons les performances délivrées sur le périmètre de responsabilité des FAI + 1 saut.
Dans le cadre des tests de téléchargement RTC, le poids du fichier est de 300 Ko. Dans le cadre des tests ADSL, il est de 3,5 Mo.

Composition de l'indice de performance globale
Le classement des FAI se base sur l'indice de performance globale P de chaque FAI. L'indice maximum est de 100.
P = C + U où :
C = indice de qualité de la connexion (sur 50)
U = indice de qualité des usages (sur 50)
Plus P est élevé, meilleur est, d'un point de vue technique et dans les conditions de nos tests, le service proposé par le FAI.

Les principes d'évaluation et de notation des FAI présentés ci-après sont le fruit d'un travail collaboratif entre Witbe, Le Journal du Net et les FAI.

La méthode de scoring utilisée est relative. Pour la plupart des critères les résultats d'un FAI sont évalués en comparaison avec les résultats du meilleur et les résultats moyens du panel. Dans le cadre de l'évaluation de la performance en matière de téléchargement, nous ajoutons une 3ème composante essentielle : le taux d'atteinte des débits théoriques.
Cette approche permet ainsi d'évaluer la qualité de chaque FAI en prenant en compte à la fois l'objectif ultime d'être le meilleur et l'état de l'art du marché en matière de performance.

Composition de l'indice de performance (P) sur 100 :

Principes de calcul des scores des FAI sur chacun des critères

Indice "Disponibilité" ( /47,5 ou /50)
Le calcul de cet indice est indépendant des résultats des autres FAIs. Il s'obtient par la formule suivante :
- en RTC  = 0,475 * (taux de réussite);
- en ADSL = 0,5 * (taux de réussite).
Important : Si le taux de réussite est inférieur au seuil fatidique de 98,5%, des malus forfaitaires sont appliqués sur cet indice :
- 4 points si le taux est compris entre 95% et 98,5%;
- 8 points si le taux est compris entre 90% et 95%;
- 12 points si le taux est inférieur à 90%.

Indice "Temps d'établissement de la connexion" (/2,5 en RTC)
Ce critère n'est pris en compte que dans la catégorie modem. Il dépend de l'écart du FAI par rapport au meilleur du panel (pour 80%) et par rapport à la moyenne (20%).
- Ecart au meilleur : le meilleur obtient le maximum de points soit : [80%*2,5]. Les points obtenus par les autres dépendent de leur écart relatif au meilleur.
- Respect de l'état de l'art : un FAI se connectant en un temps égal à la moyenne du panel obtiendra la moitié des points associés au critère soit : [(20%*2,5)/2]. Les points obtenus dépendent de l'écart relatif à la moyenne.

Indice Web (/25)
Il dépend de l'écart du FAI par rapport au meilleur du panel (pour 80%) et par rapport à la moyenne (20%).
- Ecart au meilleur : le meilleur obtient le maximum de points soit : [80%*25]. Les points obtenus par les autres dépendent de leur écart relatif au meilleur.
- Respect de l'état de l'art : un FAI affichant un temps de chargement égal à la moyenne du panel obtiendra la moitié des points associés au critère soit : [(20%*25)/2]. Les points obtenus dépendent de l'écart relatif à la moyenne.

Indice Téléchargement (/25)
En matière de débit, nous considérons que le critère essentiel est l'atteinte du débit théorique de la ligne, "le respect de la promesse marketing". Cette composante compte ainsi pour 75% de l'indice Téléchargement. Les comparaisons aux résultats du meilleur et à l'état de l'art comptent chacune pour 12,5% de cet indice.
- Atteinte du débit théorique : Le nombre de points obtenus dépend du taux d'atteinte du débit théorique. Un FAI offrant 100% du débit théorique obtient le maximum de points soit : [75%*25].
- Respect de l'état de l'art : un FAI offrant un débit égal à la moyenne du panel obtiendra la moitié des points associés au critère soit : [(12,5%*25)/2]. Les points obtenus dépendent de l'écart relatif à la moyenne.
- Ecart au meilleur : le meilleur obtient le maximum de points soit : [12,5%*25]. Les points obtenus par les autres dépendent de leur écart relatif au meilleur.

Remarques :
- Dans le cadre des tests modem, la vitesse maximale théorique prise en compte est la vitesse d'accroche modem maximale constatée sur le panel pour la période (56k, généralement entre 48 et 50k).
- Dans le cadre des tests ADSL, la vitesse maximale retenue est 1024K y compris pour Free dont le débit réel est supérieur à 1024K. Ce FAI obtient  ainsi toujours (sauf accident majeur) 100%des points associés au respect du débit théorique.

Les indicateurs délivrés
Le nombre d'échecs de connexion correspond au nombre de fois où il a été impossible de se connecter au FAI. Une connexion est réputée réussie si la connexion technique est effective (réception de l'adresse IP) et que nous avons de la bande passante internet. Dans le cas de Free DSL, dans la mesure où nous avons une adresse IP fixe, nous testons simplement le fait que nous avons de la bande passante internet.

Le taux de réussite des connexions  correspond au rapport entre le nombre de tentatives ayant abouti sur le nombre total de tentatives (4 par heure en ADSL et 2 par heure en RTC, 24h/24 et 7j/7).

Le temps de déroulement de la navigation de référence correspond au temps nécessaire au chargement consécutif de toutes les pages constituant le scénario de test.

Le temps d'établissement de la connexion correspond au temps nécessaire pour pouvoir disposer d'une connexion "utile". Au delà des habituelles notions techniques qui arrêtent la mesure de temps à la réception de l'adresse IP, nous avons opté pour une optique "utilisateur" en nous basant sur les messages renvoyés par Windows et indiquant que nous sommes effectivement connectés.

Enfin, le débit (Kb/s) correspond à la vitesse de transfert en download du fichier chargé depuis le serveur référent.

Processus de publication
Les résultats du benchmarking sont communiqués simultanément par Witbe au Journal du Net et aux fournisseurs d'accès ainsi testés. Ces derniers ont un délai de trois jours ouvrables pour apporter, s'ils le souhaitent, les précisions ou commentaires de leur choix qui seront alors apportés à la connaissance des internautes.