Cotonou, Benin, 16-17 July 2012 Country example of QoS measurement of voice service Case of Morocco Hassan TALIB, Vice-Chair ITU-T SG 12, [email protected]@anrt.ma

Cotonou, Benin, 16-17 July 2012

Country example of QoS measurement of voice serviceCase of Morocco

Hassan TALIB,Vice-Chair ITU-T SG 12,

[email protected] // [email protected]

ITU Workshop on “Workshop on Practical measurement of QoS/QoE

Parameters for Regulatory Compliance”

(Cotonou, Benin, 16-17 July 2012)

mailto:[email protected]



Plan de la présentation

La QoS des télécommunications au MarocUn protocole de mesures de la QoS voix :

Choix d’une méthode subjective,Liste et définitions des indicateurs,Méthodologie de mesures :

Définition d’une mesure QoS voix,Echantillon et considérations statistiques,

Organisation et déroulement,Traitement des résultats.

Recommandations aux régulateurs/Op.


Tous les opérateurs ont des engagements explicites en matière de QoS

La QoS des télécommunications au Maroc

OpérateursVSAT

OpérateursVSAT

OpérateursGMPCS

OpérateursGMPCS

OpérateursRadio Trunk Opérateurs

Radio Trunk ISPISP Opérateurs Fixe et mobile

Opérateurs Fixe et mobile

Opérateur Fixe avec mobilité restreinte

Opérateur Fixe avec mobilité restreinte

Fixe et mobile: oligopole

SPACECOM

GULFSAT

CIMECOM

SPACECOM

GULFSAT

CIMECOM

MAROC TELECOM

MEDITELECOM

MAROC TELECOM

MEDITELECOM EUROPEAN DATACOM

GLOBALSTAR

ORBCOMM

SOREMAR

THURAYA

EUROPEAN DATACOM

GLOBALSTAR

ORBCOMM

SOREMAR

THURAYA

INQUAM MORATELINQUAM MORATEL

DuopoleOligopoleoligopole Concurrence ouverte

MAROC TELECOM

MAROC CONNECT(WANA)

MEDITELECOM

ISPs

MAROC TELECOM

MAROC CONNECT(WANA)

MEDITELECOM

ISPs

MAROC CONNECT(WANA)

MAROC CONNECT(WANA)



l’ANRT exerce un suivi

régulier de la QoS

Un cadre réglementaire national :-Attributions-Obligations QoS des opérateurs

Un cadre réglementaire international (normes) :-UIT-T : séries E, G, P, Y, QoS handbook, ...-Régionales : ETSI (série EG), IEEE,…

Un benchmark des meilleurs pratiques et une veille technologique

Retour d’usage :-Plaintes,-Presse,-Associations des consommateurs,-…

Analyse des données reçues des opérateurs en termes de performances, KPI et mesures QoE

Mesures terrain (campagnes) réalisées par

l’ANRT


Evolution du service voix téléphonie mobile au Maroc










La qualité de service privilégie des modèles de référence (standards UIT-T : E, I, G, P, Y… ou ETSI : ETSI TS 102 250-x), portant sur des niveaux de performance du service offert et des méthodes d’évaluation. Les modèles et les méthodes sont supposés être cohérents avec les attentes des usagers.

Pour le service voix, les exigences de QoS peuvent être liées à plusieurs aspects résumés en sa disponibilité, son accessibilité, sa continuité et sa fiabilité.

Protocole de mesures de la QoS voix Choix d’une méthode subjective


Protocole de mesures de la QoS voix Choix d’une méthode subjective

Vision opérateur Vision régulateur

Motivation Economique

Concurrentielle

Réglementation et régulation

Centre d’intérêt (usagers)

Fidélisation des usagers (churn) et attraction de nouveaux

(Concept SLA)Protection des usagers

Evaluation Interne (différentes composantes du réseau)

KPI

Externe (de bout en bout : service tel que perçu au

quotidien par les usagers)

Outils d’évaluation

- Compteurs machines internes au réseau (méthodes objectives)

- DTS

(Méthodes objectives)

- Mesures et enquêtes par méthodes subjectives

- DTS

(Méthodes subjectives)

Nécessité d’harmoniser les définitions des indicateurs entre les opérateurs et le régulateur.









Protocole de mesures de la QoS voix Liste et définitions des indicateurs

Taux Indicateur Définition

TR Taux de communications

réussies et maintenues pendant 2 minutes

Une communication est considérée comme réussie si l’appel lancé aboutit dès la première tentative et si la communication est maintenue 2 minutes sans coupure. Le

taux (TR) est le rapport entre le nombre de communications réussies et le nombre total des tentatives appels effectuées.

TR

Parfaite Taux de communications

réussies et maintenues 2 minutes et de qualité

auditive parfaite

Une communication est considérée comme réussie et de qualité parfaite si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les deux

interlocuteurs est parfaite (comparable à la qualité d’une communication directe).

Acceptable

Taux de communications


auditive acceptable

Une communication est considérée comme réussie et de qualité acceptable si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les deux

interlocuteurs est légèrement perturbée sans toutefois gêner la conversation.

Médiocre Taux de communications


auditive médiocre

Une communication est considérée comme réussie et de qualité Médiocre si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les deux

interlocuteurs est fréquemment gênée dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre.

Mauvaise Taux de communications


auditive mauvaise

Une communication est considérée comme réussie et de qualité dégradée si elle est réussie au sens du premier indicateur et s’il est très difficile de s’entendre, la

conversation est impossible.

TC Taux de communications

coupées

Une communication est considérée comme coupée si, à la première tentative, elle est établie et maintenue plus de 5 secondes, mais coupée avant 2 min. Le taux (TC)

est le rapport entre le nombre de communications coupées et le nombre total des tentatives appels effectuées.

TE Taux de communications

échouées

Une communication est considérée en échec si à la première tentative, elle n’est pas établie ou n’a pas été maintenue, plus de 5 secondes. Le taux (TE) est le rapport entre le nombre de communications échouées et le nombre total des tentatives

appels effectuées.

TR + TE + TC = 100% et TNR = TE + TC


Protocole de mesures de la QoS voix Liste et définitions des indicateurs

Evaluation subjective de la qualité auditive : définitions des défauts de communication vocale

Défaut Définition

Voix faible Niveau reçu sensiblement plus faible que le niveau normal

Echo Retour de son émis distinct en simultané

Bruit métallique Bruits hachés comparables à des bruits métalliques

Grésillement Bruits de friture

Microcoupures Petites interruptions du son donnant une perception de hachage

Silence Blanc assez long

Distorsion Déformation de la voix distante sans autre bruit









Protocole de mesures de la QoS voix Méthodologie de mesures

Une mesure de la QoS doit nécessairement se dérouler dans une zone couverte à la fois par tous les réseaux mobiles concernés. Mesure de la QoS est différente de la mesure de la couverture.

Une mesure de la QoS voix consiste à tenter d’établir une communication de l’enquêteur mobile vers l’enquêteur fixe en vue de vérifier l’aboutissement de l’appel (absence d’échec) et le maintien de la communication pendant deux minutes (absence de coupure) et évaluer la qualité auditive de la communication établie.

Chaque réseau est testé par un “ binôme ” d’enquêteurs, l’un mobile et l’autre fixe.





Une communication est considérée comme coupée si, à la première tentative :

elle est établie et maintenue plus de 5 secondes, mais coupée avant 2 minutes.

Une communication est considérée en échec si :

à la première tentative (temps d’attente maximum est de 15 secondes), elle n’est pas établie, ou n’a pas été maintenue plus de 5 secondes.



Précautions à prendre :Outdoor : éviter de faire les mesures sous les arbres.

Indoor : en profondeur dans les immeubles et jusqu’au 8ème étage.

Incar : utiliser des terminaux sans antennes supplémentaires et rouler avec une vitesse inférieur à 80km/h.

Forcer les terminaux sur la 2G en cas d’utilisation de postes bimodes.

Tous les points de mesures doivent être couverts.



Echantillon et considérations statistiques :

Durée moyenne d’une mesure : 7 mn,Durée moyenne de mesures est par jour : 8H à 10H (Exemple : 09H00-13H00 et 14H-20H),Quotidiennement (par équipe) : 85 mesures x Nombre d’opérateurs ; Pour 3 opérateurs : 255 mesures par jour,



Echantillon et considérations statistiques :

Element de répartition: Par opérateur, Par site (villes, autoroutes, routes nationales, axes ferrovières), par configuration (Indoor, Outdoor, Incar), par destination du trafic (OnNet et OffNet).Grands nombres pour assurer un échantillon significatif (erreur statistique d’environ 2%) : les valeurs elementaires après toute répartition doivent être suppérieures à 33.










Organisation et déroulement :

Décider de réaliser par des ressources propres ou sous-traitance maîtrisée,Sélectionner efficacement les enquêteurs (mobiles et fixes) et animer une formation pointue,Se concerter avec les opérateurs sur la méthodologie mais non pas l’échantillon et le planning de chaque campagne,




Développer un guide de l’enquêteur avec des formulaires (templates) à servir par l’enquêteur : Réf., temps, coordonnées GPS, destinataire, résultats,…

Utiliser le principe de codification : opérateur, site, configuration, trafic,…




Garantir toutes les conditions pour que chaque mesure se déroulera exactement dans les mêmes conditions pour tous les opérateurs : temps, espace, méthode,…

Faire un nombre importants de tests à blanc pour le calibrage de tout le système de test.










Traitement des résultats : (Livrables)

Tendance en indicateur “positif” : taux de réussite.Tendance en indicateur “négatif” : taux de non-réussite = TE+TC.Rapports :

Rapport global : référence,Rapport spécifique à chaque opérateur

(demande de plan d’actions des corrections),Rapport pour publication.









Conclusions et Recommandations

Recommandation n°1Concertation permanente avec les opérateurs en amant sur la méthodologie : financement des campagnes. Adoption d’un protocole concerté de références pour les mesures.

Recommandation n°2Usage positif des résultats par les opérateurs (considérer les sanctions comme dernier recourt).


Conclusions et Recommandations

Recommandation n°3Publication des résultats de mesures,Proposition d’un scénario :

1ère campagne voix sur un échantillon large (trentaine de villes, autoroutes, routes nationales et axes ferroviaires).1er trimestre de l’année

2ème campagne similaire à la première basée pratiquement sur le même échantillon.4ème trimestre de l’année

(Publication des résultats)

Communication des résultats aux opérateurs

Délai de 5 à 6 mois pourcorrection des anomalies

identifiées par l’ANRT


Conclusions et Recommandations Recommandation n°3 (bis)

Publication des résultats de mesures

Taux de réussite global (On-Net et Off-Net) par site de mesures et par opérateur

Site de mesures TMR Operateur 1 Operateur 2 Opérateur 3)

Tous les sites 95,32% = = =

Villes 96,78% = = =

Autoroutes 95,68% = - - +

Routes nationales 96,03%

+ = =

Axes ferroviaires 87,00%

= = =

TMR

- - - - - - = = + + + + + +

TMR×0,95 TMR×0,98 TMR×0,99 TMR×1,01 TMR×1,02 TMR×1,05

Le TMR est égal à la moyenne des taux de réussite (TR) enregistrés par chacun des trois opérateurs :

TMR


Merci pour votre attentionQuestions/Réponses

[email protected] // [email protected]



Documents

Cotonou, Benin, 16-17 July 2012 Country example of QoS measurement of voice service Case of Morocco Hassan TALIB, Vice-Chair ITU-T SG 12, [email protected]@anrt.ma