Évolution de l'infrastructure de RENATER :
RENATER-5

Jérôme Durand

GIP RENATER

151 Bd de l'Hôpital

75013 PARIS



Franck Simon

GIP RENATER

151 Bd de l'Hôpital

75013 PARIS


Résumé

Depuis fin 2008, le réseau RENATER est entré dans sa cinquième génération, conçue pour répondre aux besoins toujours plus exigeants de la communauté Education et Recherche française, en termes de débit, de services et de fiabilité.

Le réseau RENATER-5 est basé sur une infrastructure optique (fibres optiques noires) sur laquelle sont activées des longueurs d'ondes utilisées pour le transport du trafic IP ou dédiées à de grands projets de recherche. Divers équipements de routage ont été mis en œuvre sur cette infrastructure. Alors que des tera-routeurs ont été déployés sur les nœuds de cœur du réseau, des commutateurs/routeurs ont été installés sur la plupart des points d'accès.

Ce déploiement massif de liaisons, d'équipements DWDM, de routeurs et de commutateurs, a dû intégrer des contraintes fortes de réutilisation du matériel existant et la résolution de challenges techniques, notamment pour la partie optique.

Mots clefs

RENATER-5, fibres optiques noires, DWDM, longueur d'onde, IPv6, multicast, MPLS, VPN, BGP, haute-disponibilité

1Introduction

Déployé depuis fin 2008, le réseau RENATER-5 est un formidable outil de communication pour la communauté Recherche et Education en France. Basé sur une infrastructure de fibres optiques noires, activées par des équipements optiques DWDM, l'architecture RENATER-5 mise en place est capable de répondre pour les années à venir aux besoins croissants des usagers en termes de débit : de nouvelles longueurs d'ondes peuvent être ajoutées tant pour le transport du trafic IP que pour des besoins spécifiques en rapport avec de grands projets de recherche.

Après avoir présenté le réseau (liaisons, équipements et topologie), l'article reviendra sur la phase de déploiement. Avec l'enchaînement des phases de construction de l'infrastructure de fibres optiques, d'installations d'équipements DWDM puis de mise en place des routeurs et/ou commutateurs, ce déploiement s'est étalé au total sur près de 6 mois. En dernier lieu les services réseau et leur ingénierie seront présentés.

2Le réseau RENATER-5

2.1Un réseau de fibres optiques noires

RENATER-4 a permis d'acquérir une expérience sur l'opération d'un réseau DWDM1 sur fibres noires, dans la mesure où près de 3 000 km de fibres noires ont été activées. En service entre 2005 et 2008, ce réseau hybride utilisait des services de liaisons louées SDH 2,5 Gbit/s pour le trafic IP, et reposait sur une infrastructure DWDM sur fibres noires pour des projets nécessitant des débits importants (de l'ordre de 10 Gbit/s). Dans un but de diminution des coûts mais aussi afin de permettre une évolution des débits sur les différents axes, RENATER-5 est maintenant majoritairement basé sur une seule infrastructure optique avec des longueurs d'ondes à 10 Gbit/s pour le transport trafic IP dit de « production » et des longueurs d'ondes spécifiques pour les grands projets de recherche.

S'il a été possible de disposer de fibres optiques noires sur la plupart des axes, il a été nécessaire de conserver certaines liaisons STM-16 (2,5 Gbit/s) faute d'offre acceptable pour les NR2 de Limoges, Pau et Corte. Pour ce dernier NR, la contrainte est surtout liée aux technologies des transmissions sous-marines qui imposent une gestion couplée des infrastructures FON3 et des équipements actifs (DWDM, SDH...) : l'opérateur du câble devant assurer lui-même l'amplification des signaux, il éclaire lui-même les fibres afin de s'affranchir de toute incompatibilité qui pourrait exister entre les divers équipements actifs de la liaison.

Les liaisons FON ont été acquises soit sous forme d'IRU4 de 10 ans (droit inaliénable d'usage), soit sous forme de location. Un nouveau déploiement majeur a été mené pour le renouvellement de ces dernières (phase RENATER-5bis). Cette nouvelle étape permet une optimisation complémentaire (en termes de coûts notamment) et consolide davantage des options de type IRU par rapport aux locations annuelles récurrentes.

Figure 1 - Les fibres noires sur RENATER-5

Des études techniques ont aussi été menées pour redonder certains NR. Il est apparu que les solutions techniques à mettre en place et surtout les coûts associés (fibres et équipements) étaient disproportionnés au regard du gain de disponibilité apporté pour les NR concernés. A cet effet un historique complet des incidents et coupures avait confirmé cette analyse de risque. En revanche l'axe principal Paris-Lyon a été redondé avec 2 nouveaux points de présence interconnectés. Le deuxième point de présence de Paris est également connecté au SFINX, à GEANT et à l'infrastructure d'Ile-de-France.

2.2L'infrastructure DWDM

Le constructeur retenu pour les équipements DWDM de RENATER-5 est CIENA. Des châssis CN4200, équipements de type « métropolitain », ont été déployés sur la majeure partie des NR. Ils ont parfois nécessité l'installation d'amplificateurs Raman (au lieu d'amplificateurs EDFA5 plus communément utilisés) sur les liaisons les plus longues pour éviter de devoir régénérer le signal entre deux NR. La régénération, qui consiste à reconvertir chaque longueur d'onde en signal électrique « propre » pour ensuite le ré-émettre est non seulement très coûteuse, mais en plus son coût est évidemment proportionnel au nombre de longueurs d'ondes activées. Au final la régénération du signal n'est nécessaire que sur deux liaisons uniquement.

Les équipements DWDM ALCATEL-LUCENT de RENATER-4 ont été conservés et redéployés sur les boucles Est et Nord du réseau afin d'avoir un sous-ensemble DWDM cohérent et éviter ainsi autant que possible le chaînage d'équipements optiques de plusieurs constructeurs différents. Les contraintes inhérentes à ce redéploiement sont détaillées dans la section 6 de cet article .

Deux types de longueurs d'ondes ont été déployées : des longueurs d'ondes entre NR adjacents pour le trafic IP/MPLS (trafic de NR à NR, c'est-à-dire de routeur à routeur) et des « lambdas express » reliant directement 2 NR pour les besoins spécifiques d'un projet.

2.3Le routage et la commutation

2.3.1Routage ou commutation ?

Les services réseau sont fournis par les équipements de commutation et de routage. Sur l'ensemble des NR, le trafic est routé, c'est-à-dire que les paquets sont acheminés selon leur adresse IP de destination. S'il avait été envisagé à un moment de diminuer le nombre de points de routage pour diminuer les coûts, force a été de constater que cela aurait été un net recul technologique :

La nette diminution des coûts des plateformes de routage performantes chez la plupart des constructeurs a permis de conserver une infrastructure IP sur l'ensemble du réseau et de s'affranchir de ces contraintes. Pour pouvoir offrir des circuits (des VPN), MPLS a été déployé sur tous les NR. Largement adopté par les opérateurs, MPLS reste le protocole le plus fiable et le plus évolutif pour offrir des VPN.

Seuls les circuits à 10Gbit/s sur des lambdas dédiés pour des projets restent commutés à l'échelle de RENATER.

2.3.2Les équipements

Plusieurs gammes d'équipements de routage ont été retenues pour RENATER-5 :

2.3.3L'architecture RENATER-5

La carte ci-dessous résume l'architecture physique de RENATER-5.

Figure 2 - L'architecture IP/Ethernet

2.3.4Le routage sur RENATER-5

Cette section décrira succinctement les différents protocoles déployés avec leurs caractéristiques principales.

3De RENATER-4 à RENATER-5

La migration complète vers RENATER-5 s'est étalée sur une période de 6 mois (de juillet à décembre 2008), avec déploiements consécutifs des liaisons, des équipements DWDM et enfin des routeurs avec les migrations des sites usagers. A chaque étape, une coordination avec les divers contacts des NR fut indispensable.

3.1L'hébergement, là où tout commence...

Le réseau RENATER s'est considérablement transformé depuis sa création : multiplicité des opérateurs, présence d'équipements DWDM, routeurs, commutateurs... avec un impact direct sur les NR. Là où auparavant il suffisait d'une baie pour l'opérateur des liaisons et d'une baie pour les routeurs RENATER, il faut maintenant composer avec les baies DWDM, les arrivées de fibres optiques de chaque opérateur et les baies pour héberger les routeurs/commutateurs RENATER. Pour permettre les migrations dans les meilleures conditions, il est nécessaire de pouvoir installer les nouveaux équipements avant de démonter les anciens. Pour la migration RENATER-5, il a fallu composer avec autant de cas particuliers en élaborant à chaque fois les scénarios les moins impactant pour les usagers.

L'élément probablement le plus complexe à gérer lors d'une migration est l'arrivée des différentes fibres optiques. Chaque arrivée se trouve généralement dans une baie contenant des équipements optiques, le plus souvent installée par l'opérateur. Ces arrivées ne peuvent pas être déplacées aisément et représentent autant d'obstacles par la suite lorsqu'il est nécessaire de changer les équipements actifs. Pour lever ce verrou, il est fortement recommandé au sein de chaque NR de mettre en place une ou plusieurs baies « passives » pour les arrivées des câbles des opérateurs, avec une gestion interne des positions et de l'usage de chaque fibre. Ces points de démarcation, passages obligés des opérateurs, permettent aisément de modifier l'infrastructure par simple brassage de fibres.

Une nouveauté de RENATER-5 est aussi la construction de shelters sur deux liaisons dans le sud-est de la France. Les shelters sont des locaux techniques autonomes et isolés destinés à héberger des équipements permettant le plus souvent d'amplifier le signal optique. Sur une liaison terrestre classique le signal doit être réamplifié tous les 100 km environ même si l'architecture optique doit s'adapter le plus souvent aux contraintes du terrain. Si les opérateurs fournissent le plus souvent ces locaux techniques, les détenteurs de réseaux d'infrastructure tels les autoroutiers par exemple fournissent eux le terrain nu sur lequel doit être bâti le shelter. RENATER a donc dû se plier à cet exercice et faire réaliser puis installer deux locaux techniques climatisés avec les contraintes réglementaires et coûts associés.

3.2Le déploiement DWDM

Le déploiement des équipements DWDM a été long et complexe. Tout d'abord les équipements DWDM ALCATEL-LUCENT déployés dans RENATER-4 ont dû être désinstallés, puis retournés au constructeur pour vérification, inventaire complet et calibrage, avant d'être redéployés sur les boucles Nord et Est du réseau RENATER-5. Entre le début des opérations de démontage et la remise en service complète des liaisons avec les nouveaux équipements CIENA, plusieurs semaines se sont écoulées. La coopération avec les projets utilisant les longueurs d'ondes à 10 Gbit/s a donc été nécessaire. Des circuits basés sur MPLS ont été configurés dans l'intérim pour remplacer les longueurs d'ondes « projets » mais avec un débit limité à 1 Gbit/s. Pour certains circuits critiques, pour lesquels il n'était pas envisageable d'avoir une telle coupure, les opérations ont été planifiées pour que l'impact ne soit pas supérieur à une journée. Compte tenu du nombre d'équipes d'installation disponibles et des contraintes de calendrier, ce type de migration a dû rester exceptionnel.

D'autres contraintes sont apparues liées aux amplificateurs Raman quand ils sont placés en entrée de ligne (booster). Avec ce type d'amplificateurs au gain très élevé, il ne doit pas y avoir plus de 2 ou 3 connecteurs sur les premiers kilomètres de la fibre (après l'amplificateur). Chaque connecteur réfléchit en effet une partie du signal optique et quand il y en a trop, l'amplificateur reçoit un signal réfléchi beaucoup trop important et cesse alors de fonctionner. Les amplificateurs Raman sont équipés de ce type de sécurité pour éviter les dommages corporels en cas de manipulation de la fibre (la puissance du laser en sortie de l'amplificateur est telle qu'une exposition aux rayons est dangereuse). Ce comportement inattendu a nécessité de revoir les fibres optiques en place et de limiter le nombre de connecteurs présents (remplacement par des soudures notamment).

3.3Le déploiement des routeurs, des commutateurs et la migration des usagers

Si les déploiements des liaisons et des équipements DWDM ont été complexes, ils n'ont pas eu de conséquences pour les usagers connectés sur des routeurs et commutateurs. La migration de ces derniers équipements a nécessité plus de souplesse en termes de planning. La migration IP/Ethernet intervient en dernier lieu et subit les aléas des modifications de planning des phases précédentes. Aussi pour ces migrations, les étapes ont été les suivantes lorsqu'il a été possible d'installer le nouvel équipement sur le NR sans avoir à démonter l'ancien :

4Les services sur RENATER-5

Comme la plupart des réseaux de recherche, RENATER met à la disposition de ses usagers une infrastructure à la pointe de la technologie mais également un portefeuille de services.

4.1La connectivité, la base pour bâtir des services

4.1.1Services IP

RENATER fournit en natif tous les services IP : IPv4 et IPv6, à la fois pour l'unicast et le multicast. Le service qui reste très majoritairement utilisé sur RENATER est l'accès Internet classique, qui repose sur le protocole IPv4. IPv6, la nouvelle version du protocole de l'internet, est indispensable à la croissance des usages (le nombre d'adresses IPv4 étant limité). Le service IPv6 est offert en natif sur RENATER depuis 2003. Certains réseaux de collecte en région le transportent également et un nombre croissant de sites l’utilisent. En Europe, les réseaux de la recherche supportent tous le protocole IPv6 en mode natif.

Sur RENATER le service multicast IP (IPv4 et IPv6) permet une diffusion optimale d’une source vers un ensemble de destinataires avec réplication au sein du réseau. Le multicast est adopté très largement par les opérateurs pour la diffusion de contenus multimédias.

4.1.2Circuits de bout en bout (VPN20 MPLS21, longueurs d'ondes...)

Une offre de circuits dédiés est également disponible. Cette offre repose sur des technologies diverses (MPLS, Ethernet sur DWDM…).

Il faut distinguer les circuits point-à-point qui consistent à offrir un service d’interconnexion privée entre 2 établissements, des circuits multi-point à multi-point qui permettent d’interconnecter au sein d’un même réseau privé plusieurs sites RENATER. Pour chaque demande, le GIP RENATER propose la solution technique la plus à même de construire le circuit en fonction des services qui doivent être véhiculés dans le circuit (IPv4, IPv6, multicast...), du débit demandé…

Dans tous les cas, l'interface de raccordement reste sur le commutateur ou le routeur du NR (même pour un circuit dédié à 10 Gbit/s). S'il peut être objecté que la présence d'un équipement de commutation/routage de RENATER vient en opposition avec le besoin d'un circuit dédié, ce choix comporte de nombreux avantages pour les usagers :

D’ici juin 2010, une évolution est à prévoir sur les VPN de niveau 3 pour le support du protocole IPv6 et du multicast IPv4. Aujourd’hui, pour ces VPN, seul le transport de l’unicast IPv4 est possible. Des VPN de niveau 2 sont en attendant configurés pour les sites nécessitant le transport de ces protocoles.

VPLS23, service de VPN multi-point à multi-point (MPtMP) de niveau 2, n'est pas disponible sur RENATER-5. Le coût nécessaire pour son déploiement est considérable pour des besoins quasiment nuls, qui de surcroit peuvent presque toujours être satisfaits via d'autres technologies.

4.1.3Classes de service

Depuis plusieurs années, diverses classes de service sont définies sur RENATER pour l’ensemble des établissements. En marquant les paquets un établissement peut influer sur la prioritisation des flux acheminés au sein de RENATER. Des classes de service sont par exemple définies pour la téléphonie ou la visioconférence. Les flux voix, plus sensibles à la gigue, doivent par exemple être traités en priorité.

Avec RENATER-5, l'implémentation des classes de service sur le réseau a dû être intégralement revue. Tout d'abord l'augmentation de la capacité des liens de cœur rend improbable toute congestion, même en cas de re-routage. Dans ce contexte la prioritisation est surtout nécessaire à l'accès mais là encore les interfaces sont le plus souvent largement dimensionnées en termes de débit. Les équipements RENATER-5 étant variés, la configuration de la QoS24, très dépendante du matériel, a dû être repensée. Le faible usage des différentes classes de service de RENATER-4 a aussi montré qu'un ajustement de la politique de QoS devait être réalisé.

Dans ce contexte, des études ont été entreprises et devraient permettre d'ici la mi-2010 les améliorations suivantes :

4.2Les services aux usagers

Avec un réseau à très haut débit, plus fiable, et extensible en termes de services, il est possible de s'intéresser davantage aux usages. Dans cette optique, le GIP RENATER a évolué et revoit son offre en termes de services aux usagers au-delà de la problématique de connectivité. Cette évolution, qui a débuté en douceur il y a 3 ans environ, s'est grandement accélérée et la gamme de services a augmenté.

Le GIP RENATER offre dorénavant, seul ou en coopération avec le CRU et l'UREC, un service de nomadisme avec eduroam, un service d'authentification unifié avec la fédération Education-Recherche, des certificats serveurs, un service anti-spam mutualisé, des services de visioconférence (H323 et EVO26) ainsi qu'un service pilote de téléphonie sur IP. Tous ces services sont fournis dans le but de fédérer les efforts réalisés individuellement par chaque établissement de la communauté.

Les informations complètes pour tous ces services sont disponibles depuis sur la page web suivante : http://www.renater.fr/services

5Conclusion

Avec RENATER-5, la communauté Recherche et Education en France dispose non seulement d'un réseau performant et évolutif, mais aussi d'une base solide permettant d'offrir davantage de services. C'est surtout sur ces derniers que des avancées majeures sont à prévoir pour les années à venir.

Bibliographie

  1. F. Simon, S. Aumon, JL Munier, Le service antispam de RENATER est arrivé. Dans Actes du congrès JRES2009, Nantes, Décembre 2009.

  2. M. Hached, O. Salaün, Shibboleth et la haute disponibilité. Dans Actes du congrès JRES2009, Nantes, Décembre 2009.

  3. S. Muyal, B. Tuy, Service pilote de téléphonie sur IP (ToIP) dans RENATER. Dans Actes du congrès JRES2009, Nantes, Décembre 2009.



1Dense Wavelength Division Multiplexing

2Nœud RENATER

3Fibre Optique Noire

4Indefeasible Right of Use

5Erbium Doped Fiber Amplifier

6Spanning Tree Protocol

7Rapid Spanning Tree Protocol

8Per VLAN Spanning Tree

9Operations, Administration, and Managemement

10Transparent Interconnection of Lots of Links

11Interior Gateway Protocol

12Intermediate System to Intermediate System (RFC 1142)

13Border Gateway Protocol (RFC 4271)

14RENATER connecte soit des sites ou des réseaux de collecte, fédérant les connexions des sites. Pour simplifier la lecture de l'article, l'auteur utilisera « site » indifféremment.

15http://www.renater.fr/bgp

16Bi-directional Forwarding Detection (draft-ietf-bfd-base-09)

17Label Discovery Protocol (RFC 3036)

18Protocol Independent Multicast – Sparse Mode (RFC 4601)

19Multicast Source Discovery Protocol (RFC 3618)

20Virtual Private Network

21Multiprotocol Label Switching

22Layer 2 VPN

23Virtual Private LAN Service

24Quality of Service

25Expedited Forwarding

26Enabling Virtual Organizations - http://evo.caltech.edu

27Global Dialing Scheme

28Comité Réseau des Universités

29Unité Réseaux du CNRS

30TERENA Certificate Service

31Internet Private Branch Exchange

32Réseau Téléphonique Commuté

33Remote Access Dial-In User Service

9/9 JRES 2009