ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

PLANIFICACIÓN Y DISEÑO DEL NETWORKING DE UN CPD TIER IV

Autor: Francisco Sanz Estévez Director: Atilano Fernández-Pacheco Sánchez-Migallón

Madrid Julio 2015

Declaro, bajo mi responsabilidad, que el Proyecto presentado con el título Planificación y diseño del Networking de un CPD Tier IV en la ETS de Ingeniería - ICAI de la Universidad Pontificia Comillas en el curso académico 2015/16 es de mi autoría, original e inédito y no ha sido presentado con anterioridad a otros efectos. El Proyecto no es plagio de otro, ni total ni parcialmente y la información que ha sido tomada de otros documentos está debidamente referenciada.

Fdo.: Franicsco Sanz Estévez

Fecha: 15/7/2016

Autorizada la entrega del proyecto EL DIRECTOR DEL PROYECTO

Fdo.: Atilano Fernández-Pacheco Sánchez-Migallón

Fecha: ……/ ……/ ……

Vº Bº del Coordinador de Proyectos

Fdo.: David Contreras Bárcenas

Fecha: ……/ ……/ ……

AUTORIZACIÓN PARA LA DIGITALIZACIÓN, DEPÓSITO Y DIVULGACIÓN EN RED DE PROYECTOS FIN DE GRADO, FIN DE MÁSTER, TESINAS O MEMORIAS DE BACHILLERATO 1º. Declaración de la autoría y acreditación de la misma. El autor D. Francisco Sanz Estevez DECLARA ser el titular de los derechos de propiedad intelectual de la obra: Planificación y Diseño del Networking de un CPD, que ésta es una obra original, y que ostenta la condición de autor en el sentido que otorga la Ley de Propiedad Intelectual. 2º. Objeto y fines de la cesión. Con el fin de dar la máxima difusión a la obra citada a través del Repositorio institucional de la Universidad, el autor CEDE a la Universidad Pontificia Comillas, de forma gratuita y no exclusiva, por el máximo plazo legal y con ámbito universal, los derechos de digitalización, de archivo, de reproducción, de distribución y de comunicación pública, incluido el derecho de puesta a disposición electrónica, tal y como se describen en la Ley de Propiedad Intelectual. El derecho de transformación se cede a los únicos efectos de lo dispuesto en la letra a) del apartado siguiente. 3º. Condiciones de la cesión y acceso Sin perjuicio de la titularidad de la obra, que sigue correspondiendo a su autor, la cesión de derechos contemplada en esta licencia habilita para: a) Transformarla con el fin de adaptarla a cualquier tecnología que permita incorporarla a internet y hacerla accesible; incorporar metadatos para realizar el registro de la obra e incorporar “marcas de agua” o cualquier otro sistema de seguridad o de protección. b) Reproducirla en un soporte digital para su incorporación a una base de datos electrónica, incluyendo el derecho de reproducir y almacenar la obra en servidores, a los efectos de garantizar su seguridad, conservación y preservar el formato. c) Comunicarla, por defecto, a través de un archivo institucional abierto, accesible de modo libre y gratuito a través de internet. d) Cualquier otra forma de acceso (restringido, embargado, cerrado) deberá solicitarse expresamente y obedecer a causas justificadas. e) Asignar por defecto a estos trabajos una licencia Creative Commons. f) Asignar por defecto a estos trabajos un HANDLE (URL persistente). 4º. Derechos del autor. El autor, en tanto que titular de una obra tiene derecho a: a) Que la Universidad identifique claramente su nombre como autor de la misma b) Comunicar y dar publicidad a la obra en la versión que ceda y en otras posteriores a través de cualquier medio. c) Solicitar la retirada de la obra del repositorio por causa justificada. d) Recibir notificación fehaciente de cualquier reclamación que puedan formular terceras personas en relación con la obra y, en particular, de reclamaciones relativas a los derechos de propiedad intelectual sobre ella.



5º. Deberes del autor. El autor se compromete a: a)

Garantizar que el compromiso que adquiere mediante el presente escrito no infringe ningún derecho de terceros, ya sean de propiedad industrial, intelectual o cualquier otro. b) Garantizar que el contenido de las obras no atenta contra los derechos al honor, a la intimidad y a la imagen de terceros. c) Asumir toda reclamación o responsabilidad, incluyendo las indemnizaciones por daños, que pudieran ejercitarse contra la Universidad por terceros que vieran infringidos sus derechos e intereses a causa de la cesión. d) Asumir la responsabilidad en el caso de que las instituciones fueran condenadas por infracción de derechos derivada de las obras objeto de la cesión.

6º. Fines y funcionamiento del Repositorio Institucional. La obra se pondrá a disposición de los usuarios para que hagan de ella un uso justo y respetuoso con los derechos del autor, según lo permitido por la legislación aplicable, y con fines de estudio, investigación, o cualquier otro fin lícito. Con dicha finalidad, la Universidad asume los siguientes deberes y se reserva las siguientes facultades: 



 

La Universidad informará a los usuarios del archivo sobre los usos permitidos, y no garantiza ni asume responsabilidad alguna por otras formas en que los usuarios hagan un uso posterior de las obras no conforme con la legislación vigente. El uso posterior, más allá de la copia privada, requerirá que se cite la fuente y se reconozca la autoría, que no se obtenga beneficio comercial, y que no se realicen obras derivadas. La Universidad no revisará el contenido de las obras, que en todo caso permanecerá bajo la responsabilidad exclusive del autor y no estará obligada a ejercitar acciones legales en nombre del autor en el supuesto de infracciones a derechos de propiedad intelectual derivados del depósito y archivo de las obras. El autor renuncia a cualquier reclamación frente a la Universidad por las formas no ajustadas a la legislación vigente en que los usuarios hagan uso de las obras. La Universidad adoptará las medidas necesarias para la preservación de la obra en un futuro. La Universidad se reserva la facultad de retirar la obra, previa notificación al autor, en supuestos suficientemente justificados, o en caso de reclamaciones de terceros.

Madrid, a 15 de Julio de 2016

ACEPTA

Fdo Francisco Sanz Estévez

Motivos para solicitar el acceso restringido, cerrado o embargado del trabajo en el Repositorio Institucional:

ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

PLANIFICACIÓN Y DISEÑO DEL NETWORKING DE UN CPD TIER IV

Autor: Francisco Sanz Estévez Director: Atilano Fernández-Pacheco Sánchez-Migallón

Madrid Julio 2015

PLANIFICACIÓN Y DISEÑO DE PROCESAMIENTO DE DATOS TIER IV

UN

CENTRO

DE

Autor: Sanz Estévez, Francisco. Director: Fernández-Pacheco Sánchez-Migallón, Atilano. Entidad Colaboradora: Banco Bilbao Vizcaya Argentaria.

RESUMEN DEL PROYECTO Planificación y diseño de un CPD de categoría Tier IV centrado en la sala de ordenadores del centro. Diseñando la organización de la electrónica, servidores y espacio de almacenamiento de la sala, así como las comunicaciones con el exterior. Destacando además, la importancia que tiene para un banco la buena gestión y procesamiento de la información, y el servicio ‘Cloud’ que maneja una entidad financiera. Palabras clave: Comunicaciones, Electrónica, Almacenamiento, Servidores, Cloud, Banco.

1. Introducción En el mundo actual, se genera cada día una cantidad inmensa de datos. Por poner un ejemplo, un estudio de DOMO, informa de que la población mundial con acceso a Internet a fecha del 2015 es 3200 millones de personas, lo que ha supuesto un crecimiento del 18% con respecto al análisis realizado en 2013 [1]. Además, indica que cada minuto del día, se generan casi 350 millones de tweets, se suben 300 horas de vídeo a YouTube, o se realizan 48 millones de descargas desde la App Store.

Ilustración 1 Data Never Sleeps 3.0 [1]

Si todo esto se traduce a cantidad de información en bytes que se generan, se producen casi 2 millones de GB al minuto, 2.5 Exabytes al día [2].

Curiosamente, según E. Schmidt

(CEO de Google), “Había 5 Exabytes de información creada desde el nacimiento de la civilización hasta 2003, hoy en día esa información es creada cada 2 días.” Esto no hace más que resaltar que para cualquier empresa, tiene una importancia vital el correcto procesamiento de la increíble cantidad de datos que maneja. Por ello la importancia que tiene en la actualidad para las empresas e instituciones disponer de un Centro de Procesos de Datos que pueda procesar y gestionar estos volúmenes de información eficaz y eficientemente. Por estas razones, el proyecto se va a basar en el diseño de un Centro de Datos Tier IV. Según Wikipedia se denomina centro de procesamiento de datos (CPD) a aquella ubicación donde se concentran los recursos necesarios para el procesamiento de la información de una organización [3]. Básicamente, un CPD se trata del cerebro de la empresa, donde, si se gestiona de manera eficaz la información, hará posible que se incremente la productividad de la compañía aportando disponibilidad, fiabilidad y velocidad a la hora de procesar los datos.

Tier no es nada más que una metodología estándar para definir el estado activo de un centro de datos. Este estándar es útil para medir:   

Rendimiento del CPD. Inversión Retorno de la inversión (ROI – Return On Investment)

Un centro de datos de categoría Tier IV es el más robusto y el menos propenso a fallos. Este tipo de centros está diseñado para hospedar servidores y sistemas computacionales críticos, con subsistemas completamente redundantes (enfriamiento, electricidad, enlaces de redes, almacenamiento etc.) y zonas de seguridad compartimentadas controladas por métodos de control de acceso biométricos (huellas dactilares suele ser lo más común) [4]. 2. Definición del proyecto Los objetivos a cumplir durante el desarrollo de este proyecto se tratan de: 

Explicación

de

la

topología

y

conexiones

de

un

CPD:

o LAN (Local Area Network): Se trata de la red de comunicaciones de dispositivos conectados a la red del edificio. o Seguridad: seguridad tanto lógica en el tema de las comunicaciones como física del edificio. o Conexiones con empresas: analizar las diferentes formas de conexión con organizaciones externas. 

Explicar detenidamente el valor añadido de un Centro de Procesamiento de Datos para una entidad bancaria.



Explicar la importancia que tienen en la actualidad el Cloud Computing, su convivencia con CPDs fiables y potentes, y el concepto de Cloud híbrida vital para grandes compañías como BBVA, Santander o Telefónica.



Estudiar y analizar algún posible punto de mejora que se pueda implementar a un Centro de Procesamiento de Datos como el que se va a planificar a lo largo del proyecto.

3. Descripción del modelo/sistema/herramienta El networking del CPD diseñado se trata de la sala de ordenadores de un Data Center de categoría Tier IV, la máxima certificación que otorga el ’Uptime Institute’, que conlleva que se trate de un centro resistente a fallos y una disponibilidad del 99.995% del tiempo. Esta disponibilidad y tolerancia a fallos se consigue aplicando una redundancia del nivel 2N+1 tanto a nivel de dispositivos, como conexiones, suministro eléctrico, etc. 4. Resultados y Conclusiones Tras las etapas de análisis y planificación, se ha conseguido diseñar la sala de ordenadores de un CPD Tier IV, lo cual supone un gran paso para cualquier empresa financiera debido a la época de transformación digital que están sufriendo todas las empresas, y en especial los bancos. Este diseño conlleva una inversión de 78 millones de euros, contando hardware, software y personal. En cuanto a la sala de ordenadores, se obtiene un centro de datos con dispositivos de última generación, con máxima protección gracias a los 4 clústers de firewalls utilizados, con redundancia en todas conexiones, tanto física, como lógicamente debido a los switches nexus 7000 que se utilizan, y con una capacidad de procesamiento estimada de cerca de 20 millones de operaciones diarias gracias a los servidores de IBM, Oracle y HPE Blade utilizados. 5. Referencias [1]

DOMO,

«DOMO

Data

Never

Sleeps,»

[En

línea].

Available:

https://www.domo.com/learn/data-never-sleeps-2. [Último acceso: 30 03 2016]. [2]

IBM,

«IBM,»

IBM,

[En

línea].

Available:

http://www-

01.ibm.com/software/data/bigdata/what-is-big-data.html. [Último acceso: 07 04 2016]. [3]

«Wikipedia,»

[En

línea].

Available:

https://es.wikipedia.org/wiki/Centro_de_procesamiento_de_datos. [Último acceso: 15 March 2016]. [4]

V. Gite, «Cyberciti,» 29 January 2011. [En línea]. Available: http://www.cyberciti.biz/faq/data-center-standard-overview/ acceso: 16 March 2016].

[Último

PLANIFICATION AND DESIGN OF A DATA PROCESSING CENTER TIER IV Author: Sanz Estévez, Francisco. Supervisor: Fernández-Pacheco Sánchez-Migallón, Atilano. Collaborating Entity: Banco Bilbao Vizcaya Argentaria.

ABSTRACT Planning and design of a Tier IV Data Center, focused on the computing room of the DC. Designing the organization of the electronics, servers, and storage of the room, as well as the external communications. Highlighting also, the importance of good management and processing the data, and the cloud services, have for a financial entity. Keywords: DC, Electronics, Servers, Cloud, financial entity. 1. Introduction In today’s world, huge amounts of data are produced every day. For example, a study carried out by DOMO says the global population with Internet access, as of 2015, is 3.2 billion people, which makes up for an 18% growth compared to the analysis made in 2013 [1]. It also points out that every minute, there are almost 350 million of new tweets, 300 hours of video are uploaded to YouTube, and 48 million of apps are downloaded from the Apple App Store.

Ilustración 2 Data Never Sleeps 3.0 [1]

If all of this is translated to quantity of data in bytes, 2 million of Gigabytes are generated each minute, which translates to 2.5 Exabytes a day [2]. Curiously, E. Schmidt (Google’s CEO said in 2010: “There was 5 exabytes of information created between the dawn of civilization through 2003, but that much information is now created every two days, and the pace is increasing.” This does nothing but highlight that for any business, is vitally important the correct processing of the incredible amount of data being handled. Hence the importance for today’s companies and institutions to have a Data Processing Center that is able to process and manage these volumes of information effectively and efficiently. For these reasons, this project is based on the design of a Data Center Tier IV. According to Wikipedia, a data center is a facility used to house computer systems and associated components, such as telecommunications and storage systems. It generally includes redundant or backup power supplies, redundant data communications connections, environmental controls (e.g., air conditioning, fire suppression) and various security devices [3]. Basically, a data center is the brains of a company, which, if the information is managed efficiently, will make possible to increase the productivity of the company providing availability, reliability and speed while processing the data. Tier is nothing but a standard methodology to define the uptime of a data center. This standard is useful to measure: 

The performance of the DC.



Investment.



Return On Investment (ROI).

A Tier IV data center is the most robust and less prone to failure. This type of centers are design to host servers and critical computing systems, with completely redundant subsystems (cooling, power supplies, network links, storage etc.) and compartmentalized security zones controlled by biometric methods access control (fingerprint is usually the most common) [5].

2. Project definition The objectives to be achieved during the development of this project will seek to: 

Explain carefully the added value of a data center for a bank.



Explain the topology and connections of a DC: o LAN (Local Area Network): This is the communication network connected to the building network devices. o Security: both logical security on the issue of communications and building physics. o Connections with companies: to analyze the different ways of connecting to external organizations.



Explain the importance of ‘Cloud Computing’ in the modern world, its coexistence with reliable and powerful data centers, and the vital concept of the ‘Hybrid Cloud’ for large companies like BBVA, Santander or Telefonica.



Study and analyze any possible point of improvement that can be implemented to a data center like the one that will be planned throughout the project.

3. Description of model/system/tool The networking of the Data Center that has been designed in this project is the computer room of a category Tier IV Data Center, the highest certification awarded by the "Uptime Institute", which means that it is a fault-tolerant center and has an availability of 99.995% of uptime. This availability and fault tolerance is achieved by applying a 2N + 1 redundancy at every tier such as devices, connections, power supply, etc. 4. Results & Conclusions After the stages of analysis and planning, it has been designed the computer room of a DC Tier IV, which is a big step for any financial company due to the age of digital transformation that are suffering all businesses, and especially banks. This design involves an investment of 78 million euros, counting hardware, software and personnel.

As for the computer room, a data center is obtained with cutting-edge devices, with maximum protection thanks to the 4 clusters of firewalls used with redundancy in all connections, both physically and logically due to the nexus switches 7000 They are used, and estimated processing capacity of about 20 million daily operations through servers IBM, Oracle and HPE Blade used.

5. References [1]

DOMO,

«DOMO

Data

Never

Sleeps,»

[En

línea].

Available:

https://www.domo.com/learn/data-never-sleeps-2. [Último acceso: 30 03 2016]. [2]

IBM,

«IBM,»

IBM,

[En

línea].

Available:

http://www-

01.ibm.com/software/data/bigdata/what-is-big-data.html. [Último acceso: 07 04 2016]. [3]

«Wikipedia,»

[En

línea].

Available:

https://es.wikipedia.org/wiki/Centro_de_procesamiento_de_datos. [Último acceso: 15 March 2016]. [4]

V. Gite, «Cyberciti,» 29 January 2011. [En línea]. Available: http://www.cyberciti.biz/faq/data-center-standard-overview/ acceso: 16 March 2016].

[Último

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ÍNDICE DE LA MEMORIA

Índice de la memoria

Índice de la memoria .......................................................................................................... 19 Índice de figuras ................................................................................................................. 23 Índice de tablas ................................................................................................................... 27 1.

Introducción ................................................................................................................ 29 1.1 Motivación del proyecto ...................................................................................................... 29

2.

Descripción de las Tecnologías ................................................................................... 31 2.1 Servicio de Cloud Híbrida ................................................................................................... 31 2.1.1 Cloud Computing............................................................................................................ 31 2.1.2 Nube Pública .................................................................................................................. 33 2.1.3 Nube Privada .................................................................................................................. 34 2.1.4 Nube Híbrida .................................................................................................................. 35 2.2 Hypervisors - Virtualización ............................................................................................... 36 2.2.1 VM – Máquina Virtual.................................................................................................... 36 2.3 Categorías Tier de un CPD .................................................................................................. 37 2.3.1 Uptime Institute .............................................................................................................. 37 2.3.2 Características propias de cada nivel Tier .................................................................... 38 2.4 Fiber To The X (FTTX) ...................................................................................................... 43 2.5 Balanceadores de Carga ...................................................................................................... 44 2.6 Firewall................................................................................................................................ 46 2.7 Zona DMZ ........................................................................................................................... 50 2.8 Proxy ................................................................................................................................... 50 2.9 Diseño de red jerárquico de capas ....................................................................................... 53 2.9.1 Core o núcleo ................................................................................................................. 53 2.9.2 Capa de agregación o distribución ................................................................................ 56 2.9.3 Capa de Acceso .............................................................................................................. 59 2.10 Virtual Switching System (VSS) ......................................................................................... 61 2.11 Diseño de Switching............................................................................................................ 66

19

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ÍNDICE DE LA MEMORIA 2.11.1 TOR .............................................................................................................................. 67 2.11.2 EOR .............................................................................................................................. 68 2.12 Protocolos Utilizados .......................................................................................................... 69 2.12.1 Protocolos de Nivel de Enlace (L2 – Switching) .......................................................... 69 2.12.2 Protocolos de Nivel de Red (L3 – Routing) .................................................................. 76 2.12.3 TRILL – Transparent Interconnection of Lots of Links ................................................ 87 2.12.4 MPLS VPN.................................................................................................................... 88 2.13 Cableado .............................................................................................................................. 93 2.13.1 Cableado Incorrecto ..................................................................................................... 93 2.13.2 Cableado Estructurado ................................................................................................ 94

3.

Estado de la Cuestión .................................................................................................. 95 3.1 ¿Qué define a un centro de datos TIER IV? ........................................................................ 96

4.

Definición del Trabajo ................................................................................................ 99 4.1 Justificación ......................................................................................................................... 99 4.2 Objetivos ............................................................................................................................. 99 4.3 Metodología....................................................................................................................... 100 4.4 Planificación y Estimación Económica ............................................................................. 101

5.

Diseño del CPD.......................................................................................................... 105 5.1 Diseño Global del CPD ..................................................................................................... 105 5.1.1 Base del CPD ............................................................................................................... 105 5.1.2 Servicios del CPD......................................................................................................... 106 5.1.3 Servicios de Usuario..................................................................................................... 106 5.2 Distribución de la Sala de Ordenadores ............................................................................ 107 5.2.1 Filas de Racks............................................................................................................... 109 5.3 Sistemas de Seguridad Física del Data Center .................................................................. 117 5.3.1 Ubicación ..................................................................................................................... 117 5.3.2 Paredes ......................................................................................................................... 117 5.3.3 Control de Acceso......................................................................................................... 118 5.4 Seguridad ante Incendios................................................................................................... 119 5.4.1 Protección Pasiva......................................................................................................... 120 5.4.2 Sistemas de Detección de Incendios ............................................................................. 120 5.4.3 Sistemas de Extinción de Incendios .............................................................................. 121 5.5 Entorno Físico ................................................................................................................... 123 5.5.1 Suministro de Potencia Eléctrica ................................................................................. 123

20

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ÍNDICE DE LA MEMORIA 5.5.2 Enfriamiento ................................................................................................................. 124 5.5.3 Racks ............................................................................................................................ 126 5.6 Infraestructura Ethernet de la Sala de Ordenadores .......................................................... 128 5.6.1 Switches Utilizados....................................................................................................... 130 5.6.2 Interconexión Interna de la Sala de Ordenadores ....................................................... 133 5.6.3 Configuración del Routing IP en el Core ..................................................................... 143 5.6.4 Grupos Multicast .......................................................................................................... 149 5.6.5 Gestión de la Red.......................................................................................................... 149 5.6.6 Entornos Previos .......................................................................................................... 150 5.7 Acceso a la Red de Internet ............................................................................................... 150 5.7.1 Implementación del Acceso por Fibra.......................................................................... 151 5.7.2 Proveedores .................................................................................................................. 151 5.8 Balanceadores de Carga .................................................................................................... 153 5.9 Topología de Firewalls Utilizada ...................................................................................... 155 5.10 Proxies Utilizados.............................................................................................................. 159 5.11 Servidores Utilizados ........................................................................................................ 161 5.11.1 Servidores MainFrame ............................................................................................... 162 5.11.2 Servidores Blade......................................................................................................... 164 5.12 Sala de Seguridad .............................................................................................................. 167 5.13 Cableado ............................................................................................................................ 168 5.13.1 Patch Panel ................................................................................................................ 170 5.13.2 Cableado Inteligente .................................................................................................. 171 5.14 Valor Añadido para una Entidad Bancaria ........................................................................ 172 5.15 Alternativas de Diseño ...................................................................................................... 174 5.15.1 Modelos de Gama Alta ............................................................................................... 174 5.15.2 Firewalls de Diferentes Fabricantes .......................................................................... 175 5.15.3 Eliminar Capa de Acceso ........................................................................................... 175 5.15.4 Liberar Funciones de Routing en el Core .................................................................. 176

6.

Análisis de Resultados ............................................................................................... 177 6.1 Servicio Cloud ................................................................................................................... 180

7.

Conclusiones y Trabajos Futuros ............................................................................. 181 7.1 Trabajos Futuros ................................................................................................................ 181 7.1.1 Red SAN........................................................................................................................ 182 7.1.2 SDN .............................................................................................................................. 182

21

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ÍNDICE DE LA MEMORIA 7.1.3 Edificio Físico .............................................................................................................. 182

8.

Bibliografía ................................................................................................................ 183

ANEXO A. Especificaciones Hardware ......................................................................... 195 A.1 Switches Nexus 7700 ........................................................................................................ 195 8.1.1 Cisco Nexus 7700 Supervisor 2E Module .................................................................... 196 8.1.2 Cisco Nexus 7700 F3-Series 12-Port 100 Gigabit Ethernet Module ........................... 197 8.1.3 Cisco Nexus 7700 F3-Series 24-Port 40 Gigabit Ethernet Module ............................. 199 A.2 F5 BIG-IP LTM 2200s ...................................................................................................... 200 A.3 PALO ALTO 3000 Series PA-3060 .................................................................................. 202 A.4 Proxy Blue Coat SG600-35 ............................................................................................... 203 A.5 IBM z Systems (Mainframes) - z13s ................................................................................. 204 A.6 Oracle Exadata DataBase Machine X6-8 .......................................................................... 206 A.7 HPE ProLiant BL660c Gen9 Server Blade ....................................................................... 207 A.8 HP BLc7000 Platinum Enclosure...................................................................................... 208 A.9 Racks ................................................................................................................................. 209

ANEXO B. Especificaciones Software ........................................................................... 213 B.1 The Dude ............................................................................................................................. 213

22

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ÍNDICE DE FIGURAS

Índice de figuras

Ilustración 1 Data Never Sleeps 3.0 [1]............................................................................... 11 Ilustración 4 Data Never Sleeps 3.0 [1]............................................................................... 15 Ilustración 5 Cloud Computing [7]...................................................................................... 32 Ilustración 6 FFTx [20] ....................................................................................................... 43 Ilustración 7 Firewall de Primera Generación en Linux...................................................... 47 Ilustración 8 Bastion Host Firewall [27] ............................................................................. 48 Ilustración 9 Firewall de subred Filtrada [27] ..................................................................... 49 Ilustración 10 Implementación de Firewall Dual [27]......................................................... 50 Ilustración 11 Tráfico a través de un Proxy......................................................................... 51 Ilustración 12 Diseño jerárquico de capas [32] ................................................................... 53 Ilustración 13 Flujo de tráfico en el Core (www.Cisco.com ) ............................................. 55 Ilustración 14 Flujo de tráfico en la Agregación [32] ......................................................... 58 Ilustración 15 Topología Triangular de Acceso [31]........................................................... 60 Ilustración 16 Switching Tradicional vs VSS [34] .............................................................. 61 Ilustración 17 Comparativa de STP con MEC [35]............................................................. 62 Ilustración 18 EtherChannel [35] ........................................................................................ 63 Ilustración 19 Red Física y Red Lógica conseguida a través de VSS [35] ......................... 65 Ilustración 20 Arquitectura por Capas simplificada con VSS [34] ..................................... 66 Ilustración 21 Diseño Top Of the Rack [37] ....................................................................... 67 Ilustración 22 Diseño End Of the Row [37] ........................................................................ 68 Ilustración 23 Tráfico entre áreas IS-IS [40] ....................................................................... 75 Ilustración 24 Direcciones IS-IS [40] .................................................................................. 76 Ilustración 25 Ejemplo de Red OSPF [40] .......................................................................... 78 Ilustración 26 Ejemplo de comunicación multicast [41] ..................................................... 80 Ilustración 27 Ejemplo de árbol SPT [41] ........................................................................... 81 Ilustración 28 Ejemplo de árbol compartido [41]................................................................ 82 Ilustración 29 Estructura básica de SNMP [42] .................................................................. 85 Ilustración 30 Nube de RBridges de TRILL [43] ................................................................ 88 23

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ÍNDICE DE FIGURAS Ilustración 31 Circuito virtual emulado para el uso de VPN [45] ....................................... 90 Ilustración 32 Comunicaciones en una red MPLS VPN [45].............................................. 92 Ilustración 33 Ejemplo de cableado incorrecto [46]............................................................ 93 Ilustración 34 Diagrama de Gantt ...................................................................................... 101 Ilustración 35 Pirámide de Servicios de un CPD [47] ....................................................... 105 Ilustración 36 Plano de la Sala de Ordenadores ................................................................ 108 Ilustración 37 Medidas de 1 Rack (1.867m x 0.6m) ......................................................... 109 Ilustración 38 Medidas de una fila de Racks ..................................................................... 109 Ilustración 39 Distribución de los Racks ........................................................................... 110 Ilustración 40 Rack con Patch Panel y Cableado Inteligente ............................................ 111 Ilustración 41 Sistemas SAI CPD Tres Cantos I de BBVA [48]....................................... 112 Ilustración 42 Repartidores de Fibra Óptica del CPD de BBVA Tres Cantos I [48] ........ 113 Ilustración 43 Comparativa de tipos de agua para extinción de incendios [52] ................ 122 Ilustración 44 Flujo de Aire de un Dispositivo [55] .......................................................... 124 Ilustración 45 Refrigeración por pasillos calientes y fríos [55] ........................................ 125 Ilustración 46 Ilustración del Falso suelo en instalaciones de BBVA C&IB .................... 125 Ilustración 47 Rack Convencional [56] ............................................................................. 127 Ilustración 48 Esquema Lógico de Conexiones ................................................................ 129 Ilustración 49 Configuración de conexiones entre Core y Agregación ............................. 140 Ilustración 50 Conexiones con el exterior ......................................................................... 143 Ilustración 51 Doble clustering de FW con DMZ [27] ..................................................... 148 Ilustración 52Cuadro Mágico de Gartner Balanceadores de Carga [65] ........................... 153 Ilustración 53 F5 BIG-IP LTM 2200s [66] ....................................................................... 154 Ilustración 54 Rack con Balanceadores de Carga ............................................................. 155 Ilustración 55 Cuadro Mágico de Gartner para FW empresariales ................................... 157 Ilustración 56 Palo Alto Series 3000 ................................................................................. 158 Ilustración 57 Cuadro Mágico de Gartner Proxies. [65] ................................................... 160 Ilustración 58 Bluecoat SG600 Series ............................................................................... 161 Ilustración 59 Servidor MainFrame de IBM (z13s) [71]................................................... 163 Ilustración 60 Plataforma Oracle Exadata DataBase Machine X6-8 multi-rack [72] ....... 164 Ilustración 61 Rack con dos Enclosures HP BLc7000 Platinum Enclosure ..................... 166 Ilustración 62 Enclosures HP de BBVA............................................................................ 167 24

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ÍNDICE DE FIGURAS Ilustración 63 Cableado de CPD de Facebook [74] .......................................................... 168 Ilustración 64 Colores y Etiquetado de los cables [46] ..................................................... 170 Ilustración 65 Etiquetado en Patch Panel [75]................................................................... 171 Ilustración 66 Patch Panel Inteligente [77]........................................................................ 172 Ilustración 67 Esquema Conexiones con Amazon Cloud ................................................. 173 Ilustración 68 Topología física .......................................................................................... 178 Ilustración 69 Esquema Lógico de Conexiones ................................................................ 179 Ilustración 70 Chasis Switch Nexus 7700 18-Slot [79]..................................................... 195 Ilustración 71 Cisco Nexus 7700 Supervisor 2E Module.................................................. 196 Ilustración 72 Cisco Nexus 7700 F3-Series 12-Port 100 Gb Ethernet Module [79] ......... 197 Ilustración 73 Cisco Nexus 7700 F3 Series 24-Port 40 GE Module [79] ......................... 199 Ilustración 74 Balanceador de carga F5 BIG-IP LTM 2200s [66] .................................... 200 Ilustración 75 Palo Alto PA-3060 [67] .............................................................................. 202 Ilustración 76Proxy BlueCoat SG 600-35 [79] ................................................................. 203 Ilustración 77 Servidor MainFrame de IBM (z13s) [71]................................................... 204 Ilustración 78 Plataforma Oracle Exadata DataBase Machine X6-8 multi-rack [72] ....... 206 Ilustración 79 Servidor Blade HPE ProLiant BL660c Gen9 [73] ..................................... 207 Ilustración 80 Ecnlosure Clase C BladeSystem [81] ......................................................... 208 Ilustración 81 Rack Utilizado [82] .................................................................................... 210 Ilustración 82 Puertas dobles microperforadas de doble hoja [82] ................................... 211

25

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ÍNDICE DE FIGURAS

26

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ÍNDICE DE TABLAS

Índice de tablas

Tabla 1 Características propias de cada Tier [17] ............................................................... 43 Tabla 2 Tabla de Presupuesto Económico ......................................................................... 104 Tabla 3 VLANs de comunicaciones Internas del CPD ..................................................... 135 Tabla 4 Especificaciones Nexus 7700 Supervisor 2E [79] ............................................... 197 Tabla 5 Especificaciones Cisco Nexus 7700 F3-Series 12-Port 100 Gigabit Ethernet Module [79] .................................................................................................................................... 198 Tabla 6 Especificaciones Cisco Nexus 7700 F3-Series 24-Port 40 Gigabit Ethernet Module [79] .................................................................................................................................... 200 Tabla 7 Características G5 BIG IP 2200s [66] .................................................................. 201 Tabla 8 Propiedades de Bluecoat SG-600 Series [80]....................................................... 204 Tabla 9 Características IBM z13 [71] ............................................................................... 206

27

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ÍNDICE DE TABLAS

28

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

INTRODUCCIÓN

1.

INTRODUCCIÓN

1.1 MOTIVACIÓN DEL PROYECTO La realización del Trabajo de Fin de Grado sobre la planificación y diseño de un Centro de Datos se justifica mediante los siguientes puntos: 1. Actualmente, la humanidad se encuentra en un periodo de transición profunda entre una sociedad industrial, y otra sociedad digital marcada por el procesamiento de la información y las telecomunicaciones. Dentro de esta sociedad digitalizada, toda la información debe ser almacenada y procesada para garantizar la continuidad y disponibilidad de los diferentes servicios a los empleados, clientes, empresas colaboradoras o ciudadanos de dicha sociedad. Es por esto por lo que un Centro de Procesamiento de Datos tiene vital importancia en la época actual.

Francisco González, Presidente de BBVA: “Como banco, tenemos una enorme cantidad de información, almacenada en diferentes partes de nuestro negocio. Lo que estamos haciendo es transformar esa información en conocimiento y el conocimiento en productos. Para nuestros clientes, se trata de ser capaz de acceder a todo lo que necesitan en tiempo real, utilizando nuestras aplicaciones digitales o plataformas.” [6]

2. En una entidad bancaria, es necesario conocer las características del negocio, el volumen de datos que se manejan y la criticidad de sus procesos para la elección correcta de un CPD, y para ello, un proyecto como éste, puede servir de referente en el conocimiento completo y profundo de un CPD de categoría Tier IV y las oportunidades que genera.

3. La realización de una beca de prácticas en el departamento de Comunicaciones C&IB de BBVA participando en distintas tareas de las redes de comunicaciones del banco. Y 29

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

INTRODUCCIÓN aprovechando que BBVA tiene uno de los CPDs más innovadores de Europa, y ahora mismo se encuentran realizando el segundo CPD de Tres Cantos, teniendo capacidad para investigar las buenas prácticas y posibles fallos que se han realizado durante la construcción de estos CPDs.

30

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS

2.

DESCRIPCIÓN DE LAS TECNOLOGÍAS

En este capítulo, se describen las tecnologías y protocolos importantes que merecen ser explicados individualmente para la correcta comprensión del Trabajo de Fin de Grado. El orden que se va a seguir en este capítulo será bajando el nivel de abstracción de manera progresiva, es decir, comenzando por las secciones más globales para acabar explicando las secciones más específicas.

2.1 SERVICIO DE CLOUD HÍBRIDA Para poder explicar qué es la nube híbrida, y por qué es tan importante a nivel empresarial, primero es necesario dejar claro los conceptos sobre el ‘Cloud Computing’, así como la nube privada y la nube pública.

2.1.1 CLOUD COMPUTING El concepto de nube comenzó con los grandes proveedores de servicios de internet a gran escala (Google, Amazon AWS, Microsoft etc.) que construyeron su propia arquitectura: un sistema de recursos distribuidos de forma horizontal, presentados como servicios virtuales y manejados como recursos configurados de forma continua [7] [8]. La computación en la nube se trata de un paradigma que permite la posibilidad de ofrecer servicios de computación a través de Internet.

31

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS

Ilustración 3 Cloud Computing [7]

En este tipo de computación, se ofrece a modo de servicio todo lo que un sistema informático físico puede ofrecer. Esto tiene vital importancia ya que le permite al usuario acceder a los servicios disponibles en ‘la nube’ sin que sea necesario tener conocimientos plenos sobre la gestión de los recursos que son necesarios para realizar las tareas que va a hacer. Según el IEEE Computer Society (Institute of Electrical and Electronics Engineers) la nube es “un paradigma en el que la información se almacena de manera permanente en servidores de Internet y se envía a cachés temporales de cliente, lo que incluye equipos de escritorio, centros de ocio, portátiles etc. “ Es decir, el Cloud Computing son servidores remotos de Internet que se encargan de atender las peticiones de los clientes en cualquier momento. El acceso a estos servicios se obtiene desde cualquier dispositivo de cualquier lugar del mundo mediante una conexión a Internet.

32

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS Esta forma de computación permite reducir los costes y garantizar mejor tiempo de actividad ya que permite aumentar la cantidad de servicios basados en la red, generando beneficios tanto a proveedores, que les permite ofrecer un mayor número de servicios de forma más eficiente y rápida, como a usuarios que tienen la posibilidad de acceder a ellos, y de ahorrar en costes salariales o costes de inversión en locales, materiales o dispositivos. Las características clave que esta tecnología presenta son las siguientes: 

Agilidad: capacidad de mejora para ofrecer recursos tecnológicos al usuario.



Coste: la nube convierte los gastos en capital en gastos de funcionamiento reduciendo las barreras de entrada.



Escalabilidad y elasticidad



Independencia entre dispositivo y ubicación



Rendimiento: los sistemas en nube optimizan el uso de los recursos.



Seguridad: puede mejorar gracias a que los datos se encuentran centralizados.



Mantenimiento: ya que el usuario no es el encargado del mantenimiento de las aplicaciones o dispositivos.

2.1.2 NUBE PÚBLICA Este modelo de cloud computing se trata del modelo más extendido entre la mayoría de los consumidores. Se trata de una nube en la que los servicios se proporcionan de forma virtualizada, usando un ‘pool’ de recursos físicos compartidos entre los clientes de la red de Internet. Uno de los ejemplos más claros de public cloud son los servicios de almacenamiento online como pueden ser Google Drive, o DropBox en los cuáles los clientes de todo el mundo comparten los mismos servidores o bases de datos. Esta propuesta de computación en la nube ofrece los siguientes beneficios y características:

33

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS 

Escalabilidad definitiva: los recursos están disponibles según la demanda de vastas reservas de recursos las nubes públicas para que las aplicaciones que se ejecutan en ellos pueden responder perfectamente a las fluctuaciones de la actividad.



Efectividad económica: esta nube junta grandes niveles de recursos para beneficiarse de la economía a gran escala.



Estilo de cobro por utilidad: algunos servicios de cloud pública suelen emplear modos de cobro ‘pay-as-you-go’ de manera que el consumidor tendrá capacidad acceso a los recursos que necesiten y cuando los necesiten pagando sólo los servicios que utilizan. De esta manera se evita inutilizar recursos.



Confiabilidad: gracias a que los recursos utilizados por un cliente son compartidos por varios y existe redundancia en los recursos, existe tolerancia ante fallos de componentes físicos.



Flexibilidad: Los servicios disponibles en el mercado que siguen el modelo de cloud pública son tan amplios que satisfacen la mayoría de necesidades de computación y pueden ofrecer sus beneficios por privado o a clientes empresariales por igual.



Independencia de la localización: la disponibilidad de los servicios depende solo de tener acceso a una conexión a Internet [9].

2.1.3 NUBE PRIVADA La nube privada se trata de un modelo particular de cloud computing que involucra una nube distinta y segura basada en un ambiente en el cual sólo un cliente específico puede operar. Como ocurre con otros modelos de nube, la privada proporciona potencia de computación como un servicio virtualizado. Sin embargo, en este caso, los servicios son solo accesibles por una única organización, proporcionando a dicha organización más control y privacidad. Este modelo se acerca más al modelo tradicional de redes de área local usadas en el pasado pero con las ventajas añadidas de la virtualización. Las características y beneficios de la nube privada son las siguientes: 34

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS 

Mayor seguridad y privacidad: los servicios de nube pública pueden implementar cierto nivel de seguridad, pero el modelo privado puede asegurar que las operaciones se mantienen fuera del alcance del resto de empresas o personas.



Más control: ya que solo una única empresa consigue acceso, esa organización tendrá la habilidad de configurar y gestionarla según sus necesidades.



Eficiencia: implementar este tipo de cloud puede mejorar la asignación de recusos dentro de una organización y asegurar la disponibilidad de dichos recursos a diferentes departamentos o negocios. Por lo que hacen que este modelo de trabajo sea más eficiente que la arquitectura LAN tradicional ya que minimiza la inversión.



Confiabilidad mejorada: includo donde los recursos se hospedan internamente, la creación de ambientes de operación virtualizados significa que la red es más resistente ante fallos individuales.



‘Cloud bursting’: se trata de un modelo de desplieuge en el que una aplicación que se está ejecutando con recursos de nube privada se expande hacia recursos de nube pública debido a la demanda de aumento temporal de capacidad de computación. Esto se trata de un paso hacia la nube híbrida [10] [11].

2.1.4 NUBE HÍBRIDA Este modelo de cloud computing se basa en la utilización de ambos tipos de nube explicados anteriormente. Todos los servicios de nube deberían ofrecer ciertos niveles de eficiencia, pero los servicios de nube pública tienden a ser más eficientes económicamente y más escalables que los de la nube privada. Por lo tanto, una organización puede maximizar su eficiencia empleando servicios de nube pública para todas las operaciones que no sean sensibles, y apoyándose en la nube privada cuando sea necesario [12]. La nube hibrida se puede implementar de diferentes maneras:

35

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS 1. Diferentes proveedores de cloud computing se unen para proporcionar ambos modelos como un único servicio integrado. 2. El mismo proveedor puede ofrecer la totalidad de la nube hibrida. 3. Organizaciones que gestionan su propia nube privada se apoyan en un proveedor de nube pública que tienen que integrar dentro de su propia infraestructura. Este tipo de nube permite la máxima escalabilidad y flexibilidad posible, además de ser muy eficiente económicamente ya que solo se benefician de la eficiencia de la nube pública, y proporciona seguridad ya que se utiliza el modelo privado para las operaciones sensibles y la nube pública puede utilizarse para el resto [13] [14].

2.2 HYPERVISORS - VIRTUALIZACIÓN La virtualización es el servicio clave que representa un centro de datos, permitiendo el uso de recursos de computación y de almacenamiento a toda la organización. El proceso de virtualización consiste en crear una versión lógica de lo que podría ser una máquina física. Los equipos de IT están limitados por el rendimiento de los servidores individuales, que se diseñan para tener un único sistema operativo ejecutándose a la vez, limitando de esta forma la cantidad de aplicaciones que puede ejecutar un servidor. La virtualización utiliza software para simular hardware, y crea un sistema de computación virtual, permitiendo de esta manera ejecutar en un mismo servidor múltiples SSOO y aplicaciones. Esto permite una mayor eficiencia tanto de rendimiento como económicamente.

2.2.1 VM – MÁQUINA VIRTUAL Una ‘Virtual Machine’ es un software aislado con un sistema operativo y un conjunto de aplicaciones. Cada VM es completamente independiente.

36

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS Ejecutar múltiples VM en un mismo servidor permite que se ejecuten multiples sistemas operativos y aplicaciones en un mismo host. El ‘hypervisor’ es el software encargado de asignar recursos de manera dinámica a cada máquina virtual. Las propiedades de las VM son las siguientes: 

Particionamiento: dividir los recursos del sistema para ejecutar multiples VM.



Aislamiento: se establece un aislamiento a nivel de hardware.



Encapsulamiento: guarda el estado de la configuración en ficheros, permitiendo así copiar y mover VM como si fueran simples ficheros.



Independencia del Hardware: es posible migrar una VM a cualquier servidor físico [15].

2.3 CATEGORÍAS TIER DE UN CPD La asociación de la Industria de las Telecomunicaciones, una asociación acreditada por la ANSI (American National Standars Institute), publicó en 2005 un documento en el que se definen cuatro niveles – o Tiers – en los que se clasifica un data center. Esta clasificación se lleva a cabo según los niveles de disponibilidad, rendimiento, y más factores que se explicarán en uno de los siguientes apartados.

2.3.1 UPTIME INSTITUTE Uptime Institute es una organización imparcial de asesoramiento centrada en mejorar la eficiencia, la fiabilidad, y el rendimiento de una infraestructura crítica de negocio mediante la innovación, la colaboración y certificaciones independientes.

37

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS La actividad del Instituto es reconocida mundialmente para la creación y administración de las normas y certificaciones para centros de procesamiento de datos, construcción y sostenibilidad operativa a lo largo de su gestión y de operaciones críticas. Dentro de las certificaciones que acredita esta organización, se encuentra el Tier. Cuando se habla de Tiers en un centro de datos, se habla de una clasificación creada por el Uptime Institute a partir de la cual se desarrolló el estándar ANSI/TIA-942 y que contiene 4 niveles [16]. La clasificación de un CPD dentro de un nivel u otro depende de diversos factores como son: 

Arquitectura de red.



Diseño Eléctrico.



Almacenamiento de datos y ‘backup’.



Redundancia del sistema. Tanto física (varios dispositivos) como lógica (enlaces redundantes).



Control de acceso y seguridad del edificio.



Gestión de las bases de datos.



Alojamiento Web.



Alojamiento de aplicaciones.



Distribución de contenido.



Control medioambiental.



Protección contra accidentes físicos (incendios, inundaciones, tormentas…).



Gestión de potencia eléctrica.

2.3.2 CARACTERÍSTICAS PROPIAS DE CADA NIVEL TIER Una vez ya explicado qué es la categoría Tier que tiene un centro de procesamiento de datos; y la organización, más importante a nivel mundial, encargada de realizar las pruebas para clasificar cada centro; se procede a realizar una explicación detallada de las características

38

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS necesarias para que un data center sea clasificado dentro de cada nivel Tier que existe [4] [17].

2.3.2.1 Tier I: Centro de Datos Básico Se trata de una instalación que no tiene redundancia para sus componentes vitales (climatización, suministro eléctrico) y que por tanto sus capacidades de operación se ven completamente afectadas ante el fallo de cualquiera de ellas. No es necesario que tenga suelos elevados, generadores auxiliares o SAI (Sistemas de Alimentación Ininterrumpida). Y todos los componentes de la instalación se encuentran conectados a una única línea de distribución eléctrica y de refrigeración. Por lo tanto, al no disponer de elementos redundantes, las operaciones de mantenimiento significan tiempo de no disponibilidad de la infraestructura. Este tipo de CPD presenta una disponibilidad del 99.671%.

2.3.2.2 Tier II: Centro de Datos Redundante Los centros de datos de esta categoría poseen redundancia para los sistemas vitales, como la refrigeración de los equipos, pero cuentan con un único camino de suministro eléctrico. En este nivel, es necesario que tenga suelos elevados, generadores auxiliares o SAI. A pesar de que en este nivel ya exista cierto nivel de redundancia, los equipos siguen conectados a una única línea de distribución eléctrica y de refrigeración. Por tanto, este tipo de instalaciones poseen cierto grado de tolerancia a fallos y que permiten algunas operaciones de mantenimiento que no afectan a la disponibilidad. Este tipo de centro tiene una disponibilidad del 99.741%. 39

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS

2.3.2.3 Tier III: Centro de Datos Concurrentemente Mantenible Cuando se habla de un Data Center de nivel TIER III se habla de un centro en el que además de cumplir los requisitos de TIER II, existen niveles importantes de tolerancia a fallos ya que se cuenta con redundancia para todos los equipamientos básicos incluido el suministro eléctrico, permitiéndose una configuración Activo / Pasivo. Este nivel de redundancia se extiende también a los servidores, los cuales deben contar con doble fuente de alimentación y, en principio, el Data Center no requiere paradas para operaciones de mantenimiento básicas. Como se ha explicado en las líneas anteriores, la instalación se encuentra conectada a múltiples líneas de distribución eléctrica y de refrigeración, con el detalle de que únicamente se activa una a la vez. Otro requisito importante para entrar en esta categoría, es que se pueda realizar el upgrade a TIER IV sin interrumpir el servicio. Los centros de este nivel tienen una disponibilidad del 99.982%.

2.3.2.4 Centro de Datos Tolerante a Fallos Este nivel de la clasificación es el nivel más exigente, ya que implica cumplir con los requisitos de TIER III, además de ser capaz de soportar cualquier tipo de fallo que inhabilite una línea (suministro o refrigeración) hacia alguno de sus componentes. Esta vez, los dispositivos se encuentran conectados a múltiples líneas de distribución eléctrica y de refrigeración con múltiples componentes redundantes 2 (N+1), ¿Qué significa esto? Que se cuenta con 2 líneas de suministro eléctrico, cada una de ellos con redundancia N+1 Un ejemplo:

40

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS Un CPD TIER IV que cuenta con 2 líneas de suministro eléctrico desde un grupo de electrógenos, y, a su vez, cada una de las líneas cuenta con N+ 1 grupos, por lo que para tener una interrupción del servicio se tendría que producir de manera simultánea lo siguiente: 1. Perdida de suministro eléctrico. 2. Fallo de 2 o más grupos electrógenos en cada una de las líneas de suministro.

Para entrar en el máximo nivel de Tier, es imprescindible una disponibilidad del 99.995% [18].

2.3.2.5 Tablas de Clasificación Creadas por Uptime Institute En este apartado, se encuentran unas tablas creadas por el Uptime Institute, en las cuales se especifican el grado de cumplimiento de cada característica para clasificar un CPD dentro de un nivel u otro:

Active Capacity Components

Tier I

Tier II

Tier III

Tier IV

N

N+1

N+1

N after any failure

1

1

1 active and

2 simultaneously

1 alternative

active

to Support IT Load Distribution Paths

Concurrently Maintainable

No

No

Yes

Yes

Fault Tolerance (Single event)

No

No

No

Yes

Compartmentalization

No

No

No

Yes

Continuous Cooling

Load density

Load density

Load densitiy

Yes (Class A)

dependent

dependent

dependent

41

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS Building Type

Tenant

Tenant

Stand-Alone

Stand-Alone

Staff shifts

None

1 shift

1+ shifts

“24 by Forever”

Useable for Critical Load

100% N

100% N

90% N

90% N

Initial Build-out kW per

minimiza el retardo.  Shared Trees utilizan menos memoria, pero es posible que no sean caminos óptimos.

82

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS

Protocol Independent Multicast (PIM) PIM aprovecha los protocolos que se utlizan para rellenar la tabla de rutas unicast. PIM utiliza esta información para realizar las funciones de reenvío multicast. A pesar de que se denomina un protocolo de ruteo multicast, utiliza la tabla de rutas unicast para llevar a cabo el chequeo RPF en vez de construir su propia tabla. Este protocolo no envía actualizaciones entre routers. Los modos de PIM existentes son: 







PIM Dense Mode (PIM-DM) utiliza ruteo multicast denso. Construye implícitamente Source trees inundando el dominio con tráfico multicast, y después corta las ramas del árbol de donde no existen receptores. Este método es muy sencillo, pero no escalable. PIM Sparse Mode (PIM-SM) Construye explícitamente árboles Shared Trees unidireccionales para cada grupo, y, opcionalmente, crea Source Trees por cada origen. Inicialmente, la fuente le indica mediante unicast al RP que desea iniciar una transmisión. Comienza a transmitir y el RP le va enviando esos paquetes a los receptores. Si el RP que dicha fuente no emite de una manera puntual sino que tiene una emisión prolongada y estable, y dependiendo de su configuración, tratará de modificar el árbol hacia un SPT, es decir, un source tree. Es el diseño más usado ya que no se suele tener muy claro a priori la forma del árbol a crear. Bidirectional PIM (Bidir-PIM) construye árboles bidireccionales. Es similar al PIMSM solo que éste nunca construye Source Trees, por lo que puede tener más retardo pero es más escalable ya que no necesita estados específicos del origen. PIM Source-Specific Multicast (PIM-SSM) contruye árboles que tienen raíz en un único origen. Construye Source Trees directamente. Ofrece un modelo más seguro y escalable para un número limitado de aplicaciones [38] [41].

2.12.2.5 SNMP El comité de actividades de internet (IAB) recomienda que todas las implantaciones de TCP/IP sean gestionables. Para llevar a cabo esta gestión, recomienda la utilización de estándares de gestión como son SNMP, o CMIP/CMIS.

83

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS El más utilizado es SNMP. Los elementos estandarizados por el TCP/IP son: 

Objetos gestionados.



Protocolo de comunicación gestor-agente



Estructura de la información de gestión

El desarrollo de SNMP se llevó a cabo mediante la creación de grupos de trabajo encargados de las siguientes tareas: 

Definición de los objetos importantes para la gestión de los distintos nodos. El conjunto de estos objetos forman la denominada ‘Base de datos de Información de Gestión’ o MIB.



Definición de la ‘Estructura de la Información de Gestión’ o SMI.



Definición del protocolo de comunicación agente-servidor o SNMP.

Los principales objetivos de la arquitectura de gestión SNMP fueron los siguientes: 

Desarrollo de un protocolo sencillo, con un número reducido de funciones realizadas por el agente.



La gestión de los nodos de la red se realiza primariamente mediante sondeos desde las estaciones gestoras (NMS) en los que se consultan o manipulan los objetos (variables) interesantes para la gestión. Estos sondeos implican un dialogo entre el gestor y el agente SNMP situado en dicho nodo. El número de objetos gestionables no debe ser muy elevado y además su manipulación no debe de entrañar un peligro para la estación.



Se permite que los agentes puedan enviar mensajes no solicitados a la NMS cuando se detectan determinadas situaciones. Se tratara de minimizar el número de estos mensajes no solicitados o traps en terminología SNMP.



A pesar de su simplicidad, SNMP debe ser flexible para poder recoger aspectos no anticipados que puedan aparecer con posterioridad.



La arquitectura de gestión debe ser independiente del sistema operativo o de la arquitectura de hardware de la estación gestionada. 84

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS 

No se permiten mandatos imperativos que provoquen la ejecución de acciones por los agentes. Si fuese necesario, pueden definirse variables que al ser modificado su valor, producen la ejecución de una determinada acción, por ejemplo, la realización de un test de funcionamiento [42].

La arquitectura básica de gestión SNMP es la siguiente:

Ilustración 27 Estructura básica de SNMP [42]

2.12.2.6 RMON La gestión SNMP estándar, la iniciativa está en manos del sistema gestor, excepto para la emisión de las pocas alertas definidas. Para obtener un conocimiento actualizado de la situación de un determinado elemento de la red TCP/IP se necesita que el gestor realice un sondeo activo y periódico del agente correspondiente que le proporcione la información necesaria. 

El sondeo produce tráfico elevado entre gestor y agentes.



Los objetos MIB proporcionan información sobre el sistema gestionado, sus adaptadores, el tráfico que generan, errores, tablas, configuración, etc. pero no sobre la red.



No se puede conocer la ocupación de la red Ethernet, su tráfico, su tasa de errores, etc.

85

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS El gestor, adicionalmente, deber realizar el proceso continuo de la información recibida de todo sus agentes con lo que su carga puede llegar a ser muy elevada. Todo el sistema de actuación requiere que la comunicación entre el agente-gestor esté permanentemente activa. Un fallo temporal de ésta imposibilita la supervisión del elemento o elementos afectados. Por ello, se estandarizó una función de supervisión remota para SNMP denominada Remote Monitoring (RMON). El sistema puede monitorizar redes Ethernet, Token Ring, etc. Con RMON se obtiene información sobre la operación del propio segmento de red en lugar de obtener información sobre el sistema que contiene el agente. RMON se basa en un agente situado en un elemento conectado directamente al segmento de red que se quiere supervisar y que realiza localmente las principales funciones de control sin necesidad del diálogo continuo con el gestor. El RMON realiza las siguientes funciones: 

Supervisión activa y continua de cualquier segmento de red de los tipos soportados. Como resultado de la monitorización pueden almacenarse los datos tanto de muestreos como históricos.



Definición de las condiciones de error en la red que deben ser vigiladas continuamente por el agente para su notificación al gestor cuando se produzcan. También puede producirse un registro de errores.



Conocimiento de las estaciones TCP/IP conectadas al segmento supervisado con obtención de sus principales estadísticas de tráfico.



Captura de paquetes transmitidos a través de la red y que cumplan determinadas condiciones que se especifican.



Toda esta monitorización puede seguir realizándose aunque no exista comunicación agente-gestor por problemas de fallos, carga en el gestor o coste de las comunicaciones. 86

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS

2.12.3 TRILL – TRANSPARENT INTERCONNECTION OF LOTS OF LINKS Se trata de un estándar de la IEFT que combina las técnicas de switching y de encaminamiento, y es la solución para el encaminamiento por estado de enlace en las configuraciones con VLANs. Los switches que se configuran con este estándar pasan a llamarse RBridges [38] [43]. Los RBridges utilizan un protocolo de estado de enlace (IS-IS normalmente). El uso de un protocolo de ruteo sirve para que un switch conozca a todos los switches de la configuración, y la conectividad entre ellos, permitiendo de esta manera encontrar los caminos óptimos para unicast, y calcular los árboles de distribución utilizados para los grupos multicast. Se utiliza IS-IS como protocolo de estado de enlace por las siguientes razones: 

Se trata de un protocolo de nivel 2, por lo que no es necesario configurar direcciones IP a los puertos de los switches.



Su implementación es fácil de extender entre los switches.

Al configurar todos los switches como RBridges, se elimina la necesidad de utilizar STP, ya que se crea una ’nube’ de switches interconexionados parecida a las redes MPLS. Esto permite el máximo uso del ancho de banda a la vez de aportar estabilidad a la configuración.

87

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS

Ilustración 28 Nube de RBridges de TRILL [43]

2.12.4 MPLS VPN MPLS VPN se trata de un conjunto de protocolos de L2 y L3, pero actúa en la capa de enlace (L2), por estas razones se ha creado una sección propia para ello, en vez de introducirlo en la sección de nivel de red, o de nivel de enlace. Para poder entender bien lo que es una red MPLS VPN, es necesario primero entender las características básicas de una red MPLS, y las de un enlace VPN [44].

2.12.4.1 MPLS MPLS significa “Multi Protocol Label Switching”. Como mejor se resume es como “un protocolo de red de nivel 2,5” [45]. En el modelo OSI tradicional, en la capa 2 se encuentran protocolos que transportan paquetes IP pero solo dentro de LANs o enlaces WAN punto a punto. La capa 3 cubre el direccionamiento de internet y el ruteo utilizando protocolos IP. 88

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS MPLS se encuentra entre estas dos capas tradicionales, proporcionando características adicionales para el transporte de datos a través de la red. En una red IP tradicional cada router determina el siguiente salto mediante su tabla de rutas, y reenvía el paquete. Cada router repite el proceso de manera individual e independiente hasta llegar al destino final. En MPLS el primer dispositivo realiza un ruteo parecido al anterior, pero esta vez, en vez de encontrar un siguiente salto, encuentra el router destino, y encuentra un camino predefinido desde este dispositivo hacia ese router final. El router aplica una etiqueta basándose en esta información, y los routers futuros utilizan esta etiqueta para encaminar el tráfico (sin necesidad de búsquedas IP adicionales). El router destino quita esta etiqueta y lo direcciona al host final mediante el routing IP tradicional.

2.12.4.2 VPN Una Virtual-Private-Network se trata de un enlace virtual punto-a-punto entre dos routers de diferentes redes. Las VPN reemplazan enlaces punto a punto con links emulados de punto a punto, compartiendo una infraestructura común. Los clientes utilizan VPN principalmente para reducir costes.

89

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS

Circuito Emulado

Ilustración 29 Circuito virtual emulado para el uso de VPN [45]

A la hora de implementar una VPN, existen dos maneras maneras diferentes: 

Overlay VPN: el proveedor proporciona un enlace virtual punto a punto (el cliente se encarga del resto): El routing en esta tecnología se hace directamente entre routers del cliente (el next hop de un punto de la VPN es el siguiente router del cliente). El proveedor solo es responsable del transporte de datos de un punto a otro. Se trata de una tecnología fácil de implementar, en la que el proveedor no participa en el routing, por lo que las redes del cliente están bien aisladas. Pero esto hace que para un routing óptimo se requiera una malla completa en los circuitos virtuales, y se tienen que hacer de manera manual.



VPN P2P: el proveedor participa en el routing del cliente. Requiere direccionamiento público. Los routers internos del proveedor mantienen las rutas para todas las VPN de clientes. Garantiza un routing óptimo, es escalable. Aunque el proveedor tiene que participar en el routing del cliente, y son responsables de la convergencia. Que el proveedor participe significa que este tiene que saber al detalle el direccionamiento IP del

90

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS cliente, y además un router del proveedor contiene todas las rutas de todos los clientes.

2.12.4.3 MPLS VPN Esta manera combina los beneficios de ambos modelos de VPN (la seguridad de overlay y el routing de P2P). Los routers PE solo tienen rutas de las VPN que pasan por él. MPLS se encarga del reenvío (no del routing) de paquetes, por lo que el enrutamiento completo dentro del backbone ya no es necesario. Una VPN es una colección de sitios que comparten una información de enrutamiento, pero un sitio puede pertenecer a más de una VPN. Tipos de Routers Utilizados 

CE: Customer Edge. Se trata del router del cliente que se conecta con la red del ISP.



PE: Provider Edge. Es el router del proveedor de servicios que se conecta con el cliente. Es el encargado de colocar las etiquetas. Y también de quitarlas en el otro extremo, antes de reenviar los paquetes hacia el otro CE del cliente.



P: Provider. Es un router que se encuentra en el mallado MPLS. Se encarga simplemente de realizar el label-switching para que el tráfico circule a través del mallado.

Los routers mantienen tablas de rutas separadas:  

La tabla de rutas global VRF: tabla asociada con uno o más sitios conectados directamente. VRF se asocia con cualquier interfaz (físico o lógico). Estas interfaces comparten VRF si los sitios comparten la misma información de enrutamiento.

¿Cómo comparten los routers PE la información de enrutamiento del cliente? Se ejecuta un único protocolo de routing que lleva todas las rutas del cliente entre los PE. Se utiliza MPLS para intercambiar paquetes entre los PE. Debido a que esta información de

91

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS ruteo puede ser muy grande, se utiliza BGP. Las direcciones de cada cliente deben ser únicas dentro del circuito virtual. Flujo de Tráfico en la red El router frontera del cliente (CE Router) proporciona información de enrutamiento IPv4. Los routers PE instalan esta información en la tabla VRF apropiada. Después, exportan y propagan las rutas como rutas VPNv4 hacia otros routers PE. Los routers P hacen switching MPLS (etiquetas) [45].

Ilustración 30 Comunicaciones en una red MPLS VPN [45]

92

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS

2.13 CABLEADO Uno de los puntos con más potencial de error humano es a la hora de realizar el cableado de la sala de ordenadores, tanto conexiones entre servidores y switches, como switches entre sí, etc.

2.13.1 CABLEADO INCORRECTO Un mal cableado, puede provocar numerosos problemas. Colocar el cableado en una mala ubicación puede restringir la circulación del aire, un punto vital para el correcto funcionamiento de los componentes electrónicos. Restringir la circulación de aire quiere decir que los dispositivos no se refrigerarán de forma correcta, acarreando posibles fallos o caídas de equipos [31]. Otro problema de un mal cableado ocurre cuando no se cablea con de forma estructurada, ni se gestionan bien los grupos de cables. Llevar un mal orden de cableado implica no poder trazar los extremos del cableado, es decir, no saber qué cable conecta dos dispositivos, llevándolo a un posible problema a la hora de resolver asuntos de gestión de red, provocando un contratiempo.

Ilustración 31 Ejemplo de cableado incorrecto [46]

93

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DESCRIPCIÓN DE TECNOLOGÍAS

2.13.2 CABLEADO ESTRUCTURADO El cableado estructurado debe tener unas exigencias de calidad de alto nivel. Las razones por las cuales el cableado estructurado es un punto de gran responsabilidad en un centro de datos son las siguientes: 

Ahorro de tiempo a la hora de detectar fallas. Un buen cableado, con un correcto etiquetado, y documentado, reduce el tiempo de detección de fallas hasta en un 75%.



Garantía de conectividad. La red local es de suma importancia para el correcto funcionamiento de las instalaciones.



Garantía de ancho de banda entre terminales. La distancia máxima posible de una conexión por fibra de alta capacidad es de varios cientos de metros, pero el problema se encuentra en las conexiones por cobre, las cuales predominan en una sala de ordenadores genérica. El cobre permite comunicaciones hasta un límite de 90 metros. Por esto, es necesario tener en cuenta la distancia entre amplificadores de señal para garantizar el ancho de banda óptimo [46].

94

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ESTADO DE LA CUESTIÓN

3.

ESTADO DE LA CUESTIÓN

Las diferentes formas de implementar un Centro de Procesamiento de Datos, como se ha explicado en la introducción, son los diferentes niveles Tier que puede adquirir el centro. Estos niveles van desde Tier I Bronze hasta Tier IV Gold. Uptime Institute es mundialmente reconocido por la creación y administración de los rigorosos estándares Tier y certificaciones que permiten a los CPDs cumplir sus objetivos mientras mitigan los posibles riesgos. Actualmente, Uptime Institute ha galardonado 703 certificaciones en 71 países del mundo. Siendo 17 de ellos en España. Naturalmente, el más simple se trata de un CPD Tier 1, utilizado por pequeñas compañías. Las diferencias entre los distintos niveles son las siguientes: 

Tier 1: garantiza una disponibilidad de 99.671%. No tiene componentes redundantes (enlaces y servidores únicos).



Tier 2: garantiza una disponibilidad de 99.741%. Este sí que contiene componentes redundantes.



Tier 3: garantiza una disponibilidad de 99.982%. Aparte de tener redundancia, también posee equipos con doble fuente de alimentación y múltiples enlaces.



Tier 4: es el que más disponibilidad garantiza, siendo esta el 99.995%. Además, incluye las características de un Tier 3, pero añadiendo que todos los componentes son tolerantes a fallos, incluyendo entre estos: enlaces, almacenamiento, enfriamiento, sistemas HVAC6, servidores etc. Además, todo posee doble fuente de alimentación [18].

6

HVAC (Heating, Ventilating and Air Conditioning): Se trata de la tecnología utilizada para controlar temperaturas y calidad de aire aceptables.

95

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ESTADO DE LA CUESTIÓN

3.1 ¿QUÉ DEFINE A UN CENTRO DE DATOS TIER IV? A continuación, se describen los puntos que se analizan a la hora de clasificar un CPD dentro de los diferentes niveles Tier que impone el Uptime Instute. 

Disponibilidad garantizada del 99,995 % anual. Es decir, que durante todo un año el único período de actividad que no está garantizado es de 26 minutos. Un peldaño por debajo está la certificación TIER III, con una disponibilidad asegurada del 99,982 % (95 minutos anuales no asegurados).



Refrigeración a través del suelo técnico. En cada una de las salas del Alcalá Data Center encontramos este tipo de suelo, donde está instalado el cableado pero a través del cual también pasa el aire que se ha reciclado del exterior y que sirve para mantener frescas estas salas pese al calor que desprende cada uno de los equipos, a una temperatura siempre monitorizada de entre 18 y 24ºC.



Eficiencia energética medida como la relación entre energía recibida y energía empleada en las salas IT. La relación óptima sería de 1. En un centro de datos TIER IV está entre 1,2 y 1,4. En el Alcalá Data Center está entre 1,2 y 1,3.



Escalabilidad viable pensada desde su construcción. El factor más importante es la posibilidad de que el centro de datos pueda ampliar su capacidad eléctrica de forma modular, sin precisar de obras completas que pudiesen requerir parar la actividad de los equipos. El Alcalá Data Center está construido siguiendo esta premisa, "como un LEGO" según sus creadores. Es fácil y rápido agregar nuevas cajas eléctricas.



Redundancia, quizás el concepto en el que más han insistido los representantes del Alcalá Data Center. De él depende gran parte de la seguridad de los datos y la actividad de los equipos. Todas las salas deben tener duplicada la fuente de alimentación eléctrica y mantenerse activas de forma independiente. Se calcula la potencia total requerida y se duplica con un pequeño margen para asegurarse de que el suministro nunca será un problema. También se duplican las redes de acceso a los datos. Tanto si fallan ellas como si falla el suministro eléctrico por alguna razón, el 96

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ESTADO DE LA CUESTIÓN funcionamiento siempre estará garantizado con ese 99,995 % de disponibilidad anual. Las condiciones físicas y climatológicas de España hacen que sea un poco más sencillo alcanzar este nivel, ya que no es un país donde son habituales los terremotos o los huracanes, por ejemplo.

La segunda certificación que se adjudica a los CPDs se trata de la sostenibilidad operativa que posee el centro. Esta certificación se centra en la gestión, operaciones y mantenimiento del centro en vez del diseño topológico. Los tres elementos principales de la certificación son: 

Gestión y operaciones: la presencia del personal, su cualificación, programas de mantenimiento etc.



Características del edificio.



Localización: riesgos a catástrofes naturales como terremotos, inundaciones etc.

Para este tipo de certificación, se adjudican tres niveles: 

Gold: potencial de tiempo actividad completo por parte de las instalaciones de la infraestructura.



Silver: existen algunas oportunidades de mejoras para conseguir todo el potencial de la infraestructura.

 Bronze: existen numerosas oportunidades de mejora.

Existen sólo 8 CPDs con la certificación Tier IV Gold, estando 4 de ellos en España y se encuentran en este selecto grupo los 2 CPDs de BBVA en Tres Cantos [18].

97

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ESTADO DE LA CUESTIÓN

98

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DEFINICIÓN DEL TRABAJO

DEFINICIÓN DEL TRABAJO

4. 4.1 JUSTIFICACIÓN

En el apartado 1.1 Motivación del proyecto, se ha explicado del gran valor que aporta un centro de datos a una gran entidad financiera. Como se explica en el apartado Estado de la Cuestión, existen numerosos documentos sobre buenas prácticas a la hora de construir un CPD, pero no se ha encontrado ningún documento que explique al detalle cómo diseñar la sala más importante de un centro de datos (la sala de ordenadores), ni cómo realizar las conexiones de la sala del centro de datos, así como las partes, dispositivos y colocación de los mismos de esta sala. Es por estas razones por las que se realiza este Trabajo de Fin de Grado, sobre el diseño de un CPD, centrándose especialmente en la topología LAN de la sala de ordenadores.

4.2 OBJETIVOS Los objetivos a cumplir durante el desarrollo de este TFG se tratan de: 

Explicar detenidamente el valor añadido de un Centro de Procesamiento de Datos para una entidad bancaria.



Explicación de la topología y conexiones de un CPD: o LAN (Local Area Network): Se trata de la red de comunicaciones de dispositivos conectados a la red del edificio. o Seguridad: seguridad tanto lógica en el tema de las comunicaciones como física del edificio. o Conexiones con empresas: analizar las diferentes formas de conexión con organizaciones externas.

99

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DEFINICIÓN DEL TRABAJO 

Explicar la importancia que tienen en la actualidad el Cloud Computing, su convivencia con CPDs fiables y potentes, y el concepto de Cloud híbrida vital para grandes compañías como BBVA, Santander o Telefónica.

4.3 METODOLOGÍA Se pretende desarrollar un proyecto de “investigación” por lo que se procede a entender el contexto del modelo y evaluar la implantación en una organización bancaria genérica. A lo largo de la realización del proyecto, se hará uso de diferentes métodos de trabajo: 

Métodos empíricos: para la obtención de la información, como entrevistas o investigación en diferentes fuentes de información.



Métodos teóricos: para el análisis e interpretación de la información obtenida.

Por otro lado, a lo largo de la redacción de la memoria del Trabajo de Fin de Grado, se llevará a cabo una metodología de planificación del trabajo “en cascada” ya que cada tarea de la misma se completará tras la finalización de su fase de la planificación. Como se observa en la Ilustración 32 Diagrama de Gantt, la planificación del proyecto se ha dividido de manera secuencial entre los diferentes objetivos a cumplir. Se realizará una entrevista por cada diferente sector topológico a estudiar, así como un análisis y estudio de la información recopilada de cada entrevista y fuentes bibliográficas de cada tema. Además, se planifica una reunión de seguimiento con el director de proyecto cada dos semanas. La fecha de finalización del TFG es el 31 de mayo de 2015.

100

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DEFINICIÓN DEL TRABAJO

4.4 PLANIFICACIÓN Y ESTIMACIÓN ECONÓMICA

Ilustración 32 Diagrama de Gantt

101

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DEFINICIÓN DEL TRABAJO Durante la etapa de recopilación y análisis de información, se hará uso principalmente de información online (diferentes blogs, sitios web de información sobre la materia como puede ser la web de Cisco (www.cisco.com), teoría de las asignaturas de Diseño y Gestión de Infraestructuras I y II, y finalmente contrastar la información obtenida de esta forma con la obtenida a partir de entrevistas con diferentes personas encargadas de las redes de comunicaciones, almacenamiento y seguridad lógica del centro de datos de Tres Cantos de BBVA. Durante la etapa de planteamiento del modelo CPD a diseñar, se utilizarán herramientas de simulación (como por ejemplo ‘Packet Tracer’ de Cisco) para simular el funcionamiento de toda la infraestructura, herramientas de diseño de redes como Visio y Smart Drawer. Así como documentación aportada por el departamento de Comunicaciones C&IB del banco. A continuación, se lleva a cabo la estimación económica del proyecto. Los costes económicos de este trabajo son: personal, software y hardware. Hay que destacar, que como el proyecto se basa en las comunicaciones de redes de un CPD, se obvian los costes tanto del edificio, como del suministro de potencia eléctrica y refrigeración. 

Coste Personal: el proyecto tiene una duración total de 5 meses, con una inversión de 20 horas semanales. Por lo tanto, el número total de horas necesarias es de 400 horas aproximadamente. Este coste personal se divide en varios perfiles de trabajo: o Director de proyecto: se trata de un trabajador experto en el área de comunicaciones, con experiencia en diseño de data centers. Será el encargado de realizar el análisis de requisitos, y asegurarse de que se cumplen los plazos y los objetivos marcados. Esta persona realizó un trabajo de 10 horas, con un coste de 60€/h. Por lo que los servicios prestados por este actor tienen un valor de 600,00 €. o Consultor junior de Telecomunicaciones: se trata del encargado de realizar toda la carga del proyecto una vez definidos los requisitos y plazos por el jefe de proyecto. Su trabajo será tanto de investigación del mercado, como estudiar la colocación y configuración de los dispositivos de la sala de 102

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DEFINICIÓN DEL TRABAJO ordenadores del CPD. Este actor trabajó 490 horas del proyecto, y el coste por hora de este perfil de trabajo es de 40,26 €/h, por lo que el coste total de este perfil es 19.727,40 €. 

Coste Software: en cuanto al software utilizado, la mayoría se trata de Open Source con licencias gratuitas, a excepción de la aplicación ‘Visio Standard 2016’ para la realización de algunos diagramas de red o topologías. El precio de este software es 329.75 €.



Coste Hardware: esta sección se trata del apartado que necesita mayor inversión económica, debido a que se parte de cero y se adquiere todo el hardware necesario. Además, destacar que en este punto sólo se refleja el precio total de cada tipo de hardware, debido a que en el capítulo 5 se justifica el número de unidades y el precio unitario de cada dispositivo. o 1 Ordenador HP EliteDesk 800 G2 con formato reducido: proporcionado por BBVA, con un coste de 899.00 €. o 70 Racks: 95.900,00 € o 10 switches Nexus 7700 modulares: 3.634.000,00 €. o 6 Balanceadores de carga: 151.800,00 €. o 8 Firewalls: 135.192,00 €. o 2 proxies: 41.000,00 €. o 20 Servidores MainFrame de IBM z13s: 20.000.000,00 €. o 20 Servidores MainFrame Oracle ExaData: 27.560.000,00 €. o 51 HP Enclosures: 246.740,00 €. o 408 servidores HP Blade 12.471.315,60 €. o 788 metros Bandejas Rejiband: 39.400,00 € o PatchPanel y cableado inteligente: 110.250,00 €.

El coste total del proyecto sumando todas las variantes asciende a 64.506.254,75 € sin IVA. Al sumar los impuestos (21%), se queda un presupuesto final de 78.052.568,25 €. El desglose del presupuesto se puede ver resumido en la siguiente tabla:

103

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

DEFINICIÓN DEL TRABAJO Tipo de Coste

Coste Sin IVA

Coste con IVA

Personal

20.327,40 €

24.596,15 €

Software

329.75 €

399,00 €

Hardware

Total Sin IVA

Total con IVA

64.486.496,60 € 78.028.660,89 € 64.507.153,75 € 78.053.656,04 €

Total

Tabla 2 Tabla de Presupuesto Económico

104

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO

DISEÑO DEL CPD

5.

En este capítulo, se procede a la descripción del proyecto desarrollado. Se detallan las tecnologías que se han utilizado, y la forma en la que se han implementado. Como en el capítulo 2, el orden que se va a llevar es desde fuera hacia dentro, es decir, empezando por los elementos más globales y externos, y terminando por las secciones más específicas de la sala de ordenadores del centro de datos.

5.1 DISEÑO GLOBAL DEL CPD La arquitectura de un CPD consiste de 3 partes primarias modulares con interdependencias jerárquicas: base, servicios del CPD, y servicios de usuario. El gráfico a continuación permite visualizar mejor esta arquitectura [31].

Ilustración 33 Pirámide de Servicios de un CPD [47]

5.1.1 BASE DEL CPD Al igual que los cimientos de una casa, el bloque primario a la hora de diseñar un CPD es la base sobre la cual se apoyaran todos los servicios.

105

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO Tanto si es un CPD con una habitación de servidores conectados mediante una LAN Ethernet tradicional como si es un CPD avanzado y se va a diseñar mediante SDN, la capa base del centro tiene que ser resistente a fallos, escalable y flexible para permitir que el centro tenga servicios que añadan valor, rendimiento y confiabilidad. La base proporciona la capacidad de computación necesaria para dar soporte: a las aplicaciones que requieran mayor capacidad para procesar la información; y al transporte entre la granja de servidores, almacenamiento y usuarios que acceden a las aplicaciones. Para los usuarios, esta capa trabaja de manera transparente cuando esta implementada de forma correcta.

5.1.2 SERVICIOS DEL CPD La capa de servicios es el siguiente nivel jerárquico de la arquitectura. Tratan de complementar y modificar el ambiente de trabajo según las intenciones de la organización. Es posible que sean necesarios grandes espacios abiertos para un suelo de manufacturación, o que esté rodeada por sólidos muros que implementen un control de acceso para un lugar de trabajo más seguro. Es decir, la capa de servicios permite modificar la zona a un mayor nivel o mejorar la capacidad de operación. Normalmente, esta capa incluye firewalls y sistemas IDS7 que intensifican la seguridad de las aplicaciones y el acceso a los datos de nivel crítico. El switching virtual permite extender el control de la red de manera tolerante a fallos desde la el nivel base hacia los sistemas hypervisor de los servidores para mejorar el control y abaratar los costes operacionales.

5.1.3 SERVICIOS DE USUARIO Esta capa se encuentra en la zona más alta de la pirámide jerárquica y se apoya en los dos inferiores para trabajar de forma eficiente. Este tipo de servicios son las aplicaciones que

7

An intrusion detection system (IDS): es un dispositivo o software que monitoriza las actividades de red o del sistema, para encontrar actividades maliciosas o violaciones de políticas y lo reporta a una estación gestora.

106

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO permiten a una persona hacer su trabajo y como objetivo final mejorar la productividad de la organización. Poniéndolo en contexto para facilitar la explicación, este tipo de servicios es el análogo de un ascensor del edificio que te lleva hasta la planta de tu oficina, o las luces de la oficina o simplemente el botón de llamada del teléfono que permite realizar una llamada importante. Las aplicaciones que se encuentran en esta capa son aplicaciones que utilizan servicios de BBDD, procesos de transacciones etc.

5.2 DISTRIBUCIÓN DE LA SALA DE ORDENADORES La sala de ordenadores será una habitación rectangular, de 27 metros de ancho por 23 metros de largo, dando lugar así a una superficie de unos 621 metros cuadrados. Esta sala contiene tres habitaciones: la sala de operadores, la sala de seguridad y la sala donde se colocarán todos los servidores, switches y dispositivos de almacenamiento. Las salas de seguridad y de operadores tienen las mismas características: 12 metros de ancho por 3 metros de largo. En cada una de estas habitaciones se coloca una fila de racks. Además, estas dos salas están separadas de la sala de ordenadores mediante paredes de metacrilato. Con estas dos salas, se reduce la sala de ordenadores a una habitación de 27 metros de ancho, por 20 de largo (540 𝑚2 ) que dan espacio para albergar 6 filas de racks y 2 columnas. La separación entre columnas es de 3 metros, espacio suficiente para que el equipo de mantenimiento pueda avanzar a lo largo de la sala; y la separación entre filas es de 2 metros, dejando el espacio óptimo para implantar los pasillos fríos y calientes.

107

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO Los racks se llenan entorno al 70% de capacidad. Esto es debido a que se dejará un 30% de la capacidad del data center para la posible escalabilidad futura. Dejar el 30% de los racks vacíos implica también dejar el 30% de los puertos de los switches de acceso, agregación y núcleo vacíos. En la siguiente figura se observa el plano de la sala de ordenadores:

Ilustración 34 Plano de la Sala de Ordenadores

108

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO

5.2.1 FILAS DE RACKS Cada fila de racks tiene capacidad para albergar 20 racks. En las siguientes ilustraciones se observan las medidas tanto de una fila, como de un rack:

Ilustración 35 Medidas de 1 Rack (1.867m x 0.6m)

Ilustración 36 Medidas de una fila de Racks

En la ilustración a continuación, se encuentra el plano de la sala de ordenadores, con la distribución de los racks, indicando cómo se va a llenar cada rack. La explicación se realizará fila por fila. 109

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO

Ilustración 37 Distribución de los Racks

110

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO Patch Panel Aunque se vaya a realizar una explicación fila por fila, es necesario incluir un apartado separado para explicar la colocación del Patch Panel, ya que en todas las filas, se deja un rack completo que va a estar dedicado a albergar el patch panel, con el cableado inteligente del que se habla en el capítulo 5.13 Cableado. El rack de patch panel tiene la siguiente forma:

Ilustración 38 Rack con Patch Panel y Cableado Inteligente

111

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO

5.2.1.1 Fila 1 Columna 1 Para comenzar, es necesario apuntar que se deja una fila de racks completa para albergar los sistemas SAI que permiten redundancia en las fuentes eléctricas de todos los dispositivos. Como el objetivo de este proyecto no es analizar suministros eléctricos, simplemente se hace una mención de dónde se colocan estos dispositivos. Se les proporciona acceso a los SAI para permitir la gestión remota mediante SNMP, RMON, o entrar a ellos vía telnet o ssh, que permita la configuración desde un ordenador. En la siguiente ilustración, se encuentran los sistemas SAI que se utilizan en el CPD Tres Cantos I de BBVA.

Ilustración 39 Sistemas SAI CPD Tres Cantos I de BBVA [48]

5.2.1.2 Fila 3 Columna 2 Otra fila completa será ocupada por repartidores de fibra óptica. Un repartidor de fibra óptica es un envolvente utilizado para proporcionar protección mecánica a las conexiones que se realizan a los extremos de los cables de fibra óptica terminados en conectores. En la imagen a continuación aparecen los repartidores de fibra del CPD de BBVA Tres Cantos I.

112

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO

Ilustración 40 Repartidores de Fibra Óptica del CPD de BBVA Tres Cantos I [48]

5.2.1.3 Fila 2 Columna 1 Esta fila está constituida por 10 racks reservados para almacenamiento y SAN. Cuenta con 2 servidores de exadata de Oracle, 3 z13s de IBM, y otros tres racks de servidores blades. Existe un rack de patch panel, y el último rack que queda de la fila es para un switch de acceso, que da soporte a todos los servidores de la fila, y además proporciona acceso a los sistemas SAI de la primera fila.

5.2.1.4 Fila 3 Columna 1 Esta fila es muy parecida a la anterior, pero esta vez cuenta con 4 racks para servidores blade, y no cuenta con switch de acceso.

5.2.1.5 Fila 4 Columna 1 Esta fila es igual que la Fila 2 Columna 1, con la diferencia de que el switch de acceso de esta fila da soporte a los servidores de las filas 4 y 5 de la misma columna 1.

5.2.1.6 Fila 5 Columna 1 Ídem de la Fila 3 Columna 1.

113

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO

5.2.1.7 Fila 6 Columna 1 Esta fila es una fila completamente reservada para almacenamiento y para SAN, por lo que no se hará hincapié en explicar esta fila.

5.2.1.8 Fila 6 Columna 2 Ídem de la Fila 3 Columna 1.

5.2.1.9 Fila 5 Columna 2 Fila parecida a la Fila 2 Columna 1, pero el switch de esta fila da acceso a los servidores de la fila 6 y fila 5 de la columna 2.

5.2.1.10 Fila 4 Columna 2 Igual que la Fila 2 Columna 1, pero el switch proporciona acceso a los servidores de la fila 4 columna 2, y a los repartidores de fibra de la fila 3 y la columna 2. Se les proporciona acceso a la red a los repartidores por motivos parecidos por los que se le da acceso a los SAI.

5.2.1.11 Fila 2 Columna 2 Esta fila está dividida en 10 racks reservados para SAN y almacenamiento, un rack para el Patch Panel. Existen 6 racks se encuentran vacíos, permitiendo escalabilidad en el caso de que la organización crezca en el futuro. Los últimos 4 racks de esta fila se utilizan para entornos previos. Se destina un rack para un switch de agregación, y dos racks para servidores blade. A pesar de tener racks vacíos, se siguen colocando para permitir aislar térmicamente los pasillos fríos y calientes que se explican en el punto 5.5.2 Enfriamiento

5.2.1.12 Fila 1 Columna 1. Esta fila es la fila más importante para las comunicaciones de la sala de ordenadores, puesto que es la fila en la que se colocan: firewalls, zona DMZ, Core y Agregación.

114

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO Existen también, 3 racks para colocar los firewalls. Un rack por cada clúster de firewall (5.9 Topología de Firewalls Utilizada). A continuación, vienen 5 racks para la zona DMZ. La distribución de estos cinco racks se divide de la siguiente manera: 

1 Rack para albergar los proxies.



2 Racks para servidores z13s de IBM



2 Racks para servidores Exadata de Oracle.

A la derecha de la zona DMZ, se encuentran los 2 racks para albergar los switches del núcleo del CPD. Existe un rack vacío que separa esta zona de la capa de agregación, con el doble propósito de servir como frontera entre las dos capas, y para permitir escalabilidad de cualquiera de ambas capas en un futuro.

5.2.1.13 Sala de Seguridad Esta sala aislada, contiene una fila de 18 racks, de los cuales 14 serán utilizados para las funciones descritas en 5.12 Sala de Seguridad. Los otros 4 racks están ocupados por un Patch Panel, un switch de agregación que se conecta a través de un firewall al núcelo, un servidor IBM que realiza las tareas de encriptación y análisis necesarias para esta sala, y un rack de servidores blade que servirán de apoyo al mainframe IBM en caso de que necesite apoyo a la hora de procesar los datos.

5.2.1.14 Sala de Operadores De la sala de operadores, debido a que se colocan routers y switches propios de operadores, y no de la compañía, solo se menciona que se coloca un patch panel para hacer el reflejo de las conexiones de esta sala.

115

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

SISTEMA/MODELO DESARROLLADO

116

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS

5.3 SISTEMAS DE SEGURIDAD FÍSICA DEL DATA CENTER La seguridad perimetral es un apartado de la planificación de un CPD en el que no se puede escatimar con costes debido a que la protección de los datos que se procesan en el centro es importante para la situación económica de la empresa [49].

5.3.1 UBICACIÓN El primer paso es elegir el sitio adecuado para construir el centro. El lugar elegido para la construcción del edificio debe ser un sitio en el que sea muy improbable que se produzcan catástrofes naturales como pueden ser inundaciones, huracanes o terremotos. Además, también es conveniente que esté alejado de lugares como aeropuertos, centrales químicas o nucleares, y a cierta distancia de la oficina central de la empresa. También es conveniente que no se encuentre en un lugar muy caluroso, ya que esto supondría un mayor coste para la refrigeración y ventilación de la electrónica de la instalación. Además, el centro se debe localizar a cierta distancia con respecto al centro de “back up” para asegurarse de que en caso catástrofe natural, no se queden inhabilitadas ambas instalaciones a la vez. Debido a que se trata de un CPD genérico, no se puede elegir una ubicación en concreto, ya que, como se ha explicado en este punto, la ubicación dependerá de la organización dueña del centro, pero por poner un ejemplo que mejore la compresión, Telefónica colocó su último CPD en Alcalá de Henares, y BBVA tiene 2 en Tres Cantos. Como se puede observar, ambas compañías decidieron colocar los CPDs en localidades de la periferia de Madrid, ambas entre 20 y 30 km de las oficinas centrales de las empresas, y lejos de aeropuertos y centrales.

5.3.2 PAREDES El siguiente punto, es prestar atención a las paredes. Una solución no muy costosa, pero sí efectiva, consiste en paredes de hormigón de 30cm de grosor. Esta técnica proporciona

117

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS seguridad ante elementos, y explosivos. Para maximizar la seguridad, se instalan capas de kevlar entre las paredes. A la hora de construir la instalación, se debe pensar en un edificio de almacén, no en una oficina. Limitar el número de ventanas reducirá la cantidad de luz natural en el interior del edificio, pero esto permite maximizar la seguridad. En concreto, la sala de ordenadores carece de ventanas.

5.3.3 CONTROL DE ACCESO Una vez se ha planificado la construcción del edificio, el siguiente punto consiste en planificar el acceso al centro y cómo se va a controlar la gente que entra. 1. Limitar los puntos de entrada. Limitar el número de entradas al centro implica reducir vías por las que la gente pueda entrar. De esta manera se consigue abaratar costes destinados a seguridad ya que hay menos entradas que vigilar. 2. Hacer que las salidas de emergencia sean sólo de salida. Esto se puede conseguir haciendo que las puertas de emergencia solo tengan picaporte, o cualquier otro sistema de apertura, en la cara interna de la puerta, de manera que sea imposible abrirlas desde fuera. 3. Uso de cámaras de seguridad. Las cámaras de seguridad deben ser colocadas tanto en el perímetro exterior como dentro de las instalaciones para tener todos los movimientos registrados en vídeo. Estas cámaras no deberán dejar ningún punto muerto en ninguna zona de las instalaciones. 4. Autenticación de doble factor. La autenticación por doble factor aporta máxima seguridad de autenticación, implantando una seguridad biométrica, como un lector de huellas dactilares; más la 118

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS necesidad de uso de una contraseña o de un chip de identificación por radiofrecuencia (RFID) único para cada persona. 5. Control de acceso por niveles. Este control de acceso, debe ser implantado tanto para visitantes, como trabajadores externos al CPD, o personal interno de la compañía. El personal de limpieza debe estar limitado por zonas, con control de horas registrado y escoltado por personal interno de la sala de computación cuando dicha sala necesite limpieza. 6. Contratación de personal de seguridad. Es necesario disponer de personal de seguridad cualificado, que sean capaces tanto de vigilar el centro, como de poder controlar cualquier situación de intrusión o de peligro que pueda suceder en el perímetro del edificio.

5.4 SEGURIDAD ANTE INCENDIOS La mayoría de los incendios comienzan en el exterior del centro, por lo que un CPD debe estar planificado para poder resistir un incendio externo a las instalaciones. Aunque también existe la posibilidad de que se produzca un incendio en el interior o se propague el incendio desde el exterior hacia el interior; por lo que es necesaria la existencia de un sistema de detección de incendio y un sistema de extinción de incendios en el interior. Como este TFG se centra en la parte de las telecomunicaciones del DC, sólo se van a analizar los métodos de detección y extinción de incendios en el interior. Debido a la gran cantidad de componentes electrónicos y cableado, es fundamental la detección de cualquier fase precoz de incendio y conseguir su extinción de la manera más rápida. 119

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS

5.4.1 PROTECCIÓN PASIVA En un edificio tan crítico como un CPD, la protección contra un incendio empieza por acondicionar correctamente el edificio: instalaciones, cableado, tuberías (cableductos y de ventilación) etc. Por ello las paredes del perímetro son de hormigón grueso y la entrada se encuentra sellada con el objetivo de impedir que un posible incendio se propague hacia o desde la sala de ordenadores. Otro punto importante para la protección pasiva se trata de la conexión entre los sistemas de climatización, gestión de alarmas y enclavamientos de compuertas [50]. Estas conexiones están bien conectadas y completamente aisladas mediante goma, para mitigar el riesgo de cortocircuitos que puedan producir incendios.

5.4.2 SISTEMAS DE DETECCIÓN DE INCENDIOS Detectar un incendio consiste en descubrir y avisar de que existe un incendio en un determinado lugar. La centralita del sistema de detección está programada para ejecutar las acciones de manera automática, aunque sigue pudiendo estar controlada por personal adecuado. A continuación se listan los componentes principales del sistema: 

Central automática de detección: es la encargada de procesar la información recibida desde los detectores, pulsadores etc. Y ejecutar la activación de alarmas y sistemas de extinción de incendios.



Detectores de incendio (iónicos y ópticos): consisten en dispositivos encargados de detectar elementos de combustión invisibles (la temperatura) o visibles (el humo). Estos sensores actúan rápidamente permitiendo la ejecución inmediata de equipos de extinción. Se colocará una fila de detectores cada dos de racks. Cada fila de detectores tendrá 5 unidades, separadas 3 metros cada una.



Pulsadores: se tratan de pulsadores manuales que son activados por el personal del edificio en caso de detectar un incendio de manera que permiten activar alarmas y 120

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS sistemas de extinción. Estos pulsadores suelen estarán protegidos por capas de metacrilato o por llaves de rearme con el fin de evitar activaciones accidentales [51]. Estos pulsadores se colocarán a ambos lados de la entrada de la sala de ordenadores.

5.4.3 SISTEMAS DE EXTINCIÓN DE INCENDIOS De nuevo, hay que destacar el hecho de que tanto los equipos informáticos y electrónicos, como los datos que se manejan en este tipo de centros, tienen niveles de criticidad altos. Esto obliga a instalar sistemas de extinción con propiedades dieléctricas que permitan su uso sin que esto signifique un riesgo de cortocircuitos y que no produzcan residuos nocivos para el medioambiente ni para el personal que trabaja en el centro. Un punto a tener en cuenta a la hora de planificar las salas del centro, es la necesidad de instalar compuertas de sobre presión que permitan el cierre hermético de las salas con el fin de impedir el avance del fuego. Los sistemas extintores que se utilizarán en esta propuesta de diseño de data center son los siguientes: 

Agua nebulizada: este tipo de agua tiene mayor superficie de gota, facilitando la absorción del calor y por lo tanto evaporándose más rápidamente (la evaporación, según leyes termodinámicas, absorbe energía, traduciéndose en bajadas de temperatura). Al ser más efectiva, se necesita una cantidad mínima de agua para la extinción del fuego. Además, este tipo de agua no produce daños a los equipos electrónicos. Se puede ver una comparativa en la Ilustración 41. En la sala de ordenadores, se implanta una fila de rociadores de agua encima de cada fila de racks, separados 2 metros cada rociador. Por lo que suman un total de 77 bocas de agua

121

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS nebulizada

sólo

en

la

sala

de

ordenadores.

Ilustración 41 Comparativa de tipos de agua para extinción de incendios [52]



Reducción de Oxígeno: esta técnica consiste en reducir los niveles de oxígeno de la sala hasta una concentración que dificulta el desarrollo del fuego, pero sin llegar a niveles peligrosos para el personal de la sala. Esta técnica se implanta mediante los sistemas de refrigeración de la sala de ordenadores.



Novec 1230: es el agente más efectivo ya que cumple con todas las características que se comentaron anteriormente, además de ser el menos dañino para el medioambiente. Se trata de un fluido de alto peso molecular, que se encuentra en estado líquido en temperatura ambiente, pero se convierte en gas inmediatamente tras su descarga. Por todo esto, se trata de un agente ideal para su uso en aplicaciones de inundación total, localizada o pulverización direccional [53]. Por todas estas razones, se elige este agente por encima del FM200/FE-13 (se puede leer más sobre este agente aquí [54] ) para colocar en los extintores a lo largo de todo el centro. En especial, en la sala de ordenadores se colocarán 8 extintores de Novec 1230. Dos en cada pared.

122

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS

5.5 ENTORNO FÍSICO Un buen diseño de red proporciona un ambiente robusto y tolerante a fallos mediante plataformas y enlaces redundantes; pero, sin embargo, la redundancia en la red no protege al centro de fallos que se produzcan como resultado de pérdidas de potencia o de enfriamiento. Al diseñar el centro de datos, hay que tener en cuenta la potencia necesaria para que todo funcione correctamente, como proporcionar un servicio de reserva en caso de pérdida de potencia por parte del proveedor. También hay que considerar que los dispositivos utilizados en el funcionamiento del CPD desprenden calor, por lo que es necesario establecer sistemas de enfriamiento y colocar dichos dispositivos en pasillos calientes y fríos y almacenarlos en racks.

5.5.1 SUMINISTRO DE POTENCIA ELÉCTRICA La clave consiste en conocer el equipamiento que se va a instalar en cada área. Algunos equipos pueden utilizar una tensión estándar de 220 voltios y otros puede que necesiten más potencia. Para aplicar la redundancia de suministro eléctrico, se colocarán electrógenos, de manera que cumplan la relación de redundancia 2N+1. Además, existen sistemas SAI que permiten la continuidad de las operaciones durante un gran número de horas sin electricidad. Estos sistemas, pueden ser colocados en dos zonas distintas. Una posibilidad es que se coloquen en una zona cerca de los electrógenos, de manera que se encuentre todo el suministro eléctrico redundante en la misma zona del centro, pero en este proyecto, se opta por colocar los sistemas SAI en la sala de ordenadores, y otorgarlos una dirección IP, de manera que se pueden monitorizar y controlar a través de la red Ethernet.

123

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS

5.5.2 ENFRIAMIENTO El uso de dispositivos que requieren gran alimentación eléctrica implica una necesidad de disipar el calor generado por dichos dispositivos. Planificar el enfriamiento de uno o dos equipos simplemente con el aire acondicionado estándar del edificio puede funcionar, pero al tener dentro de la misma sala múltiples servidores blade, dispositivos de almacenamiento y switches de alto rendimiento necesitan un mejor sistema de enfriamiento. La solución que se va a implantar en este diseño, consiste en crear un falso suelo por el que circulará el aire refrigerado y colocar los dispositivos en “pasillos fríos” y “pasillos calientes”. Básicamente se trata de colocar los racks y el equipamiento dentro de ellos, de manera que el calor se concentre en unos pasillos y aprovechar para inyectar el frio en otros, esto sirve para que los dispositivos utilicen el aire frío para refrigerarse. La mayoría de los dispositivos, toma el aire frío por la parte frontal y expulsa aire caliente por la parte trasera, en un flujo similar a este:

Ilustración 42 Flujo de Aire de un Dispositivo [55]

Al colocar los racks de tal manera que las partes frontales de todos los dispositivos siempre se encuentren enfrentadas a las partes frontales de los situados en la siguiente fila de racks y a la inversa con la parte trasera. De esta manera se consigue la creación de pasillos calientes y fríos. 124

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS

Ilustración 43 Refrigeración por pasillos calientes y fríos [55]

Como se observa en la figura anterior, el aire frío sale desde el falso suelo y en los pasillos fríos. Los dispositivos toman este aire frío para refrigerarse, y después lo expulsan en los pasillos calientes [55]. En esta figura a continuación se muestra claramente cómo es el falso suelo de la sala, en el cual se encuentra el sistema de refrigeración de aire frío, con salidas en los pasillos fríos.

Ilustración 44 Ilustración del Falso suelo en instalaciones de BBVA C&IB

En la sala de ordenadores que se está diseñando, la anchura de los pasillos será de 2 metros. El sistema de refrigeración mantendrá los pasillos fríos a una temperatura de 18ºC constantemente. En los pasillos calientes, la temperatura asciende en torno a 38ºC y 40ºC.

125

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS Gracias a que el aire frío se expulsa desde el suelo, no será necesario aislar un pasillo de otro, ya que el aire que toman los dispositivos siempre será frío. El aire frío pesa más que el caliente, por lo que el aire caliente nunca llegará a las tomas de aire de los dispositivos. Adicionalmente, se colocarán 4 tomas de aire en el techo, que servirán de salida del aire caliente. Como consecuencia de este sistema de refrigeración, la temperatura media de la sala se estima que estará entre 22 y 25 º C.

5.5.3 RACKS Es importante planear de qué manera se van a colocar los equipos adquiridos. Una buena planificación permite facilitar la escalabilidad del edificio. Los equipos ocupan un determinado espacio pero se tiene que tener en cuenta que hay que reservar espacio también para las conexiones tanto de suministro eléctrico, como las conexiones de red necesarias por cada dispositivo [47]. Un rack consigue ahorrar espacio físico al permitir apilar varios equipos, pero también son importantes a la hora de proporcionar una buena gestión de: cableado (eléctrico y de red), refrigeración, monitorización, seguridad etc. En la siguiente figura se muestran las diferentes partes que tiene un rack IT convencional.

126

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS

Ilustración 45 Rack Convencional [56]

Las dimensiones más comunes de un rack IT son las siguientes: 600mm de ancho, 1070mm de profundidad y un espacio vertical útil (medidas del interior, no del exterior del rack) de 1867mm [56]. Para la sala de ordenadores de este CPD, se utilizará un modelo de rack para servidores blade de la marca OPENETICS. Se trata del modelo Premium Server Rack 42 U, de dimensiones estándar. Cada rack tiene un precio de 1.370,00 €. Las especificaciones concretas se encuentran en el Error! Reference source not found., apartado 0 Ilustración 78 Ecnlosure Clase C BladeSystem

Este tipo de enclosure proporciona el suministro eléctrico, la ventilación y las conexiones de I/O necesarias para poder contener hasta 8 servidores blades. Tiene una medida de 10 U, lo que hace posible que se puedan ‘enrackar’ hasta 4 enclosures en un mismo rack de dimensiones estándar.

127

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS Contiene herramienta de administración via software, así como la gestión remota mediante iLO. Cada enclosure tiene un peso de 136.08 Kg, y unas dimensiones físicas de 75.89 x 60.65 x 101.29 cm (Ancho x Profundidad x Altura). Racks. Como en este proyecto solo se analiza la parte de networking del CPD y no se entra a estudiar la red SAN, no se tendrá en cuenta el número de racks necesarios para albergar los dispositivos destinados a la SAN. En total, serán necesarios 70 racks, distribuidos de la siguiente manera: 

15 Patch Panel



25 Servidores Blade



10 Switches Nexus



1 Proxies



3 Firewalls



1 Balanceadores de Carga



15 vacíos

Las 70 unidades elevan el presupuesto necesario solo para armarios hasta los 95.900,00 €.

5.6 INFRAESTRUCTURA ETHERNET DE LA SALA DE ORDENADORES Una vez ya explicado cómo es físicamente la sala de ordenadores, se procede a explicar la parte lógica de todas las conexiones de esta sala. Para facilitar la compresión y visualización de cómo va a funcionar la red Ethernet, se adjunta la siguiente imagen en la que se ven todas las conexiones de manera general.

128

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS

Ilustración 46 Esquema Lógico de Conexiones

129

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS

5.6.1 SWITCHES UTILIZADOS Antes de comenzar, es necesario explicar qué switches se van a utilizar, y por qué se utilizan dichos switches. La elección de fabricante de estos dispositivos, se ha basado en varios puntos. El primer punto es la recomendación de Cisco por parte de Pablo Mañá (CTO de Comunicaciones C&IB de BBVA, de Raúl Tomás (Gerente Tecnología e Infraestructura de Comunicaciones del CPD Tres Cantos de BBVA) y de Ricardo Ortega (Security Advanced Services Manager de Cisco). Como segundo punto, los switches de Cisco lideran el ranking generado por ITCentralStation, tras un proyecto de investigación teniendo en cuenta a 152.961 profesionales del sector [57]. Dentro de los innumerables modelos que tiene Cisco en su catálogo, existe una gama diseñada especialmente para conexiones de centros de datos, se trata de la gama Nexus. Dentro de esta gama, se estudió la posibilidad de implementar la serie 9000 o la 7000 (las dos series más altas de la gama Nexus). Debido a que la serie 9000 se trata de una familia de switches preparada para el uso inmediato de SDN, se ha optado por la serie 7000, también preparada para SDN, pero más barato que los anteriores, y supera con creces las características necesarias para llevar a cabo las funciones de red de núcleo, de agregación y de acceso, de la red Ethernet. Dentro de esta serie, se elige en concreto los modelos Nexus 7700, se escoge este modelo de la serie porque es el modelo con ventilación front to back esencial para realizar la refrigeración por pasillos explicada en el punto 5.5.2 Enfriamiento. Después hay que tener en cuenta en qué capa se van a implementar, ya que los switches que se coloquen en el core y en la agregación, necesitan tener mucha capacidad de procesamiento, y sin embargo, los switches de acceso necesitan muchas conexiones. 130

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS Por ello, para los switches de core y agregación se utilizan los Nexus 7700 de 10 slots, con 8 ranuras para conexiones y 2 para supervisores. Estos switches necesitan un módulo de supervisión para poder funcionar. Se implantan dos módulos CISCO NEXUS 7700 SUPERVISOR 2E MODULE, otorgando de esta manera redundancia dentro de cada switch. Los módulos para permitir las conexiones serán los Cisco Nexus 7700 F3-Series 12-Port 100 Gb Ethernet Module. A la hora de analizar el número de puertos necesarios por cada switch, hay que realizar un estudio por separado de los switches de núcleo y de los de agregación. 

Agregación: estos switches necesitan un mínimo de 12 puertos para los balanceadores de carga, 3 puertos para conectar un switch de agregación con el otro, y 6 puertos para conectarlo al sistema VSS del núcleo. Lo que suma un total de 21 puertos necesarios. Así que serán necesarios 2 módulos de conexiones descritos anteriormente.



Núcleo: estos switches tienen menos dispositivos a los que conectarse, pero es necesario la máxima capacidad y redundancia de enlace hacia dichos dispositivos. Se utilizan 16 puertos para conexiones con las dos parejas de firewalls (4 conexiones con cada firewall). Y 6 conexiones para los switches de distribución. Haciendo esto un total de 22 puertos necesarios, por lo que se utilizan también 2 módulos de 12 puertos descritos anteriormente.

A continuación, para los switches de acceso, se utilizan los Nexus 7700 de 18 slots, debido a que se trata del modelo que más conexiones a alta velocidad permite, y además siendo el único de 18 slots que contiene ventilación front to back. Estos switches necesitan también un supervisor, y se sigue el mismo esquema que con el resto de switches, es decir, 2 módulos supervisores por cada switch. El modelo de supervisor es el mismo que para el resto de switches.

131

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS Pasando a analizar el número de puertos necesitados por cada switch, se intenta reducir al máximo el número de switches de acceso utilizados, por lo que se utilizan 10 Cisco Cisco Nexus 7000 F2-Series Enhanced 48-Port Fiber 1 and 10 Gigabit Ethernet Module. Utilizar tantos puertos por cada switch tiene sentido, ya que cada servidor (ya sea mainframe o blade) utiliza 4 puertos. Además, cada switch de acceso se conecta a los 2 switches de agregación, y son necesarios 3 puertos para cada conexión switch a switch. El desglose de precios es el siguiente: 

Switch de Acceso (Nexus 7700 – 18 slot) : 517.000,00 € o 1 x Chasis: 45.000,00 € o 10 x Cisco Nexus 7000 F2-Series Enhanced 48-Port Fiber 1 and 10 Gigabit Ethernet Module: 10x40.000,00 € o 2 x CISCO NEXUS 7700 SUPERVISOR 2E MODULE: 2x36.000,00 €



Switch de Agregación: 261.000,00 € o 1 x Chasis: 27.000,00 € o 2 x Cisco Nexus 7700 F3-Series 12-Port 100 Gb Ethernet Module: 2x81.000,00 € o 2 x CISCO NEXUS 7700 SUPERVISOR 2E MODULE: 2x36.000,00 €



Switch de Agregación: 261.000,00 € o 1xChasis: 27.000,00 € o Cisco Nexus 7700 F3-Series 12-Port 100 Gb Ethernet Module: 2x81.000,00 € o 2xCISCO NEXUS 7700 SUPERVISOR 2E MODULE: 2x36.000 €

Se van a utilizar 4 switches de acceso, otros 4 switches de agregación (dos de la configuración general, uno para la sala de seguridad y otro para los entornos previos), y para el núcleo de la configuración se utilizan 2 switches. Por lo tanto, el precio total destinado al switching es 3.634.000,00 €.

132

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS

5.6.2 INTERCONEXIÓN INTERNA DE LA SALA DE ORDENADORES 5.6.2.1 Visión Global La base de la red Ethernet de este centro de procesamiento de datos es un par de switches redundantes y resistentes de la serie Cisco Nexus 7700 (cada switch es redundante en sí mismo, por lo que se consigue una doble redundancia). Esta pareja de switches proporcionan una plataforma perfecta para llevar a cabo un edificio escalable, de alto rendimiento y con soporte para servidores conectados con un ancho de banda desde 1 Gigabit Ethernet hasta 100 Gig-E. Este Data Center está diseñado para facilitar la migración de servidores y servicios desde la sala de servidores original hacia la sala de ordenadores del CPD a medida que la entidad crece. Utilizar una pareja de switches que son redundantes en sí mismos permite: 

Una interconexión a nivel de red (L3) resistente con rapidez de computo ante fallos.



Utilizar una capa de core permite abstraer la lógica de las capas de distribución y acceso.



Proporciona conexiones escalables para la LAN, WAN y conexiones a Internet.



Permite la correcta comunicación entre los servidores y servicios del CPD.



Permite el flujo de tráfico de niveles 2 y 3 entre los servidores y aplicaciones, de manera que este flujo se controla localmente sin necesidad de salir al exterior.

5.6.2.2 Configuración Global del Core del CPD El núcleo del Data Center necesita una configuración operacional básica, más detallada de la serie de comandos a continuación, pero debido a que esta configuración detallada depende de los requisitos de cada entidad, en este apartado se va a describir una configuración básica y global. 5.6.2.2.1 Configuración de VLANs Se ha explicado en capítulos anteriores que se crean VLANs diferentes para cada servicio o uso que se dé, de forma que se segmenta el tráfico y facilita la gestión. Esto permite dividir 133

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS las áreas de gestión según el uso que se proporcione en cada VLAN, pero el punto de gestión sigue estando centralizado en el core. Las VLANs se van a dividir de la siguiente manera:

VLAN

Nombre de VLAN

Dirección IP

Comentarios

100

Servers_1

10.4.10.0/24

Uso

General

de

servidores de red. 150

Servers_2

10.4.15.0/24

Uso

general

de

servidores 200

Servers_3

10.4.20.0/24

Uso

general

de

servidores 250

FW_Outside

10.4.25.0/24

Uso

de

firewalls

externos

(Front-

end) 260

FW_Inside_1

10.4.26.0/24

Seguridad de red interna:

Firewalls

Back-End. 270

Security_Inside

10.4.27.0/24

Seguridad de red interna: IPS + SSL (balanceadores

+

FW). 280

Peering

10.4.28.0/24

Interconexiones de Core a nivel de red (L3)

134

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS 300

VMotion

10.4.30.0/24

Reservada

para

tráfico

de

virtualización

de

servidores 350

iSCSI

10.4.35.0/24

Tráfico

de

Almacenamiento para iSCSI8 400

DC-Management

10.4.40.0/24

Gestión independiente

de

VLANs del CPD Tabla 3 VLANs de comunicaciones Internas del CPD

De esta distribución de redes IP a cada VLAN, se destaca la importancia que tiene dejar 4 redes IP libres entre VLANs para permitir la escalabilidad de las VLANs. Pasos a seguir para la configuración

En este apartado, se van a describir los comandos necesarios para poder configurar las vlans. Debido a que los pasos son repetitivos para cada VLAN, se procede a documentar los comandos genéricos. Los pasos a seguir son los siguientes9: 1. El primer paso es crear las VLANs que son necesarias para el funcionamiento del DC. Vlan [vlan-number] Name [vlan name]

2. Configuración de una interfaz lógica que permita la gestión. Estas interfaces lógicas son interfaces Loopback. Se tratan de interfaces lógicas que son alcanzables siempre

8

iSCSI: Internet Small Computer Systems Interface. Estándar de almacenamiento de red, basado en el protocolo IP, para las instalaciones de interconexiones de almacenamiento de datos 9 Los comandos se introducen en cada switch del núcleo.

135

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS y cuando el dispositivo esté encendido y tenga una interfaz IP alcanzable en la red. Esto quiere decir, siempre y cuando tenga una interfaz con una dirección IP que se encuentre en la misma red que la dirección IP que se le asigne a la dirección de loopback. Gracias a esta capacidad de ser siempre alcanzada, se presenta como la mejor opción para gestionar el switch, y permite tener otro punto de gestión independiente. Los procesos de capa 3 también se encuentran ligados a la interfaz de loopback para permitir una redundancia y resistencia extra. La dirección que se asigna a la interfaz de loopback es una dirección perteneciente a la red de la VLAN de peering, y contiene una máscara completa, esto es, de 32 bits. Además, debido a que va a pertenecer a un grupo de gestión, se activa el multicast mediante el modo PIM Sparse-Mode. Descrito en el capítulo 2. Interface loopback 0 Ip address 10.4.28.254/3210 Ip pim sparse-mode

3. Ligar a la loopback los procesos TACACS+11 de los dispositivos, para mejorar la elasticidad de la red. aaa group server tacacs+ tacacs source-interface loopback 0

4. Configurar lo puertos de EtherChannel para permitir que el uso de balanceo de carga del tráfico se base en las direcciones IP la capas 3 y el número de puerto de la capa 4. Esto optimiza el balanceo entre los enlaces a nivel de routing. Port-channel load-balance Ethernet source-dest-port

Una vez creadas las VLANs y sus direcciones de loopback para la gestión de cada VLAN, es necesario crear interfaces virtuales de switching (SVI) para permitir el encaminamiento hacia o entre las diferentes VLANs de la configuración. Para configurar las SVI, es necesario crear las VLAN primero. Después, es necesario seguir los siguientes pasos (para ahorrar espacio, se ha puesto como ejemplo la primera VLAN):

10

La dirección de loopback para el otro switch de la pareja sería la 10.4.28.253/32. TACACS+: Terminal Access Controller Access-Control System. Es un protocolo de Cisco que maneja los servicios de autenticación, autorización y contabilidad (AAA). 11

136

UNIVERSIDAD PONTIFICIA COMILLAS ESCUELA TÉCNICA SUPERIOR DE INGENIERÍA (ICAI) GRADO EN INGENIERÍA TELEMÁTICA

ANÁLISIS DE RESULTADOS SWITCH(config)#interface vlan 100