Qué es InfiniBand: tecnología de interconexión de red tope de gama

InfiniBand es una tecnología de interconexión de red de estándar abierto con alto ancho de banda, bajo retardo y alta confiabilidad. Esta tecnología está definida por IBTA (InfiniBand Trade Association) y se utiliza ampliamente en el campo del clúster de supercomputadoras. Paralelamente, con el auge de la inteligencia artificial, también es la tecnología de interconexión de red preferida para el servidor GPU.

Y es que, la interconexión de alta velocidad (HSI) se ha convertido en la clave para el desarrollo de computadoras de alto rendimiento a medida que la potencia informática de la unidad central de procesamiento (CPU) aumenta a un ritmo muy rápido. HSI es una nueva tecnología propuesta para mejorar el rendimiento de la interfaz de componentes periféricos (PCI). Después de años de desarrollo, los HSI que admiten computación de alto rendimiento (HPC) ahora son principalmente Gigabit Ethernet e InfiniBand, de los cuales InfiniBand es el HSI de más rápido crecimiento.

Definición del concepto e historia

Entrando en detalle podemos decir que InfiniBand es un enlace de comunicación para el flujo de datos entre procesadores y dispositivos de E/S que admite hasta 64.000 dispositivos direccionables. La arquitectura InfiniBand (IBA) es una especificación estándar de la industria que define un marco de entrada/salida conmutada punto a punto para interconectar servidores, infraestructura de comunicaciones, dispositivos de almacenamiento y sistemas integrados.

Gracias a estas cualidades, InfiniBand es ideal para conectar múltiples flujos de datos (agrupación, comunicación, almacenamiento, administración) en una sola conexión, con miles de nodos interconectados, debido a su baja latencia generalizada, alto ancho de banda y bajo coste de administración. La unidad IBA completa más pequeña es una subred, y los enrutadores conectan varias subredes para formar una gran red IBA.

Como hemos comentado antes, InfiniBand es una tecnología de alto rendimiento y baja latencia desarrollada bajo la supervisión de InfiniBand Trade Association (IBTA). Esta entidad se fundó en 1999 como una fusión de dos organizaciones industriales, Future I/O Developers Forum y NGI/O Forum. Funciona bajo el liderazgo de un comité de planificación y operación compuesto por HP, IBM, Intel, Mellanox (adquirida por NVIDIA), Oracle, QLogic, Dell, Bull y otros. La asociación se especializa en pruebas de compatibilidad e interoperabilidad de productos, y sus miembros han estado trabajando para avanzar en el establecimiento y actualización de la especificación InfiniBand. Para lograr estos objetivos, la IBTA ha establecido una serie de especificaciones que definen los requisitos para el hardware y el software. Tales especificaciones cubren una variedad de funciones, que incluyen ancho de banda, latencia, consumo de energía y más. El IBTA actualiza periódicamente estos requisitos para mantenerse al día con los avances tecnológicos.

Características de la red InfiniBand

El estándar InfiniBand es una conexión que ofrece una señalización de datos única (SDR) a una velocidad básica de 2.5 Gbps por carril (en cada dirección por enlace), para permitir una velocidad de datos sin procesar de 10 Gbps a través de cables 4X (el tipo de cable InfiniBand más común utilizado).

Infiniband también soporta doble e incluso cuádruples tasas de transferencia de datos, llegando a ofrecer 5 Gbps y 10 Gbps respectivamente. En otras palabras, la señalización de velocidad de datos doble (DDR) y velocidad de datos cuádruple (QDR) permite escalar carriles individuales hasta 5 Gbps y 10 Gbps por línea, respectivamente, para una velocidad de datos máxima potencial de 40 Gbps sobre 4X y 120 Gbps sobre cables 12X.

En la actualidad, el último producto InfiniBand es el HDR producido por Mellanox (NVIDIA), que puede proporcionar un ancho de banda de extremo a extremo de hasta 200 Gbps para la red, brindar una experiencia de red sin igual para computación de alto rendimiento, inteligencia artificial y otros campos, y maximizar el potencial informático en el clúster.

Ventajas de la red InfiniBand

La red InfiniBand tiene grandes ventajas entre las que podríamos citar:

Enlaces seriales de gran ancho de banda

• SDR: 10 Gbps
• DDR: 20 Gbps
• QDR: 40 Gbps
• FDR: 56 Gbps
• EDR: 100 Gbps
• HDR: 200 Gbps
• NDR: 400 Gbps

Latencia ultrabaja

• Tienen una latencia de tan sólo 500 nanosegundos.

Tejido autogestionable, confiable y sin pérdidas

• Mediante el control de flujo de nivel de enlace y el control de congestión para evitar el bloqueo de HOL (Head-of-Line blocking), un fenómeno que degrada las prestaciones de las redes de interconexión de alto rendimiento. 

Descarga completa de la CPU

• Protocolo de transporte confiable basado en hardware
• Kernel bypass (las aplicaciones de nivel de usuario obtienen acceso directo al hardware)

Memoria expuesta al acceso de nodo remoto: lectura RDMA y escritura RDMA (acceso remoto directo a memoria)

• Operaciones atómicas

Calidad de servicio

• Canales de E / S independientes a nivel de adaptador
• Carriles virtuales a nivel de enlace

Escalabilidad / flexibilidad de clústeres

• Hasta 48K nodos en subred, hasta 2 ^ 128 en red
• Rutas paralelas entre nodos finales
• Posibilidad de múltiples topologías de clúster

Gestión de clústeres simplificada

• Gestor de rutas centralizado
• Diagnósticos y actualizaciones en banda

InfiniBand vs Ethernet: diferencias principales

Visto lo que es Infiniband, podemos decir que Ethernet es el estándar de protocolo de comunicación de transmisión y recepción de datos más general adoptado por las redes LAN. Se utiliza para crear redes de área local y conectar varias computadoras u otros dispositivos. En la actualidad los principales tipos de redes Ethernet son Fast Ethernet, Gigabit Ethernet, 10-Gigabit Ethernet y Switch Ethernet. A día de hoy se considera que es la tecnología de transmisión con la tasa más alta.

Ethernet, junto con la tecnología IP, constituyen la piedra angular de Internet. Todas las personas y dispositivos inteligentes confían en Ethernet para realizar la interconexión de todas las cosas, de forma que se ha convertido en el estándar de la Red de redes.

Por su parte, la red InfiniBand se presenta como un estándar de interconexión para solucionar el cuello de botella en la transmisión de datos en escenarios de computación de alto rendimiento. Es un tipo de conexión más nuevo lanzado recientemente por lo que su velocidad es mayor alcanzando los 40 Gbps o superándolos. Así pues, como tecnología de interconexión de clústeres de computadoras, InfiniBand tiene ventajas significativas sobre Ethernet/Fibre Channel y se ha convertido en la principal tecnología de comunicación de red recomendada por IBTA.

Esto se debe a que InfiniBand crea directamente un canal privado y protegido entre nodos a través de conmutadores para transmitir datos y mensajes sin que la CPU participe en el acceso directo a memoria remota (RDMA). Un extremo del adaptador está conectado a la CPU a través de la interfaz PCI Express y el otro extremo está conectado a la subred InfiniBand a través del puerto de red InfiniBand. Comparado con otros protocolos de comunicación de red, esto ofrece ventajas obvias, que incluyen mayor ancho de banda, menor latencia y escalabilidad mejorada.

Muestra de sus ventajas en el campo de la alta computación es que desde 2014, la mayoría de las supercomputadoras TOP500 han adoptado la tecnología de redes InfiniBand. Es más, en los últimos años las aplicaciones relacionadas con IA/big data también han adoptado redes IB a gran escala para lograr implementaciones de clústeres de alto rendimiento.

InfiniBand vs Omni-Path

Omni-Path es una arquitectura de comunicación de alto rendimiento en desuso propiedad de Intel. Creada para dar respuesta a la computación a exaescala, su objetivo es lograr una baja latencia de comunicación, un bajo consumo de energía y un alto rendimiento. Al igual que InfiniBand es una opción común para redes de centros de datos de alto rendimiento que operan a velocidades de 100Gb/s.

No obstante, aunque ofrecen un rendimiento similar, las estructuras de red de Omni-Path e InfiniBand difieren significativamente de forma que un clúster de 400 nodos que utiliza InfiniBand requiere solo 15 conmutadores NVIDIA Quantum serie 8000 y cables específicos, mientras que Omni-Path exige 24 conmutadores y una mayor cantidad de cables ópticos activos.

Frente a Omni-Path, la propuesta InfiniBand EDR demuestra ventajas notables en términos de coste de equipo, costes operativos y de mantenimiento, y consumo general de energía. Es decir, la hace más respetuosa con el medio ambiente.

Tipos de productos InfiniBand

Los sistemas InfiniBand constan de adaptadores de canal, conmutadores, enrutadores, cables y conectores.

Adaptadores

Los adaptadores InfiniBand son tarjetas de interfaz de red (NIC) que permiten que los dispositivos se conecten a redes InfiniBand. Estos adaptadores están diseñados para ofrecer tasas de transferencia de datos de alta velocidad, baja latencia y baja utilización de la CPU. Vienen en varias configuraciones, desde adaptadores de un solo puerto hasta adaptadores de cuatro puertos. También admiten diferentes velocidades, que van desde 10 Gb/s hasta 200 Gb/s. Esta flexibilidad permite una fácil escalabilidad y diseño de la red.

Concretamente, los CA o Channel Adapters se dividen en un adaptador de canal de host (HCA) y un adaptador de canal de destino (TCA). Un HCA es un punto de dispositivo a través del cual un nodo final de IB, como un servidor o un dispositivo de almacenamiento, se conecta a una red de IB. Los TCA son una forma especial de adaptadores de canal, que se utilizan principalmente en entornos integrados, como dispositivos de almacenamiento.

Router InfiniBand

Un enrutador InfiniBand facilita la transmisión de mensajes entre diferentes subredes InfiniBand.

Conmutadores

Los conmutadores IBA son similares en principio a otros conmutadores de red estándar, pero deben cumplir con los requisitos de alto rendimiento y bajo coste de InfiniBand. Por lo general, ofrecen el máximo rendimiento y densidad de puertos disponibles.

Son responsables de enrutar datos entre dispositivos conectados a la red. Estos conmutadores funcionan en la capa física de la red, transmitiendo datos a la mayor velocidad posible. Tienen varios tamaños y configuraciones, desde pequeños botones para conectar servidores individuales hasta conmutadores grandes para crear clústeres de alto rendimiento. Igualmente poseen funciones de calidad de servicio (QoS), que permiten a los administradores priorizar el tráfico y administrar los recursos de la red de manera efectiva.

DPU (Unidades de procesamiento de datos)

Las DPU o unidad de procesamiento de datos son unos procesadores programables especializados en mover datos en grandes centros de datos. Las DPU trabajan conjuntamente con las CPU y GPU para mejorar la potencia de cálculo y el manejo de las cada vez más complejas cargas de trabajo de datos modernas.

Sistemas de larga distancia

Estos sistemas conectan de forma fluida centros de datos remotos de InfiniBand, almacenamiento u otras plataformas remotas InfiniBand. La ampliación del alcance a través de grandes distancias y de infraestructuras de multiplexado de división de longitudes de onda densas (DWDM) permite la conectividad nativa InfiniBand entre centros de datos remotos, o entre el centro de datos y las infraestructuras de almacenamiento remoto, para una alta disponibilidad y recuperación ante desastres.

Transceptores y cables

Los cables y conectores InfiniBand son la columna vertebral de la red y proporcionan una transferencia de datos de alta velocidad entre dispositivos. Estos cables tienen varias longitudes, lo que permite configuraciones de red flexibles.

Asimismo, una de las características únicas de los cables y conectores InfiniBand es su tecnología de cobre activo. Esta tecnología permite que los cables amplifiquen las señales, mejorando la integridad de estas y reduciendo su pérdida en distancias más largas.

El futuro de las redes InfiniBand

Diseñada originalmente como una interconexión de alta velocidad para clústeres de servidores, las capacidades de las redes InfiniBand se han ampliado para adaptarse a las necesidades de una amplia gama de aplicaciones informáticas.

Durante estas décadas de vida, esta tecnología ha ido experimentado mejoras centradas en tasas de transferencia de datos ultrarrápidas, baja latencia y alto rendimiento de ancho de banda. Uno de los avances más significativos ha sido el desarrollo de nuevas interfaces y conectores.

Esta evolución continua, apoyada por diferentes fabricantes, organismos de estandarización y comunidades de investigadores, ha convertido a la tecnología InfiniBand como la principal opción para las interconexiones de alta velocidad debido a sus capacidades de baja latencia y alto ancho de banda.

De hecho, propuestas como Ethernet y Fibre Channel, no pueden igualar las tasas de transferencia de datos y el rendimiento de interconectividad que aporta InfiniBand, así como el acceso remoto directo a memoria (RDMA) que le permite mover datos de manera eficiente sin usar la CPU host. Una prestación que reduce los gastos generales y permite una transferencia de datos más veloz.

De la misma manera, la baja latencia y el alto ancho de banda son cruciales en la informática moderna, especialmente en aplicaciones que dependen del procesamiento y análisis de datos en tiempo real. La habilidad de InfiniBand para proporcionar conectividad de alto rendimiento sin comprometer la velocidad o la latencia la convierte en una solución popular en clústeres de computación de alto rendimiento, computación en la nube y centros de datos.

Con el auge de la Internet de las cosas, el análisis de big data y la inteligencia artificial, existe una demanda creciente de interconectividad de alto ancho de banda y baja latencia, que es lo que ofrece InfiniBand

Por todo ello, no resulta osado concluir que el papel de esta tecnología probablemente aumentará en los próximos años, impulsada por la creciente necesidad de procesamiento de datos y computación de alto rendimiento. Con el auge de la Internet de las cosas, el análisis de big data y la inteligencia artificial, existe una demanda creciente de interconectividad de alto ancho de banda y baja latencia.

Así pues, el futuro de InfiniBand puede ver más innovaciones, como velocidades de transferencia de datos más rápidas, menor latencia y nuevas aplicaciones en áreas como el aprendizaje automático y la conducción autónoma.