Blog

May 25, 2023

Jetson obtiene un impulso de cohete: manos

Han pasado seis meses desde que Jensen Huang de NVIDIA subió al escenario en la GPU

Han pasado seis meses desde que Jensen Huang de NVIDIA subió al escenario en la GPU Technology Conference (GTC) '22 y presentó el sistema en módulo (SOM) Jetson Orin Nano de bajo consumo y alto rendimiento, dirigido a la inteligencia artificial (IA) en el borde. Ahora, es GTC '23, y Huang está de vuelta en el escenario, esta vez lanzando el paquete Jetson Orin Nano Developer Kit con disponibilidad inmediata.

Ofreciendo un rendimiento "80x" del Jetson Nano, el nuevo Jetson Orin Nano está diseñado para llevar la arquitectura de la unidad de procesamiento de gráficos (GPU) Orin de última generación de la compañía al nivel de entrada, pero ¿puede cumplir las nobles promesas de la compañía?

El Jetson Orin Nano SOM está disponible en dos sabores, uno de los cuales tiene la mitad del rendimiento del otro. El Jetson Orin Nano de nivel de entrada de 4 GB tiene, como su nombre lo indica, 4 GB de memoria LPDDR5 con un ancho de banda de 32 GB/s, una CPU Arm Cortex-A78AE de seis núcleos que funciona hasta a 1,5 GHz y una GPU Orin con 512 núcleos CUDA y 16 núcleos Tensor que ofrecen 20 teraoperaciones por segundo (TOPS) de cómputo INT8. El Jetson Orin Nano de 8 GB, por el contrario, duplica tanto la capacidad como el ancho de banda de la memoria integrada, así como la cantidad de núcleos CUDA y núcleos Tensor en la GPU, pero deja la CPU sola y ofrece 40 TOPS reclamados.

Para aquellos que buscan comprar el kit de desarrollador, la diferencia es discutible: solo está disponible con Jetson Orin Nano 8GB preinstalado. La placa portadora, en la que se ha preinstalado el SOM, técnicamente aceptará SOM o incluso uno de los SOM Jetson Orin NX de gama alta, pero eso también es discutible, ya que no puede comprar la placa portadora fuera de el paquete del kit de desarrollador.

La placa de soporte compacta en sí misma desglosa las características más esenciales del Jetson Orin Nano SOM. Hay una sola salida de video DisplayPort 1.2, cuatro puertos USB 3.2 Gen. 2 tipo A, un puerto Gigabit Ethernet y un puerto USB tipo C, no para alimentación, que se maneja a través de una fuente de alimentación de 45 W y un conector de CC, pero para la depuración y el funcionamiento del dispositivo USB.

A la izquierda de los puertos principales hay dos puertos MIPI Camera Serial Interface (CSI) de 22 pines, que se pueden usar en lugar de las cámaras USB o además de ellas. A la derecha hay un encabezado de entrada/salida de uso general (GPIO) de 40 pines que incluye compatibilidad con UART, SPI, I2C, I2S y modulación de ancho de pulso (PWM). También hay un encabezado controlado por velocidad PWM para el disipador de calor y el ventilador incluidos, junto con un encabezado de 12 pines para el control de botones externos, ubicado de manera algo incómoda debajo del borde superior del SOM.

Voltee la placa y encontrará sus últimas opciones de expansión: una ranura microSD oculta casi invisible debajo del borde superior del SOM, una ranura M.2 Key E precargada con un módulo Wi-Fi 802.11ac y dos Ranuras M.2 Key M con cuatro y dos carriles PCI Express (PCIe) Gen. 3 respectivamente, pero tenga en cuenta que una está limitada a módulos cortos de tamaño 2230, mientras que la otra ofrece un punto de montaje solo para módulos 2280.

La gran afirmación de NVIDIA que acapara los titulares es que Jetson Orin Nano ofrece "80 veces más rendimiento de IA" que el Jetson Nano más antiguo y considerablemente más barato, y eso es técnicamente cierto, pero con una gran advertencia. Los cálculos de NVIDIA se basan en computación sin procesar con precisión FP16 en Jetson Nano pero precisión INT8 en Jetson Orin Nano. Usando la precisión FP32 en ambos dispositivos, para un campo de juego nivelado, la ganancia cae de 80x a un impresionante 5.4x, aunque INT8-versus-FP16 sigue siendo una comparación razonable, ya que la compatibilidad con la precisión INT8 será una gran razón. para actualizar al nuevo dispositivo.

Sin embargo, eso no quiere decir que no haya una mejora en el soporte para INT8; después de todo, esa ganancia de 5.4x FP32 tiene que venir de alguna parte. Además de un cambio a una arquitectura de GPU nueva y más potente, el Jetson Orin Nano incluye ocho veces más núcleos CUDA que el Jetson Nano más 32 núcleos Tensor por si acaso. El procesador también se cambió a una arquitectura Arm Cortex más nueva, cuenta con dos núcleos adicionales que funcionan a una velocidad de reloj marginalmente más rápida y hay el doble de memoria con el cambio a LPDDR5 que ofrece más de dos veces y media el ancho de banda.

En resumen, el Jetson Orin Nano es una bestia, pero se han hecho algunos sacrificios en el camino. Al igual que el Jetson Nano, no se encuentran aceleradores de aprendizaje profundo de NVIDIA (NVDLA) ni aceleradores de visión programables (PVA) en los modelos NX y AGX de gama alta. Curiosamente, el Jetson Orin Nano también carece del codificador de video de hardware, NVENC, del Jetson Nano, un sacrificio hecho, nos dice NVIDIA, para que la arquitectura Orin esté disponible más cerca del nivel de entrada. Como resultado, Jetson Orin Nano es incapaz de codificar una transmisión de video por encima de 1080p30 en tiempo real, aunque sus seis potentes núcleos de CPU significan que puede manejar hasta tres transmisiones simultáneamente si es necesario, en comparación con hasta ocho transmisiones de 1080p30, o una transmisión de 4k60, en el mucho menos potente Jetson Nano.

El enfoque real de Jetson Orin Nano es, naturalmente, la IA de borde en el dispositivo, y es aquí donde brilla el SOM pesado de GPU. Las redes que eran completamente inutilizables en Jetson Nano, como ActionRecognitionNet 3D y PeopleNet v2.5 de NVIDIA, de repente se vuelven utilizables: ActionRecognitionNet 3D pasa de un cuadro por segundo (FPS) en Jetson Nano a 26 FPS en Jetson Orin Nano, con el variante 2D que pasa de 32 FPS a 368 FPS; BodyPoseNet pasa de 3 FPS a 136 FPS; y PeopleNet v2.5 pasa de dos FPS a 116 FPS. Mientras tanto, una red de referencia de reconocimiento de matrículas (LPR) se excluyó del gráfico anterior, ya que pasó de 47 FPS a más de 1000 FPS en el nuevo hardware, lo que sesgó la escala.

Eso es cualquier ganancia de rendimiento de 12x a 59x, parte del rendimiento bruto del hardware, parte de su compatibilidad con la precisión INT8. La eficiencia tampoco se ha perdido. Si bien el nuevo hardware puede requerir enfriamiento activo (suministrado en forma de un conjunto de ventilador y disipador de calor sorprendentemente silencioso preinstalado en el módulo), el Jetson Orin Nano de 8 GB se puede configurar en los modos de rendimiento completo de 15 W y de potencia reducida de 7 W, por encima del Modos de 5W y 10W del Jetson Nano. Medido en la pared, con la placa portadora conectada a una red Wi-Fi, un monitor DisplayPort y un teclado y un mouse inalámbricos, eso genera 4 W inactivo y alrededor de 17 W pico bajo carga, muy dentro de las capacidades de la fuente de alimentación de 45 W incluida.

El Jetson Orin Nano está diseñado para ejecutar JetPack, la pila de software integrada de NVIDIA basada en Ubuntu Linux y anteriormente conocida como Linux 4 Tegra (L4T). Todas las pruebas de la unidad de revisión se llevaron a cabo en una versión preliminar de JetPack 5.1.1 con algunos errores menores, incluido uno que limitaba la memoria del sistema disponible a 6,3 GB de los 8 GB físicos, que la compañía nos asegura que se resolverá. en un futuro muy cercano.

JetPack 5.1.1 se basa en el soporte a largo plazo (LTS) de Ubuntu 20.04.5 y viene con CUDA 11.4, TensorRT 8.5, cuDNN 8.6, VPI 2.2, Vulkan 1.3, Nsight Systems 2022.5 y Nsight Graphics 2022.6. Lo que no incluye, incluso después de todos estos años, es ninguna forma de entrenar redes en el dispositivo. Si bien es posible implementar incluso redes complejas y ejecutarlas en el Jetson Orin Nano con un gran rendimiento, cualquier capacitación debe realizarse fuera del dispositivo, un inconveniente grande y continuo para un dispositivo que fácilmente podría haber sido un todo en uno asequible. estación de trabajo para el desarrollo y la experimentación de IA.

La forma típica de resolver el problema es con un dispositivo de escritorio con una de las tarjetas gráficas de alto rendimiento y potencia de NVIDIA. Una alternativa es pasar a la computación en la nube, incluida la propia GPU Cloud (NGC) de NVIDIA, alquilando el acceso al hardware de otros para evitar tener que pagar por su cuenta cuando puede permanecer inactivo entre sesiones de entrenamiento. De cualquier manera, el Jetson Orin Nano, como todos los dispositivos de la familia Jetson, está respaldado por una impresionante pila de software que incluye el kit de herramientas Train-Adapt-Optimize (TAO) para acelerar el entrenamiento y Omniverse Replicator para la generación de conjuntos de datos sintéticos. Aquellos que opten por ejecutarse en la nube en NGC pueden incluso acceder a una gran cantidad de modelos previamente entrenados, listos para su implementación o personalización.

Al igual que con otros modelos de la gama Jetson, cuanto más se sumerja en el desarrollo y las pruebas, antes alcanzará los límites del almacenamiento de la tarjeta microSD. No hay compatibilidad con eMMC en el Jetson Orin Nano, pero hay dos ranuras M.2 Key M PCI Express (PCIe) en la parte inferior de la placa portadora, cualquiera de las cuales aceptará una memoria no volátil Express de alta velocidad ( NVMe) unidad de estado sólido para almacenamiento de alta capacidad. También hay una tercera ranura M.2 Key E, aunque esta viene precargada con el módulo Wi-Fi conectado a un par de antenas de PCB en un borde de la placa base.

El Jetson Orin Nano Developer Kit es sin duda un digno sucesor del Jetson Nano Developer Kit original. Incluso mirando un campo de juego completamente nivelado, es varias veces más rápido, y cuando se tiene en cuenta el soporte INT8, ofrece una ganancia de rendimiento que hay que verlo para creerlo. Solo la pérdida de la codificación de video de hardware debería dar lugar a una pausa, pero a menos que necesite más de 1080p30 o dos transmisiones simultáneas, probablemente estará bien usando la codificación de software.

Ese rendimiento tiene un costo, literalmente. El Jetson Nano 4GB Developer Kit puede haber tenido un aumento de precio, pasando de $ 99 en el lanzamiento a $ 149 hoy, pero aún es mucho más barato que los $ 499 en los que NVIDIA lanzó el Jetson Orin Nano Developer Kit. Es fácil ver adónde va la diferencia de precio, dado el gran aumento en el rendimiento, pero el sufijo Nano pasa de indicar un producto fácil de usar con un precio casi impulsivo a una decisión de compra más considerada para cualquier persona, excepto para empresas bien financiadas. tipos de investigación y desarrollo.

Hay, al menos, un descuento disponible para los educadores, lo que eleva el precio del kit de $499 a $399. Incluso entonces, es probable que muchos opten por el Jetson Nano Developer Kit más barato, a pesar de la gran diferencia de rendimiento, ya que proporciona suficiente gruñido computacional para mostrar los conceptos básicos detrás de la IA de borde sin romper el banco. Mientras tanto, aquellos que necesitan lo mejor en rendimiento, probablemente se desperdicien en el Jetson AGX Orin Developer Kit, que es más potente.

Si el presupuesto se estira, el Jetson Orin Nano Developer Kit no lo decepcionará. Para aquellos que superan el hardware, es bueno tener la opción de colocar un módulo Jetson Orin NX en su placa de soporte existente, aunque sería aún mejor si NVIDIA ofreciera un paquete de costo reducido con la variante Jetson Orin Nano 4GB SOM .

El Jetson Orin Nano Developer Kit ya está disponible para ordenar a través de la tienda oficial de Jetson por $499.