NVIDIA Jetson Orin Nano Super Kit de Desarrollo

Compré esto para mantener mis habilidades de GPU y para añadir a mi laboratorio de casa. Una pequeña y bonita configuración para lo que necesitaba.

¡Me encanta esta cosa! Me divertí tanto en configurarlo, que orquestó mis dos servidores de IA para construir mi modelo de IA de Ajedrez desde cero. Ahora es mi asistente personal que construí un servidor MCP para hacer búsquedas web para mí, analiza los datos y devuelve los hallazgos superiores. Organiza un chat web y maneja a los miembros del partido de IA para el juego de D&D de la vieja escuela que escribí, más de 300 herramientas en un servidor MCP para el juego de D&D (5b modelo Q4 de código abierto) Ejecuta Ajedrez, conecta 4, 5 seguidos, tic tac toe y pronto backgammon (mi modelo 18M). Tiene límites debido a 8 GB VRAM pero este es un dispositivo sólido, y pronto controlará mi tanque robot pi sobre wifi, pagué $250 por él, $50 128GB m2, $20 caso y tenía un micro SD. Así que $320 …

Jetson Orin Nano hizo lo que se suponía que debía hacer, lo que me permitió conseguir un caso de borde LLM funcionando en la máquina. Corrí ollama y recomiendo pasar por Bijan Bowen tutorial en línea como él te lleva a través de la configuración inicial y ejecutar el texto basado en LLM. El jetson es demasiado lento para ejecutar la generación de imágenes LLM, pero puedes darle una oportunidad.Este es un buen punto de partida para entrar en IA, pero te recomendaría una verdadera nvidia gpu si quieres jugar con el niño grande LLMs.

hasta ahora, ha sido bastante bueno, PERO los controladores NVIDIA y Linux..... Amigo... Es un PITA. Cuando usted consigue el sistema y funciona con controladores de linux con todo el CUDA y el soporte de python finalmente está funcionando bien (NVIDIA sigue cambiando las bibliotecas de python sin mantener una numeración de versión constante en sus ruedas o simplemente eliminarlos sin dejar que la gente sepa) su bien. Actualmente se utiliza la mina para construir modelos Ai utilizando transformadores en la historia del mercado para el cripto de diatrading. Funciona bastante bien, tengo mi guión en Github... Lo que pasa es que sigo encontrando pequeños cambios que puedo añadir al scrypt así que sólo he publicado el scrypt principal en github, y no he establecido en una nueva versión …

Esta cosa es un dolor colosal en el culo para configurar.Mi consejo, saltarse el desorden con tarjetas SD, etc. Tome un portátil viejo, instale Nvidia Ubuntu con consola, e instale directamente en el nvme (consíguelo también, me lo agradecerá). No hay tarjetas sin bs.Probablemente necesitarás construir llama.cpp desde la fuente para integrar los núcleos cuda, etc. para que pueda cuidar el hardware para inferencia. Pero una vez que todo esto está hecho y listo, funciona genial. Lo mantengo a la máxima potencia, corriendo qwen 3.5 3B con visión. Y consigo alrededor 16+ tokens un segundo.Pain para configurar pero vale la pena.

Las computadoras no son tostadoras. NVIDIA cree que están vendiendo tostadoras propias con estos dispositivos Jetson. Excepto que no hay ranuras para el pan, y si intentas ponerlos, es posible que tengas que volver a compilar el kernel de Linux. Contra un mejor juicio. Así que no estoy seguro de lo que es o será el aparato. Buena suerte a los valientes que tienen que hacer cumplir un estándar para una construcción particular de esta cosa. Estoy seguro de que la "estabilidad" de una construcción de control de tu dispositivo/aplicación será aplastada por el desfile interminable de CVE que plaga a los dispositivos conectados. Por el momento, las aplicaciones en este nano probablemente romperán con la nueva versión de Docker que parchea un RCE previo. Espera... ¿No quieres usar Docker? Buena …

Esta es una adición increíble a mi configuración de Home Assistant. Ahora tengo un servidor de IA que mantiene todos mis datos seguros dentro de mi propia red, no más minería de datos por parte de chicos de tecnología. Lo mejor de todo es que consume muy poca energía. Voy a conseguir otro para un proyecto robótico para que sea su IA interactiva. Me doy cuenta de que podría hacer que el robot use este en mi red, pero quiero que el robot esté 100% autónomo. Con el bajo consumo de energía, no hay razón para no tenerlo a bordo. Probablemente también lo usaré como uno de los controladores robóticos, pero solo si puede caminar y masticar chicle (hablar) al mismo tiempo. Estas cosas valen bien el precio siempre y cuando los aranceles no aumenten el precio. Espero no tener que esperar unos años …

El kit de desarrollo Super Developer NVIDIA Jetson Orin Nano superó todas las expectativas. Por su tamaño, esta cosa ofrece un rendimiento increíble: tiempos de arranque rápidos, aceleración de CUDA suave y manejo excepcional de cargas de trabajo de IA. La ejecución de LLM locales, modelos de visión, pilas de robótica y tuberías de edge-compute no se siente como un esfuerzo.La calidad de construcción es sólida, la configuración es sencilla y el sistema se mantiene estable incluso bajo cargas pesadas. He probado todo, desde modelos PyTorch hasta diagnósticos de ingeniería y nunca lucha. Para cualquier persona que trabaje en IA de borde, sistemas integrados o aprendizaje automático en tiempo real, esto es una potencia absoluta.Altamente recomendado si desea un rendimiento de IA serio en un …