El motor es abierto. Léelo, ejecútalo, construye sobre él.
LocalMesh Engine es la parte que convierte fotos en una malla texturizada, en tu propia tarjeta gráfica, sin que nada salga de la máquina. Está publicado en GitHub bajo Apache 2.0. Con una foto ejecuta TRELLIS.2 de Microsoft; con cuatro, ejecuta Pixal3D de TencentARC, convertido a FP8 aquí para caber en una tarjeta de 8 GB.
Hecho con él
Seis objetos, cuatro imágenes cada uno, generados en una RTX 4060 de portátil. Una vuelta completa cada uno, tal como salieron del motor, bajo una misma luz de entorno.
Lo que añadimos a TRELLIS.2
TRELLIS.2 convierte una sola foto en una malla texturizada. Esto es lo que se apoya encima.
- Cuatro fotos de un mismo objeto. TRELLIS.2 trabaja sobre una imagen. Esta vía coloca tu frente, tu derecha, tu izquierda y tu espalda en una sola rejilla y deja que el modelo decida ahí — primero sobre el volumen grueso, luego en cada uno de los dos pasos que tallan la superficie — en lugar de fabricar cuatro objetos y promediarlos. Los pesos multivista son los de Pixal3D (TencentARC, MIT), convertidos a FP8 aquí para que toda la vía quepa en una tarjeta de 8 GB.
- El ángulo de cada foto se mide. Depth Anything 3 lee en los píxeles desde qué ángulo se tomó cada foto, y qué lado muestra cada perfil, así que un giro hecho a mano no tiene que ser un cuarto de vuelta limpio. Cuando la lectura no es clara, el motor vuelve al cuarto de vuelta perfecto, y el resultado dice cuál de los dos se usó.
- Las cuatro imágenes llegan a la misma escala. Cada recorte se dimensiona sobre la altura del sujeto, que girar no cambia. Recortada por su cuenta, una motocicleta llegaba al modelo con escalas separadas un 37,9 % entre sus vistas y salía demasiado gruesa; un casete, un 39,7 %. En un sujeto más alto que ancho, una cabeza o una figura, los recortes ya coincidían y no cambia nada.
- Una pieza solo se elimina si es pequeña Y está despegada. Pequeña al lado de la pieza más grande, y separada de ella. En el samurái: 1133 piezas distintas, de las cuales 185 estaban realmente despegadas y se fueron, un 1,21 % de la superficie; las 941 apoyadas sobre el casco se quedaron, porque quitarlas abre un agujero donde estaban. Si la limpieza llega a querer más del 5 % de la superficie, no toca nada y lo dice.
- El material se comprueba antes de que el archivo salga. El modelo escribe un metal de 0,6 a 0,8 en una figura de resina. Es ruido, y en cualquier visor oscurece el color y tiñe los reflejos: se pone a cero. También hornea una transparencia que copia la luminancia — el 53 % de un casete negro salía marcado como translúcido, y algunos visores lo representan como vidrio, así que un objeto opaco sale sin ella. Y las caras traseras se activan según los bordes abiertos que la malla tiene de verdad, en lugar de activarse en todo.
- Hecho para una tarjeta de 8 GB. Pesos en FP8, y los modelos se cargan uno tras otro para dejar la tarjeta libre entre pasos. El número de triángulos lo fija el nivel, 150 000 en Estándar, y los límites de seguridad se leen en la tarjeta: una forma demasiado pesada para remallar se devuelve por debajo del límite en vez de llevarse el controlador por delante.
Ponerlo en marcha
- 1Instalarlo. Diez pasos, no tres. Tres extensiones CUDA se compilan en tu propia máquina, así que necesitas Python 3.12, el toolkit CUDA 12.8 y un compilador C++ antes que nada. Ningún peso viene con el código y el motor no los descarga por ti: unos 9,5 GB a mano para una foto, 14,3 GB para cuatro, y DINOv3 espera a que una persona en Meta apruebe tu solicitud. Medido en Windows; Linux debería funcionar, y no lo hemos ejecutado.
- 2Darle una foto. Una imagen basta para obtener una malla, y es la instalación más corta. Añade derecha, izquierda y espalda y el motor funde las cuatro: 4,8 GB más de pesos, y una extensión más que compilar. Tres lados o ninguno; dos se rechaza.
- 3Recoge un .glb. Texturizado, desplegado en UV, orientado con Y hacia arriba. Se abre en Blender, en Unreal, en todo lo que lea glTF.
O quédate con la aplicación
LocalMesh es el estudio que rodea a este motor: un tablero donde las fotos se convierten en objetos, una biblioteca, un estudio de imagen y un visor. 14 días de prueba gratis y luego 39 € una sola vez. Sin suscripción.
Descargar LocalMesh