Le moteur est ouvert. Lisez-le, faites-le tourner, construisez dessus.
LocalMesh Engine est la partie qui transforme des photos en maillage texturé, sur votre propre carte graphique, sans que rien ne quitte la machine. Il est publié sur GitHub sous Apache 2.0. D'une photo, il fait tourner TRELLIS.2 de Microsoft ; de quatre, il fait tourner Pixal3D de TencentARC, converti en fp8 ici pour tenir sur une carte de 8 Go.
Fait avec
Six objets, quatre images chacun, générés sur une RTX 4060 de portable. Un tour complet chacun, tels qu'ils sortent du moteur, sous un même éclairage d'environnement.
Ce que nous avons ajouté à TRELLIS.2
TRELLIS.2 transforme une seule photo en maillage texturé. Voici ce qui se pose par-dessus.
- Quatre photos d'un même objet. TRELLIS.2 travaille sur une image. Ce chemin pose votre face, votre droite, votre gauche et votre dos sur une seule grille et laisse le modèle décider là — d'abord sur le volume grossier, puis à chacune des deux passes qui taillent la surface — au lieu de fabriquer quatre objets et d'en faire la moyenne. Les poids multi-vue sont ceux de Pixal3D (TencentARC, MIT), convertis en fp8 ici pour que tout le chemin tienne sur une carte de 8 Go.
- L'angle de chaque photo est mesuré. Depth Anything 3 lit dans les pixels sous quel angle chaque photo a été prise, et quel côté montre chaque profil : un tour fait à la main n'a donc pas à être un quart de tour propre. Quand la lecture n'est pas franche, le moteur revient au quart de tour parfait, et le résultat dit lequel des deux a servi.
- Les quatre images arrivent à la même échelle. Chaque recadrage est dimensionné sur la hauteur du sujet, qu'une rotation ne change pas. Recadrée pour elle-même, une moto arrivait au modèle à des échelles écartées de 37,9 % d'une vue à l'autre, et ressortait trop épaisse ; une cassette, 39,7 %. Sur un sujet plus haut que large, une tête ou un personnage, les cadres étaient déjà d'accord et rien ne change.
- Un morceau ne part que s'il est petit ET décollé. Petit à côté du plus gros morceau, et à distance de lui. Sur le samouraï : 1 133 morceaux distincts, dont 185 vraiment décollés qui sont partis, 1,21 % de l'aire ; les 941 posés à plat sur la coque sont restés, parce que les jeter creuse un trou là où ils étaient. Si le nettoyage en vient à vouloir plus de 5 % de l'aire, il ne touche à rien et le dit.
- La matière est vérifiée avant que le fichier parte. Le modèle écrit un métal de 0,6 à 0,8 sur une figurine en résine. C'est du bruit, et dans n'importe quelle visionneuse ça assombrit la couleur et teinte les reflets : il est remis à zéro. Il cuit aussi une transparence qui recopie la luminosité — 53 % d'une cassette noire ressortait marquée translucide, et certaines visionneuses le rendent en verre, donc un objet opaque part sans. Et le double face est décidé sur les bords ouverts que le maillage a vraiment, au lieu d'être posé sur tout.
- Fait pour une carte de 8 Go. Poids en fp8, et les modèles se chargent l'un après l'autre pour laisser la carte libre entre les étapes. Le nombre de triangles est fixé par le palier, 150 000 en Standard, et les plafonds de sécurité se lisent sur la carte : une forme trop lourde à remailler est ramenée sous la limite au lieu d'emporter le pilote.
Le faire tourner
- 1L'installer. Dix étapes, pas trois. Trois extensions CUDA se compilent sur votre machine : il vous faut donc Python 3.12, le toolkit CUDA 12.8 et un compilateur C++ avant toute chose. Aucun poids n'est livré avec le code et le moteur ne va pas les chercher pour vous : environ 9,5 Go à poser à la main pour une photo, 14,3 Go pour quatre, et DINOv3 attend qu'un humain chez Meta approuve votre demande. Mesuré sous Windows ; Linux devrait marcher, et nous ne l'avons pas fait tourner.
- 2Lui donner une photo. Une image suffit à obtenir un maillage, et c'est l'installation la plus courte. Ajoutez droite, gauche et dos et le moteur fond les quatre : 4,8 Go de poids en plus, et une extension de plus à compiler. Trois côtés ou aucun, deux est refusé.
- 3Récupérer un .glb. Texturé, déplié en UV, orienté Y vers le haut. Il s'ouvre dans Blender, dans Unreal, dans tout ce qui lit le glTF.
Ou prenez l'application
LocalMesh, c'est le studio autour de ce moteur : une planche où les photos deviennent des objets, une bibliothèque, un atelier d'images et une visionneuse. 14 jours d'essai gratuit, puis 39 € une fois. Pas d'abonnement.
Télécharger LocalMesh