オープンソース
エンジンは公開されています。読んで、動かして、その上に作ってください。
LocalMesh Engine は、写真をテクスチャ付きメッシュに変える部分です。あなた自身のグラフィックカードで動き、何もマシンから出ません。GitHub に Apache 2.0 で公開しています。写真 1 枚なら Microsoft の TRELLIS.2 を、4 枚なら TencentARC の Pixal3D を動かします。後者は 8 GB のカードに収まるよう当方で FP8 に変換したものです。
Apache 2.0
オフラインで動く
NVIDIAカード1枚、8GB
写真1枚、または4枚
何もアップロードしません
このエンジンで作ったもの
6 つの対象、それぞれ画像 4 枚、ノート PC の RTX 4060 で生成しました。エンジンから出たそのままの状態で、同じ環境光の下、一周ずつ回ります。
TRELLIS.2 に加えたもの
TRELLIS.2 は写真 1 枚をテクスチャ付きメッシュに変えます。その上に載っているのが次の要素です。
- 同じ対象の写真 4 枚。 TRELLIS.2 は 1 枚の画像で動きます。この経路は正面・右・左・背面を 1 つのグリッドに置き、そこでモデルに判断させます。粗いボリュームでまず一度、続いて表面を削る 2 つのパスでもう一度ずつ。4 つの物体を作って平均するのではありません。マルチビューの重みは Pixal3D(TencentARC、MIT)で、経路全体が 8 GB のカードに収まるよう当方で FP8 に変換しています。
- 各写真の角度を計測します。 Depth Anything 3 が画素から、各写真がどの角度で撮られたか、各横顔がどちらの側かを読み取ります。手で回した撮影がきれいな 90 度である必要はありません。読み取りがはっきりしないときは完全な 90 度に戻し、結果にどちらを使ったかが書かれます。
- 4 枚の画像は同じ尺度で届きます。 切り抜きは対象の高さで決まり、回しても高さは変わりません。個別に切り抜くと、バイクは視点ごとに 37.9 % ずれた尺度でモデルに届き、太く出ていました。カセットは 39.7 %。幅より高さが勝る対象、頭部や人物では、切り抜きは元から一致しており、何も変わりません。
- 小さく、かつ浮いている破片だけが取り除かれます。 最大の塊に比べて小さく、そこから離れていること。侍では 1,133 個の塊のうち、本当に浮いていた 185 個が取り除かれ、面積の 1.21 % でした。殻の上に寝ていた 941 個は残しています。取り除くとそこに穴が開くからです。掃除が面積の5 % を超えて求めたときは、何もせず、そう伝えます。
- ファイルが出る前に素材を確かめます。 モデルはレジン製の像に 0.6 〜 0.8 の金属値を書き込みます。これはノイズで、どのビューアでも色を暗くし反射を色づけるため、ゼロにしています。輝度を写した透明度も焼き込まれ、黒いカセットではアトラスの 53 % が半透明と記され、ガラスのように描くビューアもありました。不透明な物体は透明度なしで出ます。裏面表示も、メッシュが実際に持つ開いた辺から決めています。
- 8 GB のカード向けに作られています。 重みは FP8 で、モデルは 1 つずつ読み込まれ、工程の合間にカードが空きます。三角形の数は段階が決めます(標準で 150,000)。安全側の上限はカードから読み取り、リメッシュに重すぎる形はドライバを巻き添えにする代わりに上限まで戻されます。
動かす
- 1インストールする。 3 ステップではなく 10 ステップです。CUDA 拡張を 3 つ自分のマシンでビルドするため、まず Python 3.12、CUDA 12.8 ツールキット、C++ コンパイラが要ります。重みはコードに同梱されず、エンジンが取りに行くこともありません。写真 1 枚の経路で約 9.5 GB、4 枚なら 14.3 GB を手で置きます。DINOv3 は Meta の担当者による承認待ちです。計測は Windows で行いました。Linux でも動くはずですが、実行していません。
- 2写真を 1 枚渡す。 画像 1 枚でメッシュになります。インストールも短いほうです。右・左・背面を足せば 4 枚を融合します。重みが 4.8 GB 増え、ビルドする拡張が 1 つ増えます。3 面そろえるか、なしか。2 面は受け付けません。
- 3.glb を受け取る。 テクスチャ付き、UV 展開済み、Y 軸が上。Blender でも Unreal でも、glTF を読むものなら開けます。
アプリケーションのほうがよければ
LocalMeshは、このエンジンの周りのスタジオです。写真が物体になるボード、ライブラリ、画像スタジオ、そしてビューアー。14日間の無料トライアル、そのあとは$39の買い切り。サブスクリプションはありません。
LocalMeshをダウンロード