オープンソース

エンジンは公開されています。読んで、動かして、その上に作ってください。

LocalMesh Engine は、写真をテクスチャ付きメッシュに変える部分です。あなた自身のグラフィックカードで動き、何もマシンから出ません。GitHub に Apache 2.0 で公開しています。写真 1 枚なら Microsoft の TRELLIS.2 を、4 枚なら TencentARC の Pixal3D を動かします。後者は 8 GB のカードに収まるよう当方で FP8 に変換したものです。

Apache 2.0 オフラインで動く NVIDIAカード1枚、8GB 写真1枚、または4枚 何もアップロードしません

このエンジンで作ったもの

6 つの対象、それぞれ画像 4 枚、ノート PC の RTX 4060 で生成しました。エンジンから出たそのままの状態で、同じ環境光の下、一周ずつ回ります。

丸い台座に立つ侍のフィギュアのメッシュ。写真 4 枚から生成 放射状の冠をいただく石の頭部のメッシュ。写真 4 枚から生成 ひび割れた石塊に突き立つ剣のメッシュ。写真 4 枚から生成 赤いオートバイのメッシュ。写真 4 枚から生成 透明シェルのカセットテープのメッシュ。写真 4 枚から生成 風化した信号機のメッシュ。写真 4 枚から生成

TRELLIS.2 に加えたもの

TRELLIS.2 は写真 1 枚をテクスチャ付きメッシュに変えます。その上に載っているのが次の要素です。

動かす

  1. 1
    インストールする。 3 ステップではなく 10 ステップです。CUDA 拡張を 3 つ自分のマシンでビルドするため、まず Python 3.12、CUDA 12.8 ツールキット、C++ コンパイラが要ります。重みはコードに同梱されず、エンジンが取りに行くこともありません。写真 1 枚の経路で約 9.5 GB、4 枚なら 14.3 GB を手で置きます。DINOv3 は Meta の担当者による承認待ちです。計測は Windows で行いました。Linux でも動くはずですが、実行していません。
  2. 2
    写真を 1 枚渡す。 画像 1 枚でメッシュになります。インストールも短いほうです。右・左・背面を足せば 4 枚を融合します。重みが 4.8 GB 増え、ビルドする拡張が 1 つ増えます。3 面そろえるか、なしか。2 面は受け付けません。
  3. 3
    .glb を受け取る。 テクスチャ付き、UV 展開済み、Y 軸が上。Blender でも Unreal でも、glTF を読むものなら開けます。

アプリケーションのほうがよければ

LocalMeshは、このエンジンの周りのスタジオです。写真が物体になるボード、ライブラリ、画像スタジオ、そしてビューアー。14日間の無料トライアル、そのあとは$39の買い切り。サブスクリプションはありません。

LocalMeshをダウンロード