엔진은 열려 있습니다.읽고, 돌려 보고, 그 위에 만드세요.

TRELLIS.2에 더한 것

TRELLIS.2는 사진 한 장을 텍스처가 입혀진 메시로 바꿉니다. 그 위에 얹은 것이 다음입니다.

• 같은 대상의 사진 네 장. TRELLIS.2는 이미지 한 장으로 작동합니다. 이 경로는 정면, 오른쪽, 왼쪽, 뒷면을 하나의 격자에 올려놓고 거기서 모델이 판단하게 합니다. 먼저 거친 볼륨에서, 이어서 표면을 깎는 두 번의 단계에서 각각 한 번씩. 네 개의 물체를 만들어 평균 내지 않습니다. 멀티뷰 가중치는 Pixal3D(TencentARC, MIT)이며, 경로 전체가 8 GB 카드에 들어가도록 여기서 FP8로 변환했습니다.
• 사진마다 각도를 측정합니다. Depth Anything 3가 픽셀에서 각 사진이 어느 각도에서 찍혔는지, 각 옆모습이 어느 쪽인지 읽습니다. 손으로 돌려 찍은 회전이 정확한 90도일 필요는 없습니다. 읽기가 분명하지 않으면 엔진은 완전한 90도로 돌아가고, 결과에 둘 중 무엇을 썼는지 적힙니다.
• 네 장의 이미지가 같은 축척으로 도착합니다. 각 크롭은 대상의 높이로 정해지고, 돌려도 높이는 바뀌지 않습니다. 따로 잘라내면 오토바이는 시점마다 37.9 % 벌어진 축척으로 모델에 도착해 너무 두껍게 나왔습니다. 카세트는 39.7 %. 폭보다 높이가 큰 대상, 머리나 인물에서는 크롭이 이미 일치했고 달라지는 것이 없습니다.
• 작고 떠 있는 조각만 제거됩니다. 가장 큰 덩어리에 비해 작고, 거기서 떨어져 있을 것. 사무라이에서는 1,133개의 조각 중 정말로 떠 있던 185개가 제거되었고, 표면의 1.21 %였습니다. 껍질 위에 붙어 있던 941개는 남겼습니다. 없애면 그 자리에 구멍이 뚫리기 때문입니다. 청소가 표면의 5 %를 넘게 원하면 아무것도 하지 않고 그렇게 알려줍니다.
• 파일이 나가기 전에 재질을 확인합니다. 모델은 레진 인형에 0.6에서 0.8의 금속값을 씁니다. 이는 잡음이고 어떤 뷰어에서든 색을 어둡게 하고 반사를 물들이므로 0으로 씁니다. 휘도를 그대로 베낀 투명도도 구워지는데, 검은 카세트는 아틀라스의 53 %가 반투명으로 표시되어 유리처럼 그리는 뷰어도 있었습니다. 불투명한 물체는 투명도 없이 나갑니다. 뒷면도 메시가 실제로 가진 열린 모서리에서 결정합니다.
• 8 GB 카드에 맞춰 만들었습니다. FP8 가중치이고, 모델은 하나씩 차례로 올라와 단계 사이에 카드를 비웁니다. 삼각형 수는 단계가 정하고(표준에서 150,000), 안전 한계는 카드에서 읽습니다. 리메시하기에 너무 무거운 형상은 드라이버를 끌어내리는 대신 한계 아래로 되돌립니다.

실행하기

1. 1
   설치하기. 세 단계가 아니라 열 단계입니다. CUDA 확장 세 개를 여러분의 기기에서 컴파일하므로 무엇보다 먼저 Python 3.12, CUDA 12.8 툴킷, C++ 컴파일러가 필요합니다. 가중치는 코드에 딸려 오지 않고 엔진이 받아 오지도 않습니다. 사진 한 장 경로에 약 9.5 GB, 네 장이면 14.3 GB를 직접 내려받아 놓아야 하고, DINOv3는 Meta의 담당자가 승인해 주기를 기다립니다. 측정은 Windows에서 했습니다. Linux도 될 것이나, 돌려보지 않았습니다.
2. 2
   사진 한 장을 건네기. 이미지 한 장이면 메시가 나오고, 설치도 더 짧습니다. 오른쪽, 왼쪽, 뒷면을 더하면 엔진이 넷을 융합합니다. 가중치가 4.8 GB 늘고, 컴파일할 확장이 하나 늘어납니다. 세 면 전부이거나 아예 없거나, 두 장은 거절됩니다.
3. 3
   .glb를 받습니다. 텍스처가 입혀지고, UV가 펼쳐지고, Y축이 위입니다. Blender에서도 Unreal에서도, glTF를 읽는 것이면 열립니다.