Hi3DGen으로 그림 한 장을 3D로, 자동 뼈대까지 게임에 넣어 본 결과

혼자 게임을 만드는 개발자가 무료 인공지능 도구 Hi3DGen으로 그림 한 장에서 3D 캐릭터 모양을 만든 뒤, 노말맵 보완, 색칠, 자동 뼈대 적용을 거쳐 실제 게임에 넣어 본 과정을 정리합니다. 확대해서 보면 차이가 있었지만 게임 크기에서는 기존 방식과 비슷했다는 결론입니다.

⏱ 00:00발표자는 혼자 게임을 만드는 개발자로, 기존 캐릭터 알렌의 얼굴과 옷 디테일이 평면 그림에 기대고 있다는 문제에서 출발합니다. 무료 인공지능 도구에 캐릭터 그림 한 장을 넣어 짧은 시간 만에 3D 모양을 받은 뒤, 이를 게임에 넣을 수 있을 때까지 다듬은 하루를 기록한 영상입니다.

게임이나 인공지능 전문가가 아닌 입장에서 직접 해보며 겪은 시행착오를 정리한 내용이라고 밝힙니다.

⏱ 00:33Hi3DGen은 그림에서 표면 방향 정보를 먼저 추정해 색 없이 모양에 요철을 새기는 무료 도구로 소개됩니다. 코드와 모양 모델은 MIT 라이선스지만, 함께 쓰는 법선 부품은 상업 사용 여부를 확인 중이라고 합니다. 직접 설치가 어려워 허깅페이스 시험판을 유료 계정으로 돌렸고, 약 22초 만에 모양을 얻었습니다. 얼굴은 살아 있었지만 가장자리는 너덜너덜했습니다.

같은 그림을 다른 도구 세 곳에도 넣어 회색 모양으로 비교했습니다. 가까이에서 보니 얼굴과 갑옷 디테일은 TRELLIS 2 로컬 실행본이 더 세밀했고, 손가락은 Hi3DGen이 조금 나았지만 큰 차이는 아니었습니다. Hi3DGen은 첫 TRELLIS를 고친 것이고 TRELLIS 2는 다음 세대라 바탕 모델 세대 차이가 아닐까 추측했지만, 한 장의 그림으로 본 결과라는 단서를 달았습니다.

⏱ 02:36현재 알렌보다 모양이 나아 게임에 맞게 다듬기로 했습니다. 블렌더에 익숙하지 않아 스크린샷으로 확인하고 클로드에게 수정을 요청하는 방식으로 작업했습니다. 떨어진 조각을 지우고 면 수를 게임용 수준으로 줄였으며, 줄이면서 뭉개진 갑옷 디테일은 원래 모양의 요철을 노말맵 그림으로 구워 붙여 보완했습니다.

등판은 앞그림만으로 뒤를 추정하다 보니 없는 홈이 생겼습니다. 뒤에서 본 깊이 지도로 등을 다시 세웠지만 판 안쪽 겹이 끌려 나오거나 네모난 구멍, 옆구리 가시 같은 실패가 세 번 있었습니다. 면마다 조건을 하나씩 붙여 문제를 없앴고, 머리 질감이 바뀐 뒤에는 몸은 첫판을 그대로 두고 노말만 다시 구웠습니다.

⏱ 03:38Hi3DGen 결과에는 색이 없어 직접 칠해야 했고, 이 과정이 가장 어려웠습니다. 앞뒤 그림 두 장을 입히니 옆면에는 정보가 없어 어깨 옆에 얼룩이 생겼습니다.

첫째는 게임 속 알렌의 색을 빌려 와 겉면 색을 옮기는 방법입니다. 몸이 조각나고 눈이 두 겹으로 보이는 문제가 있어 짝을 맞추고 얼굴은 앞그림만 써서 고쳤습니다. 둘째는 회색 모양을 여섯 각도에서 찍어 그림 모델에 칠하게 한 뒤 되비추는 방법입니다. 뒤쪽 비스듬한 각도에서 팔이 네 개처럼 나오는 문제가 있었고, 여러 번 뽑은 결과 중 윤곽이 맞는 것을 자동으로 골랐더니 금태가 흐릿해졌습니다. 셋째는 질감을 13가지 색으로 묶고 이웃끼리 다수결로 다시 칠하는 규칙 방식입니다. 한 몸에 약 4분이 걸렸고 앞면은 깔끔해졌지만 옆면 얼룩은 작은 토막으로 바뀌었을 뿐이었습니다.

눈꼬리가 옆으로 끌리는 문제는 눈 둘레를 평평하게 펴서 고쳤고, 목과 머리를 잇는 과정에서는 목 윗부분이 붙은 덩어리였던 점을 찾아 맨 위에 고리를 새로 세워 해결했습니다.

⏱ 06:03기존에는 믹사모로 뼈를 넣었는데 브라우저 자동화가 자주 멈추고 옛 뼈대가 섞이는 문제가 있었습니다. 무료 자동 뼈대 도구 SkinTokens를 허깅페이스 시험판에서 써 보니 사람 손 없이 뼈와 손가락뼈가 들어왔습니다. 이름은 번호로 오지만 구조가 믹사모와 같아 대응표로 바꿨습니다.

블렌더에서는 믹사모와 크게 다르지 않았지만 게임에 넣자 칼끝이 뒤를 보고 방패가 뒤집혔습니다. 게임이 무기를 손뼈 방향 기준으로 붙이는데, 두 도구의 손뼈 방향이 136도에서 140도 정도 달랐던 것이 원인이었습니다. 뼈 자리는 그대로 두고 손뼈 방향만 맞추자 문제가 해결되었고, 여덟 명의 캐릭터를 한 번에 처리했습니다. 절반은 첫 시도에 실패했지만 스크립트가 다른 토큰으로 다시 불러 모두 받아 왔습니다.

학습 데이터의 상업 사용 여부가 불분명해 학습 없이 하는 방법도 시도했습니다. 정면 실루엣과 단면 깊이로 관절 위치를 찾고, 믹사모 뼈대 192개의 평균 비율로 나머지를 채웠습니다. 처음에는 서로 붙지 않은 면들의 모음이라 실패했지만, 한 덩어리로 다시 떠서 계산하니 풀렸습니다. 관절 위치 차이는 키의 1.4%(믹사모)와 1.8%(SkinTokens) 수준이었고, 다리뼈가 빠진 결과를 걸러내는 검사도 추가했습니다.

⏱ 08:24여덟 명의 알렌과 기존 알렌까지 아홉 명을 믹사모, SkinTokens, 학습 없는 방법 세 가지로 게임에 넣었고 유니티 경고는 없었습니다. 블렌더에서 걸을 때 보이던 어깨 들썩임은 게임에서 대부분 2cm 안쪽으로 줄었고, 게임 크기에서는 세 방식의 동작이 거의 비슷했습니다.

다만 로건 전사의 도끼는 자동 뼈대 두 방식 모두 방향이 틀어졌는데, 믹사모 쪽 손뼈 방향이 다른 캐릭터와 달랐던 탓으로 보았습니다. 코엔티는 SkinTokens에서만 칼과 방패가 뒤집혀 원인을 찾는 중이며, 서 있는 자세도 믹사모 기준으로 몇 도 더 뒤로 젖혀졌다고 합니다.

⏱ 09:34확대해서 보면 Hi3DGen 계열 결과에 분명한 장점이 있었지만, 게임 크기 화면에서는 모양, 색, 동작이 기존 방식과 비슷했습니다. 그래서 뼈대는 편하고 안전한 쪽을 택하되 지금은 믹사모를 그대로 쓰기로 했고, 자동 뼈대에서 무기와 서 있는 자세 문제는 숙제로 남겼습니다.

발표자는 결과를 보고 판단했을 뿐이며, 도구 실행과 블렌더 작업, 게임 시험은 클로드가 스크립트로 수행했다고 밝힙니다. 비용은 허깅페이스 프로 월 9달러와 클로드 구독이며, 나머지는 무료이거나 로컬에서 실행한 것이라고 정리합니다.