blog.alumican.net

対象物が写った複数の画像をアップロードすると、サーバサイドで対象物を三次元復元し、3Dモデルデータをダウンロードできるアプリ『Autodesk 123D Catch』がすごいわけです。とりあえず、出力されたfbxファイルの頂点データをFlashでパースして某PV風なサウンドビジュアライズを速攻で作ってみました。

» Vertices From Autodesk 123D Catch

fbxのパースにはSaqooshaの『FBX Parser for AS3』が使えるかなあと思ったんですが、fbxは方言が激しいらしくうまくパースできなかったので強引にやりました。今、膨大な頂点をまびきながらテクスチャをマッピングする作業が思ったよりもめんどうで苦戦中。

3Dモデルのモデルには@bouzeが協力してくれました。アプリには完成したモデルデータをYouTubeにアップするボタン（いるのかこれ）も付いていたのでやってみました。

» Bouze3D

以下メモ。

僕も学生時代に似たような研究をやってました。こういう技術はたくさんの基礎技術の組み合わせでできていて、例えば

1. 入力画像から特徴点を抽出する。
2. 複数の画像にまたがって現れる特徴点のパターンを検出し、画像同士の相対的な位置関係を明らかにする（カメラの座標と角度の推定）。
3. 各カメラの位置、画像を元に、対象物の表面（メッシュ）を推定する。テクスチャもこのとき多数決法などで復元したりすることもある。
4. 誤差や不十分な入力によってで生じるメッシュの穴を補完する。

数学的予測に基づく面の補完（4）を、再び実際の画像に照らし合わせて答え合わせをする（3）という作業を繰り返すことで精度の良い復元になっていったりします。

まだ確認していないのですが、クラウド上にアップされているみんなの写真を使ってモデリングをおこなうこともできるらしく、これが本当だとすれば、各々が持ち寄った写真から一つの街をモデリングすることもできるかもしれないという。

ちなみに、複数の写真から得られる情報を重ね合わせることで元の写真よりも解像度をあげる超解像という技術があるのですが、この技術も組み合わせれば「自分が復元した3Dモデルが、いつの間にか他の人の写真によってより精細になっていた」ということが実現されるかも知れません。