Swampdog — CT データから 3D 骨格モデルを作り HoloLens で見る（連載まとめ）

旧ブログの連載（全33回）を1本にまとめた記事です。

Swampdog は、動物の CT データから 3D 骨格モデルを構築し、HoloLens / VR 上で解剖学を学べるようにすることを目指した個人プロジェクトです（2017年）。獣医学のバックグラウンドと当時学んでいた VR / Mixed Reality・医用画像処理（OsiriX）・機械学習を掛け合わせた、AI for Science の原点の1つです。

開発ログ（旧ブログからの索引）

以下は旧ブログ roy29fuku.com に 2017-04-10〜2017-10-02 にかけて連載した開発記録の索引です（全 33 回）。個別記事の URL は本ページへ集約しました。

2017-04-10｜CTデータ調達 — 東京大学動物医療センター病院長と面談動物のCTデータがネットでは無料で入手できなかったので、獣医学科時代の伝手を頼ってCTデータを都合して
2017-04-27｜CTデータ調達2 — 前回、東京大学附属動物医療センター（VMC）病院長へ取り次いでもらい、CTデータの提供を依頼しました。その後、院内で検討していただいていま
2017-06-28｜Swamodog part1 -CTデータから3Dモデルを構築する- — 目的・概要 part1なので目的と概要を述べます。まず私のライフワークは「“無駄”な命の消費を抑制する」です。誤解を生みがちな点について
2017-07-03｜Swampdog part2 -Android設定- — 概要前回、Unity上に3Dモデルを配置しました。ひとまず手元で開発しやすいAndroidアプリとして完成させる方針にします。今回はA
2017-07-03｜Swampdog part3 -バックボタン- — 前回はとりあえず、3Dモデルを実機に表示することに成功しましたが、バックボタンが対応していなかったので使い勝手が悪かったです。まずはバック
2017-07-05｜Swampdog part4 -カメラ回転- — 3Dモデルの一側面しか観察できないのでは意味がありません。あらゆる位置、角度、距離から矯めつ眇めつ観察できるようにします。カメラを動かせ
2017-07-05｜Swampdog part5 -カメラズーム、移動- — 概要前回は躓いてしまった結果、カメラの回転しか実装できませんでした。 [video width=“640” height=“226” m4
2017-07-05｜Swampdog part6 -VRアプリ化- — 概要前回までにカメラの移動、回転、ズームを実装しました。このような感じになりました。 [video width=“640” height
2017-07-06｜Swampdog part7 -コントローラ接続失敗- — 概要前回は、怪しさは残るもののVRアプリ化することができました。細かい調整は実際にVRゴーグルにセットしてコントローラで操作しながら行う
2017-07-07｜Swampdog part8 -小休止- — 前回は手持ちのスマホにUSBホスト機能が備わっておらず、SIXAXISを接続することができませんでした。今回は一旦、ゴールを再確認して進め
2017-07-16｜Swampdog part9 -OsiriXで個別に骨を抽出- — 本プロジェクトの作業は、大まかに以下の2つに分けられます。 OsiriXでCTデータから3Dモデルを取得する Unityでそれを閲覧するVR
2017-07-17｜Swampdog part10 -ひたすら肋骨- — 前回肋骨を一本取り出すことに成功しました。 http://roy29fuku.com/virtual-reality/swampdog/ex
2017-07-22｜Swampdog part11 -メンタリング- — たまたまタイミングが重なり、2件プロジェクトに対するアドバイスをいただいたのでまとめます。＠TECH LAB PAAK HTC VIVEプ
2017-07-28｜Swampdog part12 -胸部骨格3Dオブジェクト化- — チェストー！って空手家が叫んでるの、野球のノックでいう「ファーストー！」みたいな感じかと思ったら、「知恵を捨てよ」って意味だったらしいで
2017-08-04｜Swampdog part13 -3Dセグメント機械学習調査- — 医療分野でVR技術を活用しているHoloEyesのCTO谷口さんにお話を伺う機会がありました。 CT画像を3次元的に解釈して自動で臓器などを
2017-08-06｜Swampdog part14 -ThinkPad E440にWindows 10インストール- — HoloLens環境構築は別記事でまとめました（2018/8/23追記） VR解剖図のビジネス面での検討を始めました。最初は第一歩として簡
2017-08-06｜Swampdog part15 -HoloLensチュートリアル1- — はじめに前回一日かけて開発環境を構築しました。 http://roy29fuku.com/virtual-reality/swampdog
2017-08-07｜Swampdog part16 -HoloLensチュートリアル2- — 前回はなんとかエミュレータでHoloLensアプリを起動できました。今回は「ch.2 視線の取得」から続けます。メモリ増設その前に早速
2017-08-08｜Swampdog part17 -HoloLens実機で確認- — 前回までHoloLensのチュートリアルをざっくりさらいました。今回は以前CTからつくった3Dモデルをアプリに乗せて、HoloLens実機
2017-08-13｜Swampdog part18 -固定表示- — 前回の動画を見ていただければわかるのですが、HoloLensで表示した骨が首の前後に合わせて移動してしまいます。これでは回り込むことができ
2017-08-15｜Swampdog part19 -カーソル表示- — はじめに VR獣医解剖図とか、獣医VR解剖図とか長いしややこしいので、本プロジェクトを「Swampdog」と呼ぶことにします。開発期間中の
2017-08-17｜Swampdog part20 -ラベル表示- — はじめに前回は骨にコライダーを設定し、カーソルが反応するようにしました。今回はカーソルが当たっているオブジェクトの名称を表示するウィンド
2017-08-17｜Swampdog part21 -Raycastで名称取得- — はじめにこれまで以下の機能を実装してきました。カーソルを作成カーソルに骨を認識させるラベルを作成ラベルが視界内に収まるようにする
2017-08-19｜Swampdog part22 -ポリゴン数削減- — はじめに前回、Raycastで視線を当てた部位の名称を取得できるようになりました。次はラベルをAir Tapしたら詳細画面が出るようにし
2017-08-21｜Swampdog part23 -心臓・肺マテリアル- — 前回、ざっくりと心臓・肺を作成しました。見た目まっしろで骨と区別が付きにくいので色を当てます。多分今回の記事は短い。パッチを当てる本
2017-08-24｜Swampdog part24 -仕切り直し- — HoloLensアプリがビルド通らなくなっていました。おそらく原因はVisual Studio 2017を最新版にしたこと。丸3日闘った
2017-09-02｜Swampdog part25 -表示切替1- — エラーの泥沼にハマったり、事業計画を書いていたりとで開発が一時ストップしていました。内容的にはpart23の続きになります。 http:/
2017-09-03｜Swampdog part26 -表示切替2- — 前回はボタンをつくったはいいけど、Air Tapを認識しませんでした。今回は原因を解明し、修正します。 InteractionManage
2017-09-05｜Swampdog part27 -Bounding Box- — 今回はオブジェクトを操作する機能を実装します。 MRDesignLabで提供されているBounding Boxを使います。これにより、移動
2017-09-15｜Swampdog part28 -設計再考- — プロトスターのStarBurstに採択されました。本プロジェクトは4月から細々とはじまったのですが、TECH LAB PAAKに採択されて
2017-09-15｜Swampdog part29 -BoundingBoxをスクリプトから操作- — 前回、インパクトアップ作戦②と称してUI整理に手を出し始めたところ、Bounding Boxをいじるのに苦労しました。続きをやっていきます
2017-09-18｜Swampdog part30 -説明ウィンドウ- — 引き続き、インパクトアップ作戦と称しUI整理を行います。これまではカーソルが当たった部位の名称がラベルとして表示されていました。しかし、
2017-10-02｜Swampdog part31 -4D- — 9/19にSFP最終発表、9/20に東大動物医療センターにてデモを行いました。一区切りついたので、次のステップに向けてこれまでの振り返りと