ここのところビジネス面での検討に集中していたため開発がストップしていました。

甲斐あって、いろいろと開発の道筋や意欲も得られたので改めて頑張れそうです。

 

去る8月27日に第17回日本VR医学会に参加し、いろいろと収穫があったのでまとめます。

 

日本VR医学会

VRの医学への応用がテーマっぽいです。

以下は今年度の募集テーマ。なんとなく雰囲気がわかると思います。

　・VR技術の医学医療，心理学，社会学への応用
・医療・福祉・ヘルスケアシステムの要素技術，実装評価，臨床応用
・人体・臓器の計測・認識・モデリング・シミュレーション・可視化・可触化
・物理法則モデリング，大変形計算，リアルタイムFEM
・医用画像処理，レジストレーション，生体機能イメージング
・生体計測，センサフュージョン，トラッキング，記録再生
・診断・治療ナビゲーションとトレーニング
・医用イラストレーション，コンテンツ生成
・医学教育・訓練，介護教育・訓練，診断支援，治療支援，遠隔医療
・３次元ビジョン，マルチモダリティ，３次元インタフェース

第17回日本VR医学会学術大会 募集テーマ

 

最近のVRというとHMDありきといった感じ（視覚オンリー）ですが、本学会ではシミュレーションなどのテーマも含まれていて幅広くVRをとらえていました。

構成人数は数十名とかなり小規模。

ドレスコードは迷いましたが、スーツで正解でした。といってもちらほら私服の方もいて、学会としてはかなりゆるめ。ちょっと形式ばった勉強会ぐらいの感じです。

 

受付でUSBをもらえてその中にポスターや口演のまとめがpdfで保存されていたのはありがたかったです。

大会プログラムは公式から消されてしまいましたがこんな感じ。

 

大会プログラム

特別講演

いまさら聞けないVRから、誰も言わないXRの世界へ
町田 聡 先生 アンビエントメディア 代表，(一財)最先端表現技術利用推進協会 会長，（一社）デザイン＆テクノロジー協会 理事，（一財）プロジェクションマッピング協会 顧問

VR環境における変形物体の表現と操作
広田 光一 先生 電気通信大学 大学院 情報理工学研究科 教授

 

口演発表

汎用VR脳外科手術シミュレータ開発：脳動脈瘤と頭蓋底腫瘍での経験
○庄野直之 1),金 太一 1),塩出健人 1),野村征司 1),斎藤 季 2),今井英明 1),中冨浩文 1),小山博史 2),齊藤延人 1)
1) 東京大学医学部脳神経外科, 2)東京大学大学院 医学系研究科 臨床情報工学

腹腔鏡下手術におけるポート位置決定支援のための拡張現実型鉗子挿入シミュレータ
〇佐藤優樹 1)，中口俊哉 2)，林秀樹 ２）
1) 千葉大学大学院融合理工学府， 2) 千葉大学フロンティア医工学センター

拡張現実型聴診訓練システムの呼吸リズム追従再生の検討
〇岩崎 翔子 1)，中口 俊哉 2)，村竹 虎和 3)，三浦 慶一郎 4)， 川田 奈緒子 5)，伊藤 彰一 5)，朝比奈 真由美 4)，田邊 政裕 6)
1) 千葉大学大学院工学研究科，2)千葉大学フロンティア医工学センター ，3)ケンツメディコ株式会社，4)千葉大学医学部附属病院，5)千葉大学大学院医学研究院，6)千葉県立保健医療大学

片開き頚椎管拡大術の有限要素解析
○梅田大輔 1)，渡邉大 2)，高尾洋之 3)，大橋洋輝 3)
1)芝浦工業大学大学院 ，2)芝浦工業大学大学院 ，3)東京慈恵医科大学

粒子法を用いた大動脈のモデル化と大動脈弁の開口シミュレーション
青山和広 1)，○岡本有平 1)，向井信彦 1)，張英夏 1)
1) 東京都市大学

だれでもよく見える３Ｄ表示のシースルーＨＭＤの条件
○宮尾　克 1)，杉浦明弘 2)，小嶌健仁 3)，高田真澄 3)，長谷川聡 4)，長谷川旭 4)，石尾広武 5)，高田宗樹 6)
1) 女子栄養大学，2) 岐阜医療科学大学，3) 中部学院大学，4) 名古屋文理大学，5) 福山市立大学，6) 福井大学

肘関節鏡の鏡筒の回転に追従するAR手術ナビゲーションシステムの開発
〇大塚嵩斗 1)，大山慎太郎 2)，山本美知郎 2)，平田仁 2)，横田秀夫 3)，溝口博 1)
1) 東京理科大学，2) 名古屋大学，3) 理化学研究所

弾性体の局所変位観測に基づくモデルベース外力・変形推定
〇中尾 恵 1), 松田哲也 1)
1) 京都大学

局所的な変位観測に基づく弾性体の弾性率推定
○森田充樹 1)，中尾 恵 1)，松田哲也 1)
1) 京都大学大学院情報学研究科

 

ポスター発表

座位で行う「ながら運動」としての足関節背屈運動が心身に及ぼす影響
○細野美奈子 1)，井野秀一 1)
1) 国立研究開発法人産業技術総合研究所

VRを用いたパーキンソン病の視覚の評価
○塚本　忠 1)，高橋祐二 1)，村田美穂 1)，水澤英洋 1)
1) 国立精神・神経医療研究センター病院

教育訓練に用いる人体模型の造形方法に関する研究（積層造形法の提案）
○石黒魁 1)，足立吉隆 1)，古矢啓祐 1)
1) 芝浦工業大学大学院

教育訓練に用いる人体模型の造形方法に関する研究（空洞の造形方法の提案）
○古矢啓祐 1)，足立吉隆 1)，石黒魁 1)
1) 芝浦工業大学大学院

腹腔鏡下手術ナビゲーションシステムにおけるカメラ位置姿勢推定手法の精度評価
○奥田啓嗣 1)，三木陽平 1)，矢野大貴 1)，大西克彦 1)，小枝正直 1)，登尾啓史 1)
1) 大阪電気通信大学

多波長狭帯域画像による軟組織変形追跡のための多層テンプレートマッチング
◯黒田 嘉宏 1), 田村 裕樹 1), 間下 以大 1), 浦西 友樹 1), 清川 清 2), 吉田 健志 3), 松田 公志 3), 大城 理 4), 竹村 治雄 4)
1) 大阪大学），2) 奈良先端科学技術大学院大学，3) 関西医科大学,4) 大阪大学

海馬に焦点をもつ難治性てんかん発作説明支援アプリケーションの開発
○小林大泰 1)，斎藤季 2)，國井尚人 2)，福山沙耶香 1)，下田哲広 1)，宇治田和佳 1)，市川太祐 1)，香山綾子 1)，庄野直之 2)，金太一 3)，齊藤延人 2)，小山博史2)
1) 東京大学大学院医学系研究科公共健康医学専攻 ，2)東京大学大学院医学系研究科脳神経医学専攻脳神経外科学，3)東京大学医学部附属病院脳神経外科

立体音響を利用した視覚障害者の対象物提示法に関するアンケート調査
○白　林潤 1,2)　関　喜一 2)　井上　拓晃 2,3)　井野　秀一 1,2)
1) 筑波大学大学院・システム情報工学研究科 2) 国立研究開発法人産業技術総合研究所・人間情報研究部門 3) 諏訪東京理科大学工学部・コンピュータメディア工学科

高次脳機能トレーニングのためのVirtual Shoppingアプリ開発
岡橋さやか 1)，澤田砂織 2)，田中朋子 3)
1) 京都大学，2) 公益財団法人京都高度技術研究所，3) 社会医療法人美杉会みのやま病院

Marching cubes法を用いた臓器形状抽出の高速化に関する検討
○斎藤季 1), 金太一 2), 庄野直之 3), 野村征司 3), 香山綾子 1), 齊藤延人 3), 小山博史 1)
1) 東京大学大学院医学系研究科公共健康医学専攻, 2) 東京大学医学部附属病院脳神経外科, 3) 東京大学大学院医学系研究科脳神経医学専攻

スマートフォンを用いた色覚異常教育支援システムの提案
◯福山沙耶香 1)，斎藤季 1)，市川太祐 1)，宇治田和佳 1)，下田哲広 1)，小林大泰 1)，小山博史 1)
1) 東京大学大学院医学系研究科

脳血管内手術用三次元画像ナビゲーションにおける非接触インターフェイス実装の試み
○永野佳孝 1)，西堀正洋 2)，泉孝嗣 2)
1) 愛知工科大学，2) 名古屋大学附属病院　脳神経外科

心臓CT画像から冠状動脈の自動抽出および分類手法の提案
○関村 匠斗 1)，土井 章男 1)，加藤 徹 1)，朴澤 麻衣子 2)，森野 禎浩 2)
1)岩手県立大学ソフトウェア情報学部， 2)岩手医科大学内科学講座

VR手術シミュレータの術式モジュールの有用性
○藤原道隆 1,2)，江坂和大 2)，高見秀樹 2)，岩田直樹 2)，田中千恵 2)，小寺泰弘 2)
1) 名古屋大学大学院医学系研究科クリニカルシミュレーションセンター, ２) 名古屋大学大学院医学系研究科消化器外科学

物体内部の変位計測を目的とした3次元計測システムの開発
〇荻野凌大 1)，足立吉隆 1)
1) 芝浦工業大学大学院

授乳婦胸部用硬さ測定装置の開発
○高壮太郎 1)，足立吉隆 1)，斉藤 哲 2)
1) 芝浦工業大学大学院，2) ピジョン株式会社

個人的に刺さった発表

ボクセル法は CT の断層画像より容易に有限要素モデルを作成可能な反面，表面が凸凹した構造になってしまい，接触点が数多くある片開き法のシミュレーションにおいて支障が生じてしまう．

 

ざっくりまとめると、

まずOsiriXの以下の問題に触れました。これは僕も納得です結局リージョングローイングですべて自動化はできなくて、ある程度マニュアルでフォローする必要があります。

 

なので、対象をROIで囲った後、ピクセル値を変化して余分なものを除去、かつROI内のピクセル値を均一化（下図）。

出典: 片開き頚椎管拡大術の有限要素解析

 

この時点でstlファイルを出力するもまだガタガタ。

 

1. メッシュミキサーでスムージング
2. SpaceClaimで閉じたサーフェスからソリッドモデルを作成
3. Femap with NX Nastranで有限要素モデル作成

 

以上。

 

できたものがこちら。

出典: 片開き頚椎管拡大術の有限要素解析

 

確かにサーフェスレンダリング特有のガタつきがなくなり、滑らからがあった。

 

質問でOsiriXのあたりが自動化できるのか聞かれてイエスと答えていたけれど、個人的には疑問符。

n=2だったので、別のデータではうまくいかないということがありそう。

サーフェスレンダリングのがたつきを綺麗にする方法を知れた点で満足。

ただ結局ここら辺は手作業かなという感じ。

 

特別講演1 いまさら聞けないVRから、誰も言わないXRの世界へ

VRの歴史とか、そもそもVRとはなんぞやとか。そういう話。

 

印象に残ったのは、

「2Dの発展した先に3Dがあるのではない」

「VRありきのモノ作りは失敗する」

「VR酔いはコンテンツの問題」

 

それぞれ解説します。

 

2Dの発展した先に3Dがあるのではない

2D、3Dはそれぞれ別の歴史を歩んでいる。

 

よく、「2Dがモノクロ->カラー->HD->4Kと進化して、その究極系として3D（立体視）がある」と誤解されているらしい。

立体視って1860年ごろにも流行っていた。

下の画像のように今のHMDと原理は同じ。

両の目にそれぞれ少しずれた画像を見せることで立体的に見える。

出典: flickr.com

 

だから2Dと3Dは別の進化をしてきたものだから、単純に延長線上としてとらえたらだめだよ。という話。

 

そしてVRも3Dとはまた別の話。

2DでもVR（仮想現実）は表現できる。たまたま今流行りのVRの形態に3Dが多いからごっちゃになりがちだけど、そもそもVRって映像の話だけじゃないし。

 

VRありきのモノ作りは失敗する

前項とも関連するけど、だからVRありきで考えると失敗する。

よくある例が、

「なんかVRやりたい」 -> 「そうだ既存の○○をVRに乗せよう」

 

講演された町田さんはプロジェクションマッピングに関わる仕事もされるそうですが、この例が本当によくあるそうです。

要するに「それってVRでやる意味ある？」問題。

 

プロジェクションマッピングなら立体感のある対象に映し出す事で生まれる面白さ、価値がないといけない。

VRならそれをVRでやることで、何かしらの意味が生まれないといけない。

 

ただ単にVR流行ってるから今もっているものをVRに乗っけよう、では面白いものも有用なものもできない。

納得。

 

VR酔いはコンテンツの問題

VR酔いとか、13歳未満がHMD使うと斜視になるとかVRの負の面も話題にあがりました。

13歳未満にHMDを使わせるべきではないという説については以下の動画が元となっています。

 

町田さん曰く、これらはコンテンツ側の問題。

 

現状の映像作品（テレビ）でも、ポリゴンショックに代表されるように利用者に害を与えたり、気持ち悪くさせたりするものはできてしまう。

じゃあテレビが悪いのかというとそうではなくて、過度な明滅などに気を付けてコンテンツをつくれば回避できる問題。

 

VRも結局同じ。今はまだスタンダードができていないから未熟なコンテンツがあふれていて、結果としてVR酔いなどを引き起こす。

これからそういった悪影響のないコンテンツ作りのガイドラインができていくはず。

一例として、3Dコンソーシアムが安全ガイドラインを作っているので参考になるでしょう。

• 3Dコンソーシアム ３ＤＣ安全ガイドライン

 

 

ポスターセッション2-2 Marching cubes法を用いた臓器形状抽出の高速化に関する検討

OsiriXのサーフェスレンダリングではMarching cubes法を使っていますが、以下の課題があります。

しかし、この手法は隣接する Cube 間で共有されるべき頂点が重複して作成されるため、ポリゴン作成後に重複頂点を統合する処理が必要となり、計算速度が低下していた。

Marching cubes法を用いた臓器形状抽出の高速化に関する検討

 

細かい話は後日Marching cubes法についてまとめるのでその時に解説します。

ざっくりいうと、計算リソースを節約しましたという話。

 

その効果は最大で6倍の高速化に成功。

Marching cubes法を用いた臓器形状抽出の高速化に関する検討

 

と、そんな感じなんですが、それ以上にいろいろ気になっている点を聞けました。

ポスターはいくつも質問できるのでいいですね。

 

僕が気になっていたのはディープラーニング（DL）出てきてるけどマーチングキューブとかの強みって何？っていう点です。

Swampdog part13 -3Dセグメント機械学習調査-

 

きっとこれまで何度となくされた質問でしょうに発表者の斎藤さんは丁寧に答えてくれました。

上の記事でも触れましたが、DLの強みはセグメンテーションまでできることです。

形だけでなく、そこが何の組織かまで判断してラベル付けしてくれます。

一方でDLには学習が必要でそのために教師データを作る必要があります。

マーチングキューブなど数理的に解析する手法ならまどろっこしい準備は必要ない、とのことでした。

 

そして今CTデータから3Dモデル構築していることを話し、アドバイスをもらいました。

自動的な手法だと目的とした組織を取れなかったり、あるいは余分に取ってきてしまうことが悩みの種であると伝えたところ、グラフカットが役に立つかもとのことでした。

 

グラフカットについても後日まとめますが、パワポとかで画像をトリミングするときに使われている技術だそうです。

下の記事で解説してありました。

• 大人になってからの再学習 グラフカット（Graph Cut）

 

特別講演2 VR環境における変形物体の表現と操作

触覚について触れていました。

これも関心のあるトピックなので嬉しかったです。

 

広田先生はVR空間に存在するものに対する触覚を研究されています。

「VR空間の映像に対して別の部位へ触覚をフィードバックする」という研究や、「電気的な触覚デバイス」に関しての知見が面白かったです。

 

VR空間の映像に対して別の部位へ触覚をフィードバックする

素直に考えれば、VRのものを実際に手で触ろうとしたとき、自分の手を認識してVR空間に送るセンサーとVR空間内で手と物体が接触した際に手にフィードバックを返すデバイスが必要になります。

両方の機能を備えさせようとすると大変なので、広田先生はこれをわけてしまおうと思ったそうです。

 

まだ研究段階らしいですが、たとえば手に取り付けたセンサーが手の動きを認識し、VR空間上での接触を足にフィードバックするという手法を試みたところある程度触覚が機能したとのことでした。

ハプティクスやそもそもVRでよく言われるのは必ずしもリアルと同じものを再現する必要はないということです。

 

東大の廣瀬研のMagicPotのように映像で補えば疑似的な触覚が再現できることが知られています。

• MagicPot

 

電気的な触覚デバイス

電気で筋肉を刺激するタイプは、

筋肉が動くような手の動作は、その動きを学習することで逆にそのような動きを再現する電気刺激がたしかに有効かもしれない。

ただし、触っている感覚。例えばザラザラしているとか柔らかいとか、筋肉の動きを発さない触覚は電気で再現することは難しいのではないか、とのこてでした。

 

なるほどなー。です。

電気信号で筋肉刺激してたんですね。

神経に直接介入しているんだと思っていました。勉強。

やはり究極のVRは直接中枢にコードをつなぐしかないですね。

 

 

まとめ

 

今日明日使う技術ではありませんが、将来的に「あれをこうしてそれをどうして」、と妄想がはかどる学会でした。

目先の開発も大事ですが定期的に大局的な視野を取り入れることでずれたことをしないようにコントロールしたいです。