Swampdog part16 -HoloLensチュートリアル2-
前回はなんとかエミュレータでHoloLensアプリを起動できました。
今回は「ch.2 視線の取得」から続けます。
目次
メモリ増設
その前に早速メモリが届いたので増設します。
」です。詳細はこちら。
ch.2 視線の取得 (Gaze)
気を取り直して、公式チュートリアルのch.2を進めます。
基本は動画に沿ってやっていけば問題ないです。
エミュレータですが、機能はよくわからずエラーが出たりしていたのですが今日はそんなことありませんでした。
やっぱりメモリ不足だったんですかね。
今回もエミュレータの画面を録画したかったのですが、
Windowsの画面キャプチャで録画して確認したところ、なぜかエミュレータの画面内が真っ暗で撮影されていました。よくわからん。
結局HoloLens内の録画機能を使って、HoloLens内からYoutubeにアップロードすることで録画したものを見ることができました。
この方法で今後の画面録画は行けそうです。
ch.3 ジェスチャーによる操作 (Gesture)
ch.3ではジェスチャーの取得を行いました。
タップしたら球体にRigidbodyが追加されることで物理シミュレーションが適用されます。
要するに浮いてた球体が重力によって落ちます。
こんな感じで。
特に詰まるところもなくサクサク進みます。
ch.4 音声認識 (Voice)
コワーキングスペースで作業することが多いので音声操作は動画だけ視聴して一旦後回し。
ch.5 立体音響 (Spatial sound)
これも割愛。オブジェクトにサウンドを割り当てることで、立体的なサウンドを再現できるという話。
視覚だけでなく聴覚の現実感も再現できるのがよいですね。
立体的に聞こえる仕組み
余談になりますが、立体的に音を聞く仕組みは左右の耳へ音が届く際の時間のずれだけではありません。
つまり右側にある音源から発した音は右耳に先に到達し、少し遅れて左耳に到達するのですが、それだけだと一意に座標を特定できません。
なぜなら前方からθずれた音源も、後方からθずれた音源も左右へ届く時間差は同じだからです。
ではなんで我々は立体的に音を認識できるかというと、HRTF（頭部伝達関数）というもののおかげなのです。
- Wikipedia | 頭部伝達関数
詳しい説明はWikipediaを参照してもらうことにして、ざっくり解説すると、HRTFは個体の骨格や髪型に依存します。
先ほどの音源が前方でも後方でも同じ時間差というのは非常に単純化した場合の話です。
実際には、前からの音は鼻にぶつかってから左耳に届いたり、後ろからの音は髪に吸収されて減衰したりします。
つまりその人の頭部や全身の状態によって微妙に聞こえかたが変わります。
私たちは経験的に、「こういう聞こえ方の音はこっちの方にある」ということを学習し、音の聞こえ方だけで音源の位置を特定できるのです。
これを考慮した録音方法がバイノーラル録音です。
- Wikipedia | バイノーラル録音
ダミーヘッドというものを用いて録音することで、イヤホンで再生するとリアルな聴覚体験が可能になります。
一時期流行りましたが例えばこんなのがあります。
先天的にHRTFに異常がある場合は立体的に音を聞くことができません。
その人のHRTFを使って録音（＝左右の耳に小さいマイクを設置して録音）した音を健常者に聞かせると立体感が得られません。
そして健常者のHRTFで録音した音をHRTFに異常がある人に聞かせても、やはり立体感が得られません。
音と立体的な位置の結びつけは経験的な学習から得られるものだからでしょうね。
余談でした。
あとは触覚、嗅覚も再現できれば解剖教材として価値を高められるんですが。
ここら辺はなかなか時間がかかりそうですね。
触覚
個人的にはH2L社のUnlimited Handに注目しています。
腕から電気信号を送ることで触覚を再現しています。
ただ、現状「小鳥が止まった」とか「拳銃を発砲した」とかの瞬間的な触覚の再現にとどまるようです。
CEOの岩崎さんにお話し伺ったことがあるのですが、例えば「メスで皮膚を切る」ような持続的に圧がかかるような触覚の再現はまだできないとのことでした。
嗅覚
嗅覚は多分一番実用化が遠いです。
いつぞやの匂いのするテレビは一瞬話題になって消えましたし。
- WEBマーケティング ブログ | 匂いの出るテレビ「SMELLIT」 そのうちに市販化される！？
市販化されたかどうか知りませんが少なくとも普及はしませんでしたね。
まだまだ構想段階っぽいですが記憶に残っているのは「Project Neutorished」というプロジェクトです。
詳しくは以下の紹介記事がわかりやすいんですが。
要するに食感や味、匂いを再現できれば何を食べても同じじゃない？って話です。
つまりSFによく出てくる完全栄養食（カロリーメイトみたいなやつ）にVRを適用することで「味よし栄養よし」を実現するのが目的らしいです。
ちなみにヒトの嗅覚受容体は400ほどあるらしいです（イヌに比べれば半分程度）。
色を認識する錐体細胞が3種類なのに比べれば組み合わせ数が途方もないことがわかります。
（この比較が同等なのかは微妙ですが）
大分話が逸れましたが、要するにVRって視覚が取り上げられがちですけどそれ以外も進行中ですってことが言いたかったです。
極論、感覚なんて電気信号ですし。
わざわざ自前のデバイス（目とか鼻とか）を介さなくても直接脳を刺激すればいいんですから、「仮想現実は現実に及ばない」という意見は僕には謎です。
単に現在の人類の技術が未熟なだけで、滅びなければいずれマトリックスできると考えています。
ch.6 空間認識 (Spatial mapping)
これも動画だけ見て割愛。
現実空間を認識するという機能です。オブジェクトを机の上に乗せたりとか。
こういうこともできると頭にいれておいて、必要になれば復習します。
次回
次回からは実際に自分のアプリを設計して開発を進めていきます。
HoloLens自体の勉強はここら辺で情報を追っていくことにします。
- Microsoft | Windows Mixed Reality
- develog.holo | UnityでHoloLensアプリケーション開発Tips
- How to Develop Apps for Microsoft HoloLens
10日まで何かしらインタラクティブなアプリを作成するのを目標にします。
最後に
Visual StudioでHoloLensエミュレータを起動するのに結構時間がかかるんですが、エミュレータの起動速度って何に依存しているんでしょうか？
あと、やっぱ重い（物理）ので軽くしたいので光学ドライブ取り外し可能か調べてみます。
どんぐらい変わるんですかね。100gも軽くなれば御の字。
取り外し後はウェイトセーバーとかブランクベゼルとかいうものを取り付けるようです。めも。
ヤフーメールを使ってた時に購入したと思われるので購入時の情報がほとんど残っていないです。
多分2014年2月に購入したっぽいので、2年半前のものってことですが。もっと前に感じる。
さかのぼってみると、
2016/10~ 秋学期から工学部の授業受け始めたから、
2016/04~ ウェブ系でフルタイムで半年間働いてて、
2015/03~ 引きこもり？
一年ぐらい研究室で使ってたマシンか。たしかに使ってた期間はそんなもんかも。
10万円は超えてた気がするので大事に使って元取ろう。