UIデザイナーに見てほしい、画面に触れないで操作できるUIとは

最近続々とスマートフォンの新機種が発売され、さまざまな機種や画面サイズのものが出てきました。今後も画面サイズの多様性は増えていくことが考えられ、さらに今後はGoogle Glassや発売されるのではないかと噂のiWatchなど、スマートフォンとは全く異なる表現ができるデバイスも登場してきます。デザイナーはさまざまな表現に対応しなければいけないので大変かと思いますが、ユーザーからすると新たなデバイスの出現により、できることが増えていくという可能性もあるのではないでしょうか。そう思ったきっかけは、あまり話題になっていないですが、ドコモ GALAXY S4の「スマートポーズ」機能です。

これは画面から目を離すと再生中の動画が止まる機能です。僕が知っている動画を一時停止する方法は停止ボタンを押すだけだったのでとても新鮮でした。
この機能は先日のブログ「アプリケーションのジェスチャーとデザインについて」で紹介した、Paperがundoボタンをジェスチャーに置き換えたという話と似ているような気がします。

そこで、今回のブログでは、PCやスマートフォンの画面上にあるボタンをタップ(クリック)して操作する以外の方法でインタラクションを起こす技術や方法、言い換えると画面に触れないで操作できるUIをいくつかあげてみようと思います。

Leap Motion

Leap Motionに関しては以前にもMEMOPATCHで紹介したことがあるので、紹介していない動画を。こちらはHuman Beat Box(口でドラムとかの音を出すパフォーマンス)をしながら、Leap MotionでMacを操作して音色を変えたり、サウンドエフェクトを追加しています。本来であればPCの画面からボタンをクリックしなければならないのを、Leap Motionの上で手を動かすことでできてしまっていますね。

MYO

腕につけることでMYOが筋肉の動きを読み取り、PCやロボットを動かすことができます。上の動画でおもしろいのがMacのiTunesで再生している音楽を親指と人差し指をつけてまわすことで音量を下げています。まるでボーリュームのつまみをひねっているかの様な動作ですね。他にも腕を平行に動かすことでプレゼンのスライドを送っているのもおもしろいですね。

kinect

Microsoftから出ているKinect。こちらはXboxで使うゲーム用のデバイスなのですが、PCと連携して使うこともできるようです。↑の動画ではKinectを使ってディスプレイ上のレントゲン写真やプラネタリウムの映像を動かしているデモを見ることができます。

Aireal

Airealはなんとディズニーが開発したもの。画面内のインタラクション(上のデモムービーだとサッカーボールが飛んでくるなど)に連動して、Aireal本体から空気が吹きだします。「画面からサッカーボールが飛んできている感」がすごい感じられそうですね。他にも蝶が飛んでいる映像をプロジェクターを通して腕に映し、Airealで空気を当てて羽ばたいている感覚を与える、なんてこともできるようです。
(Disney Research: Aireal: Interactive Tactile Experiences in Free Air)

Google Glassのウインク機能

待望のGoogle Glassにウインクで写真撮影ができる機能があるらしいとの記事を読みました。
(参考: engadget「Google Glass developer reveals ‘Winky’ eye gesture app that takes photos」)
Google Glassは元々ディスプレイに触れないので、ウインク以外にも目線や音声、Glass本体を触ることで操作をするようですね。

MagicReader(iPad用アプリ)

ちょっと前に少し話題になった電子書籍リーダーiPadアプリ。iPadの全面カメラを使用し、iPadに顔を向けた状態から顔を左右どちらかに傾けると電子書籍のページがめくれるそうです。上の動画のように、楽器演奏者が手を使わずに譜面がめくったり、料理しながらレシピをめくる、なんて使い方もできるようです。

MagicReader 1.5(無料)
カテゴリ: ブック, ユーティリティ
販売元: GimmiQ – Yutaka Rivas-Micoud

Siri, Google Now

iOS5.1.1から使えるようになったSiri。答えてくれる内容はどんどん充実していき、天気を調べる、音楽をかける、スポーツの試合結果を見る、メッセージを送るなどの機能が音声だけでできます。
Google Nowは主に場所や時間帯からユーザーが必要とする情報を提供してくれるアプリですが、音声での検索能力も素晴らしいです。僕がGoogle Nowの音声検索で感動したのは電車の乗り換え案内検索でした。「北千住から秋葉原」と話しかけるだけで一番早く行ける路線、出発まで後何分かのカウントダウンなど必要な情報が音声だけで呼び出せるのはすごいです。心なしかGoogle Nowの方が正確に言葉を聞き取ってくれるような気がします。

まとめ

以上です。
個人的には今回あげたいくつかの例のような、ボタンをタップ(クリック)する以外の方法でインタラクションを起こす技術、方法がどんどん増えていくのではないかと思います。8月の頭に発表されたMotorolaの新しいAndroidスマートフォン(Moto X)を見ると、がスマートフォンを横に振ってロックを解除するという機能が見られるのがおもしろいですね。未来が楽しみです。