【特集】Collaborative Computingで実現する未来の働く場所

2021年3月、MicrosoftがMixed Reality(複合現実)開発プラットフォーム「Microsoft Mesh」を発表し、大きな話題になりました。
近年急速で進化を続けるMixed Reality技術、その仕組みや用語、活用事例などをご紹介します。

複合現実 / Mixed Reality(MR)とは?

 複合現実はMR(Mixed Reality)とも呼ばれ、広い意味では現実空間をセンサーで認識し、そこにデジタルの情報(CG)を表示する技術の総称を指し示します。

 例えばMRを利用すれば、あなたの部屋にバーチャルの動物の3Dモデルを出現させたり、あなたのオフィスにバーチャルの自動車を原寸大で表示させたりする事が可能になります。

 MRと似た概念として知られる仮想現実(VR : Virtual Reality)は、現実世界を遮断してすべてがCGで構成された空間に没入しますが、MRはVRと異なり、現実空間上にCGを表示して体験する点が大きな特徴になります。

 また、同じく似た概念として挙げられる拡張現実(AR : Augmented Reality)は、カメラの映像にただ重ねて情報を表示するだけですが、MRは複数のカメラや画像認識技術を駆使し、現実空間の形状を認識して理解したうえでCGを表示している点が異なります。

https://www.microsoft.com/ja-jp/p/hololens-2/91pnzzznzwcp

 現在、MRを体験できる主要なデバイスには、Microsoftの開発するHoloLens2が挙げられます。頭部に装着するバイザー型をしており、これ一台が一つのコンピュータになっているので、誰でも簡単にMRの世界を体験できます。

 HoloLens2には複数のカメラと高度なプロセッサーユニットが搭載されており、現実空間の形状を把握して理解できるだけでなく、ユーザーの手の形を認識できる(=ハンドトラッキング)ため、コントローラーなどを使わずに目の前のCGを掴んで操作する事ができます。

 これまでコンピュータの形態はメインフレームが使用されていた時代から、パソコン、スマートフォン・タブレットと進化を続けてきましたが、Mixed Realityこそがその次にあたる第四世代のコンピューティングプラットフォームになるとMicrosoftは位置づけています。

 

コラボレーティブコンピューティング/Collaborative Computing とは?

https://docs.microsoft.com/en-us/mesh/overview

 コラボレーティブコンピューティング/Collaborative Computingとは、HoloLensの生みの親であるMicrosoftのAlex Kipman氏が、2017年に東京で開催されたイベント「Decode」で登壇した際に語ったMixed Realityで実現する未来の姿を現す言葉です。

 コンピュータの誕生から、スマートフォン・タブレットの誕生までの時代は、個々人がデバイスと対面して画面越しにメールやチャット、ビデオ通話などを通して他人とやりとりする、いわばパーソナルコンピューティングの時代と呼ばれていました。

 これに対して、コラボレーティブコンピューティングとは、実空間をコラボレーション・スペースとして使い、離れた場所にいても、さまざまなデバイスを用い参加する事で、目の前に同じデータや同じ景色を表示しながらコミュニケーションを行うことができるようになるものです。

 より具体的には、あなたは日本のオフィスにいながら、アメリカの支社のメンバーをアバターとして空間に呼び出し、何か新しい企画のブレインストーミングを身振り手振りを交えながら行ったり、自分の部屋にいながら、アバターとして表示されているクライアントに3Dのパワーポイントを使ってプレゼンテーションを行ったり、まるでSF映画で描かれていたような会議が実現できます。


Personal Computing Is Dead, Long Live Collaborative Computing
https://next.reality.news/news/personal-computing-is-dead-long-live-collaborative-computing-0177737/

https://www.microsoft.com/en-us/mesh

Microsoft Mesh とは?

 Microsoft Meshは、Microsoftの提供する複合現実の開発プラットフォームです。Mesh上には、アバター機能、進化した空間認識機能、クロスプラットフォーム機能、シェアリング機能など、開発に必要なコンポーネントやツールキットが用意され、これまでよりも簡単にマルチユーザー向けの複合現実アプリケーションが開発可能になります。

 また、Microsoft Meshで提供される機能を駆使したHoloLens2向けのサンプルアプリであるMicrosoft Mesh Appも既に提供が始まっています。

Microsoft Mesh
https://www.microsoft.com/en-us/mesh?rtc=1

https://www.microsoft.com/en-us/mesh?activetab=pivot%3aprimaryr7

WHITEROOMとは?

 WHITEROOMは、コラボレーティブコンピューティングを実現するための、Mixed RealityとVirtual Realityの双方に対応した国産の企業向けメタバース基盤です。ネットワーク環境があればどんな場所からもアバターとして会議に参加でき、3Dモデル、オフィスドキュメント、PDF、画像、動画などを共有しマルチデバイスかつ複数人でコミュニケーションすることができます。

 WHITEROOMは国内の企業向けに設計されているため、権限管理機能や強固なセキュリティをはじめ、議事録に活用できる音声メモ機能やエビデンス作成のためのキャプチャ機能など、ユースケースに沿った数々の機能が搭載されています。
 WHITEROOMがあれば、デザインレビュー、遠隔支援、遠隔セールス、遠隔授業、遠隔診療など、実に幅広い用途でMRを活用することができます。

WHITEROOM
https://whiteroom.business/

WHITEROOMの活用事例

 2021年2月、京都光華女子大学ではWHITEROOMを活用した遠隔での看護技術実習の検証授業が行われました。看護学科では授業の過程で実際の医療器具を用いた実習を行う事が必須でしたが、新型コロナウイルスの蔓延にともない実習を実施できないのが深刻な問題になっていました。そのような状況下でも、WHITEROOMを用いることで、一部の学生が自宅にいながら実習授業を行うことができました。

 三菱パワー株式会社では、社内のMixed Reality遠隔支援プラットフォーム「MHI Virtual Meeting Room」の基盤にWHITEROOMが採用されました。現場の作業者がHoloLensを装着し、自分の視界の映像を遠隔地のオペレーターに共有することで、機器の操作方法をスムーズに伝達する事が可能になります。

三菱パワーと南国アールスタジオ、Mixed Reality遠隔支援プラットフォーム「MHI Virtual Meeting Room」の共同開発を開始
https://prtimes.jp/main/html/rd/p/000000002.000060741.html

WHITEROOMなら面倒な導入作業が無く、HoloLensがあれば契約後すぐにご利用いただけます。
また現在、無償一カ月のトライアルプランも受け付けています。
この機会にぜひご利用ください。


付箋&音声メモ

音声入力で付箋やメモを作成できます。作成した付箋は終了後にサイト上から一覧で見れるため、議事録としても使えます。


メジャー

メジャー機能を使用するとVR/MR空間上でも、直感的に実物の大きさを正確に測ることができます。


議事録

作成したキャプチャーや付箋、音声メモなどを管理サイト上からみることができます。作成者や日時なども自動的に記録されます。


セーブ&ロード

セーブ/ロード機能で状態を途中保存して、翌日続きから再開できます。また異なるモデルをそれぞれのセーブスロットに保存して比較することも可能です


3Dペン&マーカー

3Dペンはホワイトボードに描くように、空間上に自由に線を描いて、相手にアイデアや考えをすぐに伝えられます。マーカーは印を空間上につけることができ、配置決めの際に便利です。


画面共有

アプリを起動中でも他のデバイスの画面を空間上に共有できます。リモート会議のように、エクセルやパワーポイントの資料を動かしながらVR上で共有することが可能です。


キャプチャー

自分が見ているメタバース空間を撮影し、保存することができます。撮影したキャプチャーは管理サイトから閲覧が可能で、音声メモとセットで後からいつでも見返すことが可能です。


SphereCast

遠隔地でも360°カメラでリアルタイムの現場の様子を手軽に共有することができます。
>詳しくはこちら


MixedReality(複合現実)表示

MixedReality表示にすると実際の空間の中に3Dモデルなどを自由に配置できます。資料や実際の製品を見ながらのモデルの検討も可能です。


QRコード配置

QRコードを認識させることでアセットを毎回同じ位置に配置することができます。


微調整機能&原寸表示

3Dモデルのサイズや位置、回転などをミリ単位で正確に配置できます。原寸表示も可能なので、レイアウトのシミュレーションも可能です。


グリッド&重力機能

グリッド機能や重力機能を用いると、地面の位置に合わせてスナップするので、実際の空間の中で素早くレイアウトを組むことができます。


3D表示&マルチメディア

fbxやglbを初めとした3Dモデルや、ExecelやPowerPointなどのOffice文書、動画や音声、自由に空間上に出すことが可能です。


スライサー

3Dモデルの断面を自由に見られます。CADデータなどの内部の構造をよく見たい際にお使い下さい。


オーサリング

コーディング不要で誰でもインタラクティブなXRコンテンツのプロトタイプが作成できます。それを複数人で体験可能です。


PCVR

GPUを搭載したPCと接続することで大容量の3Dデータの表示できます。従来では難しかった、容量の大きいCADデータや点群データも閲覧可能になります。
>詳しくはこちら


アバター&音声チャット

ルームにはアバターとして参加でき、リアルタイムの音声チャットを通じてコミュニケーションを取ることができます。


シーン機能

ルームの規模や用途に応じて、ルームのデザインを切り替えられるだけでなく、360度画像も設定可能です。(VRのみ)


同時翻訳

相手の話した言語をリアルタイムに翻訳して字幕として表示できるので、グローバルな会議などにも対応可能です。


LIVEアバター

専門的な機材は不要で、ボリュメトリックビデオと呼ばれる立体映像をアバターとして使用できます。
詳しくはこちら">>詳しくはこちら

エンタメ/ツーリズム

オーサリング機能を使い、バーチャルな観光体験を実現

✅オーサリング機能によりインタラクティブな体現型コンテンツをノーコードで作成できる
✅360度画像にも対応し、現地にいる感覚を表現できる
✅アバターを用いてリモートでも対面に近い感覚で接客/案内できる
✅実物をフォトグラメトリでデジタル化して展示できる

プロモーション

iPhone/iPadで体験可能なインパクトあるプロモーションを展開

✅オーサリング機能によりインタラクティブな体現型コンテンツをノーコードで作成できる
✅iPhone/iPadのみでも体験可能なので、端末の手配がしやすい
✅アバターを用いてバーチャル上でも接客/案内ができる
✅実物をフォトグラメトリなどでデジタル化したデータも表示できる

建設/不動産

BIM/CIMなどのデータを使い、施工前のシミュレーションを実施
(※一部制約あり、fbx/glb/gltfへの変換が必要です)

✅ VR上で確認したデータを、現場でMRを用いて重ね合わせる事ができる
✅平面的で見せるよりも直感的に完成形やイメージを伝えられる​
✅重力機能を使えば、什器や設備のレイアウトがシミュレーションが簡単に実現できる
✅お客様や意思決定層からのフィードバックを付箋として記録できる

プレゼンテーション/セミナー

空間を自由に使ったダイナミックなプレゼンテーションを実現

✅オーサリング機能を使い、平面を飛び出した迫力のあるプレゼンをノーコードで実現できる
✅ 3Dモデルを用いた立体的なインフォグラフィックスを使い、データを直感的に表現できる
✅同時翻訳機能を使い、言語の壁を超えたコミュニケーションをサポートできる
✅VR上のバーチャルなホールを使用すれば、費用を大幅に削減できる

総合学習

マルチメディアを組み合わせた体験型の総合学習で、学習の意欲を向上

✅10人程度まで同時参加できる
✅ VR参加のシーンをカスタマイズし、現実では体験できない空間を疑似的に表現できる
✅オーサリング機能やアニメーション機能を使ったインタラクティブな演出が簡単に作成できる
✅付箋機能を使った学生間の自発的なコミュニケーションを促進できる

実習授業

コロナ禍により実施が難しくなった実習授業をバーチャルで実現

✅オーサリング機能を使い、インタラクティブな学習コンテンツをノーコードで作成できる
✅10人程度まで同時参加/体験できる
✅3Dモデル以外にも、教材のPDFを変換不要ですぐに共有できる​
✅実際に手を動かしながら学習でき、映像よりも効果的に技術習得ができる

遠隔支援

現場とオフィスを接続し、リアルタイムかつ直感的に作業をサポート

✅ブロードキャスト機能やキャプチャ機能により現場の状況を的確に伝えられる
✅3Dペン機能やマーカー機能を使うことで、遠隔地の技術者は的確な指示を送ることができる
✅音声以外にも、マニュアル等の必要な書類をすぐに共有できる
✅作業結果や対応内容、原因などの情報を音声メモとして記録し、会議履歴から閲覧できる

デザインレビュー

製品のCADデータを関係者で一緒に見ながらのディスカッション、レビュー

✅原寸大表示にすることで、デジタル上でも実物の感覚がわかりやすい
✅サンプルを作成する手間が省けるので、より多くのデザインパターンを確認できる
✅フィードバックや課題、気づいた点を付箋や3Dペンを使いその場でメモができる
✅セーブ/ロード機能で状態を途中保存して、翌日続きから再開できる

メディア再生機能

 動画や音声、オフィスファイルを再生できるだけでなく、アニメーション付きの3Dモデルを再生したり、点群データなども自由に閲覧することができます。

原寸大機能

3Dモデルを原寸大やその1/2倍、2倍などのスケールに切り替えることが出来ます。CADモデルなどを実際と同じスケールで見たい場合などにご利用ください。

陰影切り替え機能

 3Dモデルの陰影の表示を切り替えられます。既にテクスチャに陰影が焼きこまれている3Dモデルを使用される際は、陰影をoffにしてください。

音声メモ機能

空間内のオブジェクトに音声入力で簡単にメモを付けることができます。会議での決定事項などをまとめる際にご利用ください。

重力機能

重力機能をONにすると、オブジェクトに重力がかかったように下に移動します。オブジェクトを床の上にぴったり置きたい際に利用できます。

ロック機能

移動・回転・スケールの操作をロックする事ができます。一つのオブジェクトを固定して、他のオブジェクトを重ねたり、3Dペンで書き込む際にご活用ください。

テレポート機能

MR空間内でテレポートする事ができます。自室や書斎などの狭い部屋でWHITEROOMを利用される際にご活用ください。

セーブ/ロード機能

会議の状態(オブジェクトの位置、回転、サイズ、音声メモ、線の書き込みなど)をいつでも保存することができ、過去の状態に復元することが可能です。

ブロードキャスト機能

参加者がいる現場の状況を、遠隔地のPC上にライブ配信出来ます。遠隔支援などにご利用いただけます。(HoloLens2 のみ)

3D表示機能

3D モデル以外の画像、動画、ドキュメントなどもCG として空間上に表示され、誰でも直感的に操作が可能です。

オーサリング機能

インタラクティブなXR コンテンツをコーディング不要で簡単に制作でき、さらにそれを複数人で体験することができます。

スライサー機能

3Dモデルの任意の箇所の断面を見ることができます。CADデータなどの内部の構造を見たい際にご利用ください。

Webブラウザ機能

手元で自由にwebサイトを閲覧できるだけでなく、今見ているページを静止画として空間に共有することができます。

キャプチャ機能

現在自分の見ている視界をそのままスクリーンショットする事ができます。撮影した写真は瞬時に空間にオブジェクトとして出現し、参加者全員に共有されます。

同時翻訳機能

相手の話した言葉をリアルタイムに翻訳して字幕として表示できるので、グローバルな会議にも対応可能です。

ポインター機能

 レーザーポインターのように自分の手の向いている方向に線を出す事ができます。資料の注目してほしい部分を指し示す際にご利用いただけます。

マーカー機能

○やチェックマークや絵文字などの3Dモデルを空間に出す事ができます。リアクションや気持ちを伝えるのに役立ちます。

付箋機能

音声入力で空間上に付箋を作成できます。会議中に思いついたアイデアを伝えたり、整理したりするのに役立ちます。

アバター機能

会議にはアバターとして参加することができます。アバターは手持ちの3Dモデルを自由に設定することが可能です。

音声チャット機能

通常のテレビ会議同様に音声通話ができるだけでなく、立体音響機能があるため、テレビ会議では失われがちな臨場感のあるコミュニケーションが可能です。

3Dペン機能

ホワイトボードに描くように、空間上に自由に線を描いて、相手にアイデアや考えをすぐに伝えられます。