INFORMATION PROCESSING SYSTEM AND STORAGE MEDIUM

　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による音響システムの概要
　２．基本構成
　　２－１．システム構成
　　２－２．信号処理装置
　　２－３．管理サーバ
　３．動作処理
　　３－１．基本処理
　　３－２．コマンド認識処理
　　３－３．収音処理
　４．第３空間の音場構築
　　４－１．管理サーバの構成
　　４－２．音場再生信号処理部の構成
　　４－３．音場再生処理
　５．補足
　６．まとめ

　　＜１．本開示の一実施形態による音響システムの概要＞
　まず、本開示の一実施形態による音響システム（情報処理システム）の概要について、図１を参照して説明する。図１は、本開示の一実施形態による音響システムの概要を説明するための図である。図１に示すように、本実施形態による音響システムでは、部屋、家、ビル、屋外、地域、国等の世界の至る所に大量のマイクロフォン１０、イメージセンサ（不図示）、およびスピーカー２０等の各種センサおよびアクチュエータが配置されている状況を想定する。

　図１に示す例では、ユーザＡが現在居る屋外の一のエリア「サイトＡ」の道路等に、複数のセンサの一例として、複数のマイクロフォン（以下、マイクと称す）１０Ａ、および複数のアクチュエータの一例として、複数のスピーカー２０Ａが配されている。また、ユーザＢが現在居る屋内の一のエリア「サイトＢ」では、壁、床、天井等に、複数のマイク１０Ｂおよび複数のスピーカー２０Ｂが配されている。なお、サイトＡ、Ｂには、センサの一例として、図示しない人感知センサやイメージセンサがさらに配されていてもよい。

　ここで、サイトＡとサイトＢはネットワークを介して接続可能であって、サイトＡの各マイクおよびスピーカーで入出力される信号と、サイトＢの各マイクおよびスピーカーで入出力される信号は、互いに送受信される。

　これにより、本実施形態による音響システムは、所定対象（人物、場所、建物等）に対応する音声や画像をユーザの周囲に配された複数のスピーカーやディスプレイでリアルタイムに再生する。また、本実施形態による音響システムは、ユーザの音声をユーザの周囲に配された複数のマイクにより収音して所定対象の周囲でリアルタイムに再生することができる。このように、本実施形態による音響システムでは、ユーザ周辺の空間を他の空間と相互連携させることが可能となる。

　また、屋内や屋外の至る所に配されるマイクロフォン１０、スピーカー２０、イメージセンサ等を用いて、実質的にユーザの口、目、耳等の身体を広範囲に拡張させることが可能となり、新たなコミュニケーション方法を実現することができる。

　さらに、本実施形態による音響システムでは、至る所にマイクロフォンやイメージセンサ等が配されているので、ユーザはスマートフォンや携帯電話端末を所有する必要がなく、声やジェスチャーで所定対象を指示し、所定対象周辺の空間と接続させることができる。以下、サイトＡに居るユーザＡがサイトＢに居るユーザＢと会話がしたい場合における本実施形態による音響システムの適用について簡潔に説明する。

　　（データ収集処理）
　サイトＡでは、複数のマイク１０Ａ、イメージセンサ（不図示）、および人感センサ（不図示）等により継続的にデータ収集処理が行われている。具体的には、本実施形態による音響システムは、複数のマイク１０Ａで収音した音声、イメージセンサで撮像した撮像画像、または人感センサの検知結果を収集し、これによりユーザの位置を推定する。

　また、本実施形態による音響システムは、予め登録された複数のマイク１０Ａの位置情報、および推定されたユーザの位置に基づいて、ユーザの声が十分収音可能な位置に配されているマイク群を選出してもよい。そして、本実施形態による音響システムは、選出した各マイクにより収音されたオーディオ信号のストリーム群に対してマイクアレイ処理を行う。特に、本実施形態による音響システムは、ユーザＡの口元に収音点が合うような遅延和アレイを行ってもよく、これによりアレイマイクの超指向性を形成できる。よって、ユーザＡのつぶやき程度の小さな声も収音され得る。

　また、本実施形態による音響システムは、収音したユーザＡの音声に基づいてコマンドを認識し、コマンドに従った動作処理を実行する。例えば、サイトＡに居るユーザＡが「Ｂさんと話したい」とつぶやくと、「ユーザＢへの発呼要求」がコマンドとして認識される。この場合、本実施形態による音響システムは、ユーザＢの現在位置を同定し、ユーザＢが現在居るサイトＢとユーザＡが現在居るサイトＡを接続させる。これにより、ユーザＡは、ユーザＢと通話を行うことができる。

　　（オブジェクト分解処理）
　通話中においては、サイトＡの複数のマイクで収音されたオーディオ信号（ストリームデータ）に対して、音源分離（ユーザＡの周囲のノイズ成分や、ユーザＡの周囲の人物の会話などを分離）、残響抑制、ノイズ／エコー処理等のオブジェクト分解処理が行われる。これにより、Ｓ／Ｎ比のよい、残響感も抑制されたストリームデータがサイトＢに送られる。

　なお、ユーザＡが移動しながら話している場合も想定されるが、本実施形態による音響システムは、上記データ収集を継続的に行うことで対応することができる。具体的には、本実施形態による音響システムは、複数のマイク、イメージセンサ、および人感センサ等に基づいて継続的にデータ収集を行い、ユーザＡの移動経路や向いている方向を把握する。そして、本実施形態による音響システムは、移動しているユーザＡの周囲に配される適切なマイク群の選出を継続的に更新し、また、移動しているユーザＡの口元に常に収音点が合うようアレイマイク処理を継続的に行う。これにより、本実施形態による音響システムは、ユーザＡが移動しながら話す場合にも対応することができる。

　また、音声のストリームデータとは別に、ユーザＡの移動方向や向き等がメタデータ化され、ストリームデータと共にサイトＢに送られる。

　　（オブジェクト合成）
　そして、サイトＢに送られたストリームデータは、サイトＢに居るユーザＢの周囲に配されたスピーカーから再生される。この際、本実施形態による音響システムは、サイトＢにおいて、複数のマイク、イメージセンサ、および人感センサによりデータ収集を行い、収集したデータに基づいてユーザＢの位置を推定し、さらにユーザＢの周囲を音響閉曲面で囲う適切なスピーカー群を選出する。サイトＢに送られたストリームデータは、このように選出したスピーカー群から再生され、音響閉曲面内側のエリアが適切な音場として制御される。なお、本明細書において、ある対象物（例えばユーザ）を取り囲むような形で、近接する複数のスピーカーまたは複数のマイクの位置を繋いだ場合に形成される面を、概念的に「音響閉曲面」と称す。また、「音響閉曲面」は、必ずしも完全な閉曲面を構成するものではなく、おおよそ対象物（例えばユーザ）を取り囲むような形であればよい。

　また、ここでの音場は、ユーザＢが自ら任意で選択できるようにしてもよい。例えば、本実施形態による音響システムは、ユーザＢが、サイトＡを音場に指定した場合、サイトＡの環境がサイトＢで再現される。具体的には、例えばリアルタイムに収音されるアンビエントとしての音情報や、予め取得されたサイトＡに関するメタ情報に基づいて、サイトＡの環境がサイトＢで再現される。

　また、本実施形態による音響システムは、サイトＢにおいてユーザＢの周辺に配された複数のスピーカー２０Ｂを用いて、ユーザＡの音像を制御することも可能である。すなわち、本実施形態による音響システムは、アレイスピーカー（ビームフォーミング）を形成することで、ユーザＢの耳元や、音響閉曲面の外側にユーザＡの声（音像）を再現することも可能である。また、本実施形態による音響システムは、ユーザＡの移動経路や向きのメタデータを利用して、サイトＢにおいて、ユーザＡの実際の移動に合わせてユーザＡの音像をユーザＢの周囲で移動させてもよい。

　以上、データ収集処理、オブジェクト分解処理、およびオブジェクト合成処理の各ステップに分けてサイトＡからサイトＢへの音声通信について概要を説明したが、サイトＢからサイトＡの音声通信においても当然に同様の処理が行われる。これにより、サイトＡおよびサイトＢで双方向の音声通信が可能となる。

　以上、本開示の一実施形態における音響システム（情報処理システム）の概要について説明した。続いて、本実施形態による音響システムの構成について図２～図５を参照して詳細に説明する。

　　＜２．基本構成＞
　　［２－１．システム構成］
　図２は、本実施形態による音響システムの全体構成を示す図である。図２に示すように、音響システムは、信号処理装置１Ａ、信号処理装置１Ｂ、および管理サーバ３を有する。

　信号処理装置１Ａおよび信号処理装置１Ｂは、有線／無線によりネットワーク５に接続し、ネットワーク５を介して互いにデータの送受信が可能である。また、ネットワーク５には管理サーバ３が接続され、信号処理装置１Ａおよび信号処理装置１Ｂは、管理サーバ３とデータの送受信を行うことも可能である。

　信号処理装置１Ａは、サイトＡに配される複数のマイク１０Ａおよび複数のスピーカー２０Ａにより入出力される信号を処理する。また、信号処理装置１Ｂは、サイトＢに配される複数のマイク１０Ｂおよび複数のスピーカー２０Ｂにより入出力される信号を処理する。なお、信号処理装置１Ａ、１Ｂを区別して説明する必要がない場合は、信号処理装置１と称する。

　管理サーバ３は、ユーザの認証処理や、ユーザの絶対位置（現在位置）を管理する機能を有する。さらに、管理サーバ３は、場所や建物の位置を示す情報（ＩＰアドレス等）を管理してもよい。

　これにより、信号処理装置１は、ユーザにより指定された所定の対象（人物、場所、建物等）の接続先情報（ＩＰアドレス等）を管理サーバ３に問い合わせて取得することができる。

　　［２－２．信号処理装置］
　次に、本実施形態による信号処理装置１の構成について詳細に説明する。図３は、本実施形態による信号処理装置１の構成を示すブロック図である。図３に示すように、本実施形態による信号処理装置１は、複数のマイク１０（アレイマイク）、アンプ・ＡＤＣ（アナログデジタルコンバータ）部１１、信号処理部１３、マイク位置情報ＤＢ（データベース）１５、ユーザ位置推定部１６、認識部１７、同定部１８、通信Ｉ／Ｆ（インターフェース）１９、スピーカー位置情報ＤＢ２１、アンプ・ＤＡＣ（デジタルアナログコンバータ）部２３、および複数のスピーカー２０（アレイスピーカー）を有する。以下、各構成について説明する。

　（アレイマイク）
　複数のマイク１０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、複数のマイク１０は、周囲の音を収音し、アンプ・ＡＤＣ部１１に各々出力する。

　（アンプ・ＡＤＣ部）
　アンプ・ＡＤＣ部１１は、複数のマイク１０から各々出力された音波の増幅機能（ａｍｐｌｉｆｉｅｒ）、および音波（アナログデータ）をオーディオ信号（デジタルデータ）に変換する機能（Ａｎａｌｏｇ・ｔｏ・Ｄｉｇｉｔａｌ　Ｃｏｎｖｅｒｔｅｒ）を有する。アンプ・ＡＤＣ部１１は、変換した各オーディオ信号を信号処理部１３に出力する。

　（信号処理部）
　信号処理部１３は、マイク１０により収音され、アンプ・ＡＤＣ部１１を介して送られた各オーディオ信号や、ＤＡＣ・アンプ部２３を介してスピーカー２０から再生する各オーディオ信号を処理する機能を有する。また、本実施形態による信号処理部１３は、マイクアレイ処理部１３１、高Ｓ／Ｎ化処理部１３３、および音場再生信号処理部１３５として機能する。

　・マイクアレイ処理部
　マイクアレイ処理部１３１は、アンプ・ＡＤＣ部１１から出力された複数のオーディオ信号に対するマイクアレイ処理として、ユーザの音声にフォーカスするよう（収音位置がユーザの口元になるよう）指向性制御を行う。

　この際、マイクアレイ処理部１３１は、ユーザ位置推定部１６により推定されたユーザの位置や、マイク位置情報ＤＢ１５に登録されている各マイク１０の位置に基づいて、ユーザの音声収音に最適な、ユーザを内包する音響閉曲面を形成するマイク群を選択してもよい。そして、マイクアレイ処理部１３１は、選択したマイク群により取得されたオーディオ信号に対して指向性制御を行う。また、マイクアレイ処理部１３１は、遅延和アレイ処理、Ｎｕｌｌ生成処理によりアレイマイクの超指向性を形成してもよい。

　・高Ｓ／Ｎ化処理部
　高Ｓ／Ｎ化処理部１３３は、アンプ・ＡＤＣ部１１から出力された複数のオーディオ信号に対して、明瞭度が高くＳ／Ｎ比がよいモノラル信号となるよう処理する機能を有する。具体的には、高Ｓ／Ｎ化処理部１３３は、音源を分離し、残響・ノイズ抑制を行う。

　なお、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１の後段に設けられてもよい。また、高Ｓ／Ｎ化処理部１３３により処理されたオーディオ信号（ストリームデータ）は、認識部１７による音声認識に用いられたり、通信部Ｉ／Ｆ１９を介して外部に送信されたりする。

　・音場再生信号処理部
　音場再生信号処理部１３５は、複数のスピーカー２０から再生するオーディオ信号に関する信号処理を行い、ユーザの位置付近に音場が定位するよう制御する。具体的には、例えば音場再生信号処理部１３５は、ユーザ位置推定部１６により推定されたユーザの位置やスピーカー位置情報ＤＢ２１に登録されている各スピーカー２０の位置に基づいて、ユーザを内包する音響閉曲面を形成する最適なスピーカー群を選択する。そして、音場再生信号処理部１３５は、選択したスピーカー群に応じた複数のチャンネルの出力バッファに、信号処理したオーディオ信号を書き込む。

　また、音場再生信号処理部１３５は、音響閉曲面の内側のエリアを適切な音場として制御する。音場の制御方法は、例えばキルヒホッフ・ヘルムホルツの積分則、またはレイリー積分則として知られるものであり、これを応用した波面合成法(ＷＦＳ：Ｗａｖｅ　Ｆｉｅｌｄ　Ｓｙｎｔｈｅｓｉｓ)等が一般的に知られている。また、音場再生信号処理部１３５は、特許第４６７４５０５号、および特許第４７３５１０８号等に記載の信号処理技術を応用してもよい。

　なお、上述したマイクまたはスピーカーにより形成される音響閉曲面の形状は、ユーザを取り囲む立体的な形状であれば特に限定されず、例えば、図４に示すような楕円型の音響閉曲面４０－１、円柱型の音響閉曲面４０－２、または多角形型の音響閉曲面４０－３であってもよい。図４に示す例では、一例としてサイトＢにおいてユーザＢの周辺に配される複数のスピーカー２０Ｂ－１～２０Ｂ－１２による音響閉曲面の形状を示すが、複数のマイク１０による音響閉曲面の形状についても同様である。

　（マイク位置情報ＤＢ）
　マイク位置情報ＤＢ１５は、サイトに配される複数のマイク１０の位置情報を記憶する記憶部である。複数のマイク１０の位置情報は、予め登録されていてもよい。

　（ユーザ位置推定部）
　ユーザ位置推定部１６は、ユーザの位置を推定する機能を有する。具体的には、ユーザ位置推定部１６は、複数のマイク１０から収音した音声の解析結果、イメージセンサにより撮像した撮像画像の解析結果、または人感センサによる検知結果に基づいて、複数のマイク１０または複数のスピーカー２０に対するユーザの相対位置を推定する。また、ユーザ位置推定部１６は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）情報を取得し、ユーザの絶対位置（現在位置情報）を推定してもよい。

　（認識部）
　認識部１７は、複数のマイク１０により収音され、信号処理部１３により処理されたオーディオ信号に基づいてユーザの音声を解析し、コマンドを認識する。例えば、認識部１７は、「Ｂさんと話したい」というユーザの音声を形態素解析し、ユーザに指定された所定の対象「Ｂ」および要求「話す」に基づき、発呼要求コマンドを認識する。

　（同定部）
　同定部１８は、認識部１７により認識された所定の対象を同定する機能を有する。具体的には、例えば同定部１８は、所定の対象に対応する音声や画像を取得するための接続先情報を決定してもよい。同定部１８は、例えば所定の対象を示す情報を通信部Ｉ／Ｆ１９から管理サーバ３に送信し、管理サーバ３から所定の対象に対応する接続先情報（ＩＰアドレス等）を取得してもよい。

　（通信Ｉ／Ｆ）
　通信Ｉ／Ｆ１９は、ネットワーク５を通じて他の信号処理装置や管理サーバ３との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態による通信Ｉ／Ｆ１９は、管理サーバ３に対して所定の対象に対応する接続先情報の問い合わせを行ったり、接続先である他の信号処理装置に、マイク１０で収音して信号処理部１３で処理したオーディオ信号を送信したりする。

　（スピーカー位置情報ＤＢ）
　スピーカー位置情報ＤＢ２１は、サイトに配される複数のスピーカー２０の位置情報を記憶する記憶部である。複数のスピーカー２０の位置情報は、予め登録されていてもよい。

　（ＤＡＣ・アンプ部）
　ＤＡＣ・アンプ部２３は、複数のスピーカー２０から各々再生するための各チャンネルの出力バッファに書き込まれたオーディオ信号（デジタルデータ）を音波（アナログデータ）に変換する機能（Ｄｉｇｉｔａｌ・ｔｏ・Ａｎａｌｏｇ　Ｃｏｎｖｅｒｔｅｒ）を有する。

　さらに、ＤＡＣ・アンプ部２３は、変換した音波を増幅（ａｍｐｌｉｆｉｅｒ）し、複数のスピーカー２０から各々再生（出力）する。

　（アレイスピーカー）
　複数のスピーカー２０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、複数のスピーカー２０は、ＤＡＣ・アンプ部２３から出力された音波（音声）を再生する。

　以上、本実施形態による信号処理装置１の構成について詳細に説明した。続いて、本実施形態による管理サーバ３の構成について図５を参照して説明する。

　　［２－３．管理サーバ］
　図５は、本実施形態による管理サーバ３の構成を示すブロック図である。図５に示すように、管理サーバ３は、管理部３２、検索部３３、ユーザ位置情報ＤＢ３５、および通信Ｉ／Ｆ３９を有する。以下、各構成について説明する。

　　（管理部）
　管理部３２は、信号処理装置１から送信されたユーザＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）等に基づいて、ユーザが現在居る場所（サイト）に関する情報を管理する。例えば管理部３２は、ユーザＩＤに基づいてユーザを識別し、識別したユーザの氏名等に、送信元の信号処理装置１のＩＰアドレス等を接続先情報として対応付けてユーザ位置情報ＤＢ３５に記憶させる。なお、ユーザＩＤは、氏名、暗証番号、または生体情報等を含んでもよい。また、管理部３２は、送信されたユーザＩＤに基づいてユーザの認証処理を行ってもよい。

　　（ユーザ位置情報ＤＢ）
　ユーザ位置情報ＤＢ３５は、管理部３２による管理に応じて、ユーザが現在居る場所に関する情報を記憶する記憶部である。具体的には、ユーザ位置情報ＤＢ３５は、ユーザのＩＤ、および接続先情報（ユーザが居るサイトに対応する信号処理装置のＩＰアドレス等）を対応付けて記憶する。また、各ユーザの現在位置情報は時々刻々と更新されてもよい。

　　（検索部）
　検索部３３は、信号処理装置１からの接続先（発呼先）問い合わせに応じて、ユーザ位置情報ＤＢ３５を参照し、接続先情報を検索する。具体的には、検索部３３は、接続先問い合わせに含まれる対象ユーザの氏名等に基づいて、対応付けられた接続先情報をユーザ位置情報ＤＢ３５から検索して抽出する。

　　（通信Ｉ／Ｆ）
　通信Ｉ／Ｆ３９は、ネットワーク５を通じて信号処理装置１との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態による通信Ｉ／Ｆ３９は、信号処理装置１からユーザのＩＤを受信したり、接続先問い合わせを受信したりする。また、通信Ｉ／Ｆ３９は、接続先問い合わせに応じて、対象ユーザの接続先情報を送信する。

　以上、本開示の一実施形態による音響システムの各構成について詳細に説明した。次に、本実施形態による音響システムの動作処理について図６～図９を参照して詳細に説明する。

　　＜３．動作処理＞
　　［３－１．基本処理］
　図６は、本実施形態による音響システムの基本処理を示すフローチャートである。図６に示すように、まず、ステップＳ１０３において、信号処理装置１ＡはサイトＡに居るユーザＡのＩＤを管理サーバ３に送信する。信号処理装置１Ａは、ユーザＡのＩＤを、ユーザＡが所有しているＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）等のタグから取得してもよいし、ユーザＡの音声から認識してもよい。また、信号処理装置１Ａは、ユーザＡの身体（顔、目、手等）から生体情報を読み取り、ＩＤとして取得してもよい。

　一方、ステップＳ１０６において、信号処理装置１Ｂも同様にサイトＢに居るユーザＢのＩＤを管理サーバ３に送信する。

　次に、ステップＳ１０９において、管理サーバ３は、各信号処理装置１から送信されたユーザＩＤに基づいてユーザを識別し、識別したユーザの氏名等に、送信元の信号処理装置１のＩＰアドレス等を接続先情報として対応付けて登録する。

　次いで、ステップＳ１１２において、信号処理装置１Ｂは、サイトＢに居るユーザＢの位置を推定する。具体的には、信号処理装置１Ｂは、サイトＢに配された複数のマイクに対するユーザＢの相対位置を推定する。

　次に、ステップＳ１１５において、信号処理装置１Ｂは、推定したユーザＢの相対位置に基づき、サイトＢに配された複数のマイクにより収音されたオーディオ信号に対して、ユーザＢの口元に収音位置がフォーカスするようマイクアレイ処理を行う。このように、信号処理装置１Ｂは、ユーザＢが何らかの発言を行う場合に備える。

　一方、ステップＳ１１８において、信号処理装置１Ａも同様に、ユーザＡの口元に収音位置がフォーカスするようサイトＡに配された複数のマイクにより収音されたオーディオ信号に対してマイクアレイ処理を行い、ユーザＡが何らかの発言を行う場合に備える。そして、信号処理装置１Ａは、ユーザＡの音声（発言）に基づいてコマンドを認識する。ここでは、一例としてユーザＡが「Ｂさんと話したい」とつぶやいて、信号処理装置１Ａが「ユーザＢに対する発呼要求」コマンドとして認識した場合について説明を続ける。なお、本実施形態によるコマンド認識処理については、後述の［３－２．コマンド認識処理］において詳細に説明する。

　次に、ステップＳ１２１において、信号処理装置１Ａは、接続先問い合わせを管理サーバ３に対して行う。上述したように、コマンドが「ユーザＢに対する発呼要求」であった場合、信号処理装置１Ａは、ユーザＢの接続先情報を問い合わせる。

　次いで、ステップＳ１２５において、管理サーバ３は、信号処理装置１Ａからの接続先問い合わせに応じて、ユーザＢの接続先情報を検索し、続くステップＳ１２６において、検索結果を信号処理装置１Ａに送信する。

　次に、ステップＳ１２７において、信号処理装置１Ａは、管理サーバ３から受信したユーザＢの接続先情報により接続先を同定（決定）する。

　次いで、ステップＳ１２８において、信号処理装置１Ａは、同定したユーザＢの接続先情報、例えばユーザＢが現在居るサイトＢに対応する信号処理装置１ＢのＩＰアドレスに基づいて、信号処理装置１Ｂに対して発呼処理を行う。

　次に、ステップＳ１３１において、信号処装置１Ｂは、ユーザＡからの呼び出しに応答するか否かをユーザＢに問うメッセージを出力する（呼び出し通知）。具体的には、例えば信号処理装置１Ｂは、ユーザＢの周辺に配されるスピーカーから当該メッセージを再生してもよい。また、信号処理装置１Ｂは、ユーザＢの周辺に配された複数のマイクから収音したユーザＢの音声に基づいて、呼び出し通知に対するユーザＢの回答を認識する。

　次いで、ステップＳ１３４において、信号処理装置１Ｂは、ユーザＢの回答を信号処理装置１Ａに送信する。ここでは、ユーザＢがＯＫ回答を行い、ユーザＡ（信号処理装置１Ａ側）とユーザＢ（信号処理装置１Ｂ側）の双方向通信が開始される。

　具体的には、ステップＳ１３７において、信号処理装置１Ａは、信号処理装置１Ｂとの通信を開始すべく、サイトＡにおいてユーザＡの音声を収音し、音声ストリーム（オーディオ信号）をサイトＢ（信号処理装置１Ｂ側）に送信する収音処理を行う。なお、本実施形態による収音処理については、後述の［３－３．収音処理］において詳細に説明する。

　そして、ステップＳ１４０において、信号処理装置１Ｂは、ユーザＢの周辺に配された複数のスピーカーによりユーザＢを内包する音響閉曲面を形成し、信号処理装置１Ａから送信された音声ストリームに基づいて音場再生処理を行う。なお、本実施形態による音場再生処理では、さらに第３の空間（サイトＣ）の音場を構築し、他の空間に居る他ユーザと通話するユーザに第３の空間への没入感を提供することも可能である。このような音場再生処理については、後述の「４．第３空間の音場構築」において詳細に説明する。

　なお、上記ステップＳ１３７～Ｓ１４０では、一例として一方向の通信を示したが、本実施形態は双方向通信が可能であるので、上記ステップＳ１３７～Ｓ１４０とは逆に、信号処理装置１Ｂで収音処理、信号処理装置１Ａで音場再生処理を行ってもよい。

　以上、本実施形態による音響システムの基本処理について説明した。これにより、ユーザＡは、携帯電話端末やスマートフォン等を所持する必要なく、「Ｂさんと話したい」とつぶやくだけで、周辺に配された複数のマイクおよび複数のスピーカーを利用して他の場所に居るユーザＢと通話を行うことができる。続いて、上記ステップＳ１１８に示したコマンド認識処理について図７を参照して詳細に説明する。

　　［３－２．コマンド認識処理］
　図７は、本実施形態によるコマンド認識処理を示すフローチャートである。図７に示すように、まず、ステップＳ２０３において、信号処理装置１のユーザ位置推定部１６は、ユーザの位置を推定する。例えばユーザ位置推定部１６は、複数のマイク１０から収音した音、イメージセンサにより撮像した撮像画像、およびマイク位置情報ＤＢ１５に記憶されている各マイクの配置等に基づき、各マイクに対するユーザの相対的な位置、向き、および口の位置を推定してもよい。

　次いで、ステップＳ２０６において、信号処理部１３は、推定したユーザの相対的な位置、向き、および口の位置に応じて、ユーザを内包する音響閉曲面を形成するマイク群を選出する。

　次に、ステップＳ２０９において、信号処理部１３のマイクアレイ処理部１３１は、選出したマイク群から収音したオーディオ信号に対してマイクアレイ処理を行い、ユーザの口元にフォーカスするようマイクの指向性を制御する。これにより、信号処理装置１は、ユーザが何らかの発言を行う場合に備えることができる。

　次いで、ステップＳ２１２において、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１により処理したオーディオ信号に対して、残響・ノイズ抑制等の処理を行い、Ｓ／Ｎ比を向上させる。

　次に、ステップＳ２１５において、認識部１７は、高Ｓ／Ｎ化処理部１３３から出力されたオーディオ信号に基づいて、音声認識（音声解析）を行う。

　そして、ステップＳ２１８において、認識部１７は、認識した音声（オーディオ信号）に基づいて、コマンド認識処理を行う。コマンド認識処理の具体的な内容については特に限定しないが、例えば認識部１７は、予め登録された（学習した）要求パターンと認識した音声を比較し、コマンドを認識してもよい。

　上記ステップＳ２１８において、コマンドを認識できなかった場合（Ｓ２１８／Ｎｏ）、信号処理装置１は、ステップＳ２０３～Ｓ２１５に示す処理を繰り返す。この際、Ｓ２０３およびＳ２０６も繰り返されるので、信号処理部１３は、ユーザの移動に応じてユーザを内包する音響閉曲面を形成するマイク群を更新することが可能である。

　　［３－３．収音処理］
　次に、図６のステップＳ１３７に示す収音処理について、図８を参照して詳細に説明する。図８は、本実施形態による収音処理を示すフローチャートである。図８に示すように、まず、ステップＳ３０８において、信号処理部１３のマイクアレイ処理部１３１は、選出／更新した各マイクから収音したオーディオ信号に対してマイクアレイ処理を行い、ユーザの口元にフォーカスするようマイクの指向性を制御する。

　次いで、ステップＳ３１２において、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１により処理したオーディオ信号に対して、残響・ノイズ抑制等の処理を行い、Ｓ／Ｎ比を向上させる。

　そして、ステップＳ３１５において、通信Ｉ／Ｆ１９は、高Ｓ／Ｎ化処理部１３３から出力されたオーディオ信号を、上記ステップＳ１２６（図６参照）で同定した対象ユーザの接続先情報で示される接続先（例えば、信号処理装置１Ｂ）に送信する。これにより、ユーザＡがサイトＡで発した音声が、ユーザＡの周辺に配された複数のマイクにより収音され、サイトＢ側に送信される。

　以上、本実施形態によるコマンド認識処理および収音処理について説明した。続いて、本実施形態による音場再生処理について詳細に説明する。

　　＜４．第３空間の音場構築＞
　上述したように、本実施形態による音場再生処理（図６のステップＳ１４０）では、第３の空間（サイトＣ）の音場を構築し、他の空間に居る他ユーザと通話するユーザに第３の空間への没入感を提供することも可能である。以下、このような第３の空間への没入感を提供するための音場構築の概要について図９を参照して説明する。

　図９は、本実施形態による第３の空間の音場構築について説明するための図である。図９に示すように、サイトＡに居るユーザＡおよびサイトＢに居るユーザＢが通話する際、本実施形態による音響システムは、第３の空間であるサイトＣの音場４２を各サイトＡ、Ｂで構築する。ここで、一例として、サイトＡ、サイトＢおよびサイトＣは、各々離れた場所（遠隔地）とする。これにより、例えば東京（サイトＢ）に居るユーザＢが、ユーザＡと一緒に旅行で行く予定のイタリア（サイトＣ）の空間に没入しながら、アメリカ（サイトＡ）に居るユーザＡと通話することができる。

　具体的には、本実施形態による音響システムは、サイトＣにおいて予め測定された音響情報パラメータ（インパルス応答等のパラメータの特性）や、サイトＣで収音した音響コンテンツ（環境音）を用いてサイトＣの音場４２を構築してもよい。なお、このような第３の空間の音響情報パラメータや音響コンテンツは、予め第３の空間において取得され、管理サーバに蓄積されていてもよい。

　（サイトＣの音場構築の手法）
　ここで、サイトＡに居るユーザＡおよびサイトＢに居るユーザＢが通話している際に、各サイトでサイトＣの音場を構築する場合の各手法について図１０を参照して説明する。図１０は、サイトＣの音場構築手法を説明するための図である。図１０に示す例では、一例として、ユーザＡと通話するユーザＢが居るサイトＢにおいて、サイトＣの音場を構築（サイトＣへの没入感を提供）する場合について説明する。

　図１０に示すように、手法１としては、ユーザＢを内包するよう複数のスピーカー２０Ｂで形成される音響閉曲面４０Ｂの外側にユーザＡの声が存在するよう音像を定位し、さらに、ユーザＡの音声がサイトＣで反響したように感じられるよう音響情報パラメータを用いて加工する。

　ここで、音響閉曲面４０の外側にユーザＡの音像を定位させる場合、サイトＢにおいて、図１０に示すように、音響閉曲面４０Ｂの外側に居るユーザＡが発する音声が音響閉曲面４０Ｂに交差する時の波面を想定する。そして、音響閉曲面４０Ｂの内側にその想定波面を創造するよう複数のスピーカー２０から再生することで音像を定位させる。

　また、サイトＣでユーザＡが音声を発したと想定した場合、ユーザＡの音声はサイトＣの構造物や障害物により、反射音（各材質・構造ごとに異なる反射音）を伴って音響閉曲面４０Ｂに到達する場合もある。よって、本実施形態による音響システムは、予めサイトＣで測定された音響情報パラメータ（インパルス応答）を用いてユーザＡの音声を加工することで、ユーザＡの音声がサイトＣで反響したように感じられる音場４２をサイトＢに構築する。これにより、ユーザＢは、サイトＣへの没入感をさらに得ることができる。

　手法２としては、音響閉曲面４０の内側に居るユーザＢの音声を収音し、当該音声をサイトＣの音響情報パラメータを用いて加工し、音響閉曲面４０を形成する複数のスピーカー２０Ｂから再生する。すなわち、音響閉曲面４０の内側に居るユーザＢが、サイトＣの音場を、臨場感を持って体感し、サイトＣへの没入感にさらに浸り、サイトＣの空間の大きさを感じるためには、通話相手の音声の加工（手法１）の他、自らが発した音声の変化も重要である（エコーロケーション）。よって、手法２では、ユーザＢが発した音声が、サイトＣで反響したように感じられる音場４２をサイトＢに構築する。これにより、ユーザＢは、サイトＣの臨場感や、サイトＣへの没入感をさらに得ることができる。なお、手法２の具体的な実現方法については、図１６Ａ、図１６Ｂを参照して後述する。

　手法３としては、ユーザＢを内包する音響閉曲面４０を形成する複数のスピーカー２０Ｂから、サイトＣのざわめき声、環境音等の音響コンテンツを再生することで、サイトＣの臨場感や、サイトＣへの没入感を増加させる。サイトＣの音響コンテンツは、予め録音されたものであってもよいし、リアルタイムで収音されてもよい。

　以上、サイトＣへの没入感を提供するための音場構築における３つの手法について図１０を参照して説明した。本実施形態による音響システムでは、上記３つの手法のうち１の手法により音場構築してもよいし、２以上の手法を組み合わせて音場構築してもよい。

　（サイトＣの指定）
　また、本実施形態において、第３の空間（サイトＣ）は、ユーザが任意に指定してもよいし、予め設定された場所としてもよい。例えば、サイトＡに居るユーザＡが、「ユーザＢと（第１の対象）と、サイトＣ（第２の対象）で話したい」と発言すると、周辺に配された複数のマイク１０Ａ（図１参照）により当該発言が収音され、信号処理装置１Ａによりコマンドとして認識される。

　次いで、信号処理装置１Ａは、管理サーバに対して「ユーザＢ」と通話するための接続先情報、および指定した場所の音場構築用データを要求する。そして、管理サーバは、信号処理装置１Ａに対して、接続先情報（ここでは、ユーザＢが居るサイトＢの信号処理装置１ＢのＩＰアドレス等）および音場構築用データ（ここでは、サイトＣの音響情報パラメータおよび音響コンテンツ）を送信する。

　また、信号処理装置１Ａと信号処理装置１Ｂとの間で通信が開始された場合（ユーザＢがユーザＡからの発呼に対してＯＫ回答した場合）、音場構築用データは、信号処理装置１Ｂにも送信される。これにより、サイトＡおよびサイトＢでサイトＣの音場が構築され、異なるサイトに居るユーザＡおよびユーザＢは、同じ場所への没入感を共有することができる。

　以上、第３の空間への没入感を提供するための音場構築の概要について説明した。続いて、第３の空間の音響情報パラメータや音響コンテンツを蓄積する管理サーバの構成について図１１を参照して説明する。

　　［４－１．管理サーバの構成］
　図１１は、本実施形態による管理サーバの他の構成を示すブロック図である。図１１に示すように、管理サーバ３’は、管理部３２、検索部３４、ユーザ位置情報ＤＢ３５、通信Ｉ／Ｆ３９、音響情報パラメータＤＢ３６、および音響コンテンツＤＢ３７を有する。管理部３２、ユーザ位置情報ＤＢ３５、および通信Ｉ／Ｆ３９は、図５を参照して上述した通りであるので、ここでの説明は省略する。

　（検索部）
　検索部３４は、まず、上述した検索部３３と同様に、信号処理装置１からの接続先（発呼先）問い合わせに応じて、ユーザ位置情報ＤＢ３５を参照し、接続先情報を検索する。具体的には、検索部３４は、接続先問い合わせに含まれる対象ユーザの氏名等に基づいて、対応付けられた接続先情報をユーザ位置情報ＤＢ３５から検索して抽出する。

　さらに、検索部３４は、信号処理装置１からの音場構築用データの要求に応じて、音響情報パラメータＤＢ３６から、指定されたサイトの音響情報パラメータを検索して抽出する。また、検索部３４は、信号処理装置１からの音場構築用データの要求に応じて、音響コンテンツＤＢ３７から、指定されたサイトの音響コンテンツを検索して抽出する。

　（音響情報パラメータ）
　音響情報パラメータＤＢ３６は、各サイトで予め測定された音響情報パラメータを記憶する記憶部である。音響パラメータとは、各サイトにおいて、任意の１点または複数点（音像を定位させたい位置）からのインパルス応答を測定したものであってもよい。また、インパルス応答を測定する際に、ＴＳＰ（Ｔｉｍｅ　Ｓｔｒｅｃｈｅｄ　Ｐｕｌｓｅ）応答、Ｓｗｅｐｔ－Ｓｉｎｅ法、Ｍ系列応答等を利用することで、Ｓ／Ｎ比が向上する。

　ここで、音響情報パラメータの測定について、図１２を参照して説明する。図１２に示す測定１では、図１０を参照して説明した手法１において音響閉曲面４０の外側の任意の位置に定位される通話相手ユーザの音声を加工する際に用いられる音響情報パラメータ（第１の音響情報パラメータ）の測定を説明する。図１２に示すように、サイトＣに配置された、複数の外向き有指向性マイク１０Ｃにより、複数のマイク１０Ｃで形成される閉曲面４３の外側の任意の位置に設置された音源（スピーカー２０Ｃ）から各マイク１０Ｃまで、どのように伝達されるか（インパルス応答）を測定する。

　図１２に示す例では、測定１において、スピーカー２０Ｃが一つ配置されているが、これに限定されず、複数のスピーカー２０Ｃを閉曲面４３の外側に配置し、各スピーカー２０からの各マイク１０Ｃへの伝達を各々測定してもよい。これにより、上記手法１において、ユーザＡの音源を定位できる個所を増やすことができる。

　また、図１２に示す測定２では、図１０を参照して説明した手法２において音響閉曲面４０の内側に居るユーザ自身の音声を加工する際に用いられる音響情報パラメータ（第２の音響情報パラメータ）の測定を説明する。図１２に示すように、サイトＣに配置された、複数の外向き有指向性マイク１０Ｃにより、複数のマイク１０Ｃで形成される閉曲面４３の内側に設置された音源（スピーカー２０Ｃ）から出力された音（測定用信号）が、サイトＣにおける反射・反響の影響を受けて各マイク１０Ｃまでどのように伝達されるか（インパルス応答）を測定する。図１２に示す例では、測定２において、一例としてスピーカー２０Ｃが一つ配置されているが、本実施形態はこれに限定されず、複数のスピーカー２０Ｃが閉曲面４３の内側に配置され、各スピーカー２０からの各マイク１０Ｃへの伝達が各々測定される。

　（音響コンテンツ）
　音響コンテンツＤＢ３７は、各サイトで収音された音響コンテンツを記憶する記憶部である。音響コンテンツとは、例えば各サイトにおいて録音（測定）された周囲の音（環境音、ざわめき声等）である。

　音響コンテンツの測定は、例えば図１２の測定３に示すように、サイトＣに配置された、複数の外向き有指向性マイク１０Ｃにより、周囲の音を測定（録音）する。また、周囲の音の測定は、時間別、平日／休日別に行ってもよい。これにより、本実施形態による音響システムは、サイトＣの時間別、平日／休日別の音場を構築することができる。また、再生環境であるサイトＢにおいて、現在の時刻に近い音響コンテンツを再生することもできる。

　なお、図１２に示す複数のマイク１０Ｃにより形成される閉曲面４３は、聴取環境（再生環境）の音響閉曲面より大きく形成されてもよい。以下、図１３を参照して説明する。図１３は、測定環境（ここでは、サイトＣ）における複数のマイク１０Ｃの配置と、聴取環境（ここでは、サイトＢ）における複数のスピーカー２０Ｂの配置を比較して示す図である。

　図１３に示すように、ユーザＢを内包するよう複数のスピーカー２０Ｂにより形成される音響閉曲面４０に対して、サイトＣにおいて測定時に用いられる複数のマイク１０Ｃは、音響閉曲面４０より大きい閉曲面４３を形成するよう配置される。

　また、図４を参照して上述したように、聴取環境（再生環境）のサイトＢでは、複数のスピーカー２０Ｂ－１～２０Ｂ－１２により立体的な音響閉曲面４０－１、４０－２、４０－３が形成される。よって、測定環境のサイトＣにおいても、図１４に示すように、複数の外側に向けられた有指向性マイク１０Ｃ－１～１０Ｃ－１２により立体的な閉曲面４３－１、４３－２、４０－３が形成され得る。

　以上、本実施形態による管理サーバ３’の各構成について詳細に説明した。続いて、上記手法１～手法３（図１２参照）を用いてサイトＣの音場を構築する聴取環境（再生環境）のサイトＢ側の制御について説明する。サイトＢ側では、信号処理装置１Ｂの音場再生信号処理部１３５（図３参照）により、最適な音場が形成される。以下、図１５を参照し、上記手法１～手法３を実現して音場を構築する音場再生信号処理部１３５の構成について具体的に説明する。

　　［４－２．音場再生信号処理部の構成］
　図１５は、サイトＣへの没入感を提供するよう音場構築を行う音場再生信号処理部１３５の構成について説明するためのブロック図である。また、図１５では、信号処理装置１Ｂのうち、ここでの説明に関係する主要な構成を示し、他の構成は省略している。

　図１５に示すように、音場再生信号処理部１３５は、Ｃｏｎｖｏｌｕｔｉｏｎ（畳み込み積分）部１３６、ハウリング抑制部１３７、１３９、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ（畳み込み行列）部１３８として機能する。

　（Ｃｏｎｖｏｌｕｔｉｏｎ部）
　Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、上記手法１（ユーザＡの音像定位、ユーザＡの反響音声加工）を実現する機能を有する。具体的には、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、通信Ｉ／Ｆ１９を介してサイトＡの信号処理装置１Ａから取得（受信）したオーディオ信号ｂ（ユーザＡの音声）を、サイトＣの音響情報パラメータｃ（第１の音響情報パラメータ）を用いて、各出力スピーカー別にレンダリングする。また、この際、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、ユーザＡの音像を定位させる位置のパラメータａを考慮し、定位位置に応じたサイトＣの音響情報パラメータｃ（インパルス応答）を用いてもよい。なお、ユーザＡの音像を定位させる位置のパラメータａは、信号処理装置１Ａまたは管理サーバ３’から通信Ｉ／Ｆ１９を介して送信されたものであってもよいし、ユーザＢの指示に基づいて信号処理装置１Ｂで算出されたものであってもよい。また、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、サイトＣの音響情報パラメータｃ（インパルス応答）を、通信Ｉ／Ｆ１９を介して管理サーバ３’から取得してもよい。

　そして、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、図１５に示すように、各出力スピーカー（ユーザＢを内包する音響閉曲面４０Ｂを形成する複数のスピーカー２０Ｂ）の出力バッファに対して、上記信号処理を行ったオーディオ信号を書き込む。

　（ハウリング抑制部）
　ハウリング抑制部１３７、１３９は、フィードバックによるハウリングを避けるため、必要に応じて、図１５に示すようにマイクのアンプ・ＡＤＣ部１１の後段およびスピーカーのＤＡＣ・アンプ部２３の前段に、両者が連携処理できるよう設けられる。上述したように手法２では、ユーザＢの周辺に配された複数のマイク１０Ｂから収音した音を、音響情報パラメータ（インパルス応答）を用いてレンダリングし、ユーザＢの周辺に配された複数のスピーカー２０Ｂから再生する。この時、マイクとスピーカーの位置が近いので、両者の作用で過剰な発振動作が生じてしまう恐れがある。このため、図１５に示す例では、ハウリング抑制部１３７、１３９を設け、ハウリング抑制処理を実施している。なお、音場再生信号処理部１３５は、上記過剰な発振動作を防止するために、ハウリング抑制部１３７、１３９の他、エコーキャンセラを有していてもよい。

　（Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部）
　Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、上記手法２（ユーザＢの反響音声加工）を実現する機能を有する。具体的には、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、サイトＢに配された複数のマイク１０Ｂにより収音されたオーディオ信号（音響閉曲面４０Ｂ内で発生した音）を、サイトＣの音響情報パラメータｃ（第２の音響情報パラメータ；インパルス応答群）を用いて、各出力スピーカー別にレンダリングする。これにより、サイトＢの音響閉曲面４０Ｂ内で発生した音、例えばユーザＢ自身の音声がサイトＣで反響したように感じられる音場をサイトＢで構築するためのオーディオ信号が出力される。

　ここで、本実施形態による手法２の実現方法について、図１６Ａおよび図１６Ｂを参照して具体的に説明する。図１６Ａは、サイトＣにおけるインパルス応答の測定について説明するための図である。図１６Ａに示すように、まず、サイトＣに配置され、閉曲面４３の外側を向いた各スピーカー２０Ｃから、同じくサイトＣに配置され、閉曲面４３の外側を向いた各マイク１０Ｃまでのインパルス応答が測定される。

　具体的には、閉曲面４３上の単一のスピーカーから、同じく閉曲面４３上の複数マイク群へのインパルス応答が測定される。このインパルス応答は、周波数軸で考えると、サイトＣの構造物／障害物などの空間音響の影響を受けた伝達関数としても考えることができる。

　ここで、図１６Ａに示す例では、閉曲面４３上の各マイク・スピーカの位置をＲ１、Ｒ２、・・・ＲＮと表現する。そして、図１６Ａに示すように、Ｒ１に配置されたスピーカー（ＳＰ）から、Ｒ１に配置されたマイク、Ｒ２に配置されたマイク・・・ＲＮに配置されたマイクまでの各伝達関数が測定される。次いで、Ｒ２に配置されたスピーカーから、Ｒ１に配置されたマイク、Ｒ２に配置されたマイク・・・ＲＮに配置されたマイクまでの各伝達関数が測定される。

　次に、Ｒ１に位置するスピーカーからＲ１に位置するマイクまでの伝達関数をＲ１１、Ｒ１に位置するスピーカーからＲ２に位置するマイクまでの伝達関数をＲ１２、と記述すると、図１６Ａに示す式（１）に示すように、伝達関数Ｒを用いた行列表現が可能となる。

　当該行列データは、音響情報パラメータとして、管理サーバ３’等に蓄積され、サイトＢで、サイトＣの音場を構築する際に使用される。続いて、サイトＢで行列データを用いてサイトＣの音場を構築する場合について、図１６Ｂを参照して説明する。

　図１６Ｂは、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８によるインパルス応答群を用いた演算について説明するための図である。図１６Ｂに示す例では、サイトＢ（再生環境）側において、サイトＣにおける測定時と略同じ大きさ・形状の閉曲面を想定する。また、サイトＢに配置される複数のマイク１０Ｂおよび複数のスピーカー２０Ｂの数も、サイトＣにおける測定時と同じであって、配置位置もサイトＣにおける測定時と同じＲ１、Ｒ２、・・・ＲＮである場合を想定する。ただし、図１６Ｂに示すように、複数のマイク１０Ｂおよび複数のスピーカー２０Ｂは、音響閉曲面４０Ｂの内側を向いている。

　また、図１６Ｂに示すように、サイトＢでのＲ１、Ｒ２、・・・ＲＮの位置にある各マイクで収音される周波数軸表現を、Ｖ１、Ｖ２、・・・ＶＮとする。また、サイトＢでのＲ１、Ｒ２、・・・ＲＮの位置にある各スピーカーから出力（再生）される出力信号（オーディオ信号）を、Ｗ１、Ｗ２、・・・ＷＮとする。

　この場合、サイトＢの音響閉曲面４０Ｂの内側で発生した音（ユーザＡの音声や物音）の波面が、音響閉曲面４０Ｂに到達し、Ｒ１、Ｒ２、・・・ＲＮの位置にある内側向きマイク１０Ｂに収音され、それぞれのマイク１０ＢにてＶ１、Ｖ２、・・・ＶＮの収音信号が取得される。

　そして、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、Ｖ１、Ｖ２、・・・ＶＮの信号群（マイク入力）、および図１６Ａを参照して説明した伝達関数群の行列（式１）を用いて、図１６Ｂに示す式２を実行し、各スピーカー２０Ｂからの出力Ｗ１、Ｗ２、・・・ＷＮを算出する。

　以上説明したように、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、複数のマイク１０Ｂにより収音したオーディオ信号（Ｖ１、Ｖ２、・・・ＶＮ）に対して、サイトＣの音響情報パラメータ（伝達関数群）を用いて信号処理を行う。また、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、図１５に示すように、各出力スピーカーの出力バッファに対して、上記信号処理を行ったオーディオ信号（Ｗ１、Ｗ２、・・・ＷＮ）を加算する。

　（音響コンテンツの加算）
　図１５に示すように、音場再生信号処理部１３５は、通信Ｉ／Ｆ１９を介して管理サーバ３’から受信したサイトＣの音響コンテンツｄを、各出力スピーカーの出力バッファに加算するよう処理することで、上記手法３を実現する。

　以上、本実施形態による信号処理装置１Ｂの音場再生信号処理部１３５の構成について詳細に説明した。次に、サイトＢにおいてサイトＣの音場を構築する際の音場再生処理について図１７を参照して具体的に説明する。

　　［４－３．音場再生処理］
　図１７は、本実施形態による音場再生処理を示すフローチャートである。図１７に示すように、まず、ステップＳ４０３において、信号処理装置１Ｂのユーザ位置推定部１６（図３参照）は、ユーザＢの位置を推定する。例えばユーザ位置推定部１６は、複数のマイク１０Ｂから収音した音、イメージセンサにより撮像した撮像画像、およびスピーカー位置情報ＤＢ２１に記憶されている各スピーカーの配置等に基づき、各スピーカー２０Ｂに対するユーザＢの相対的な位置、向き、口の位置および耳の位置を推定してもよい。

　次いで、ステップＳ４０６において、信号処理部１３は、推定したユーザＢの相対的な位置、向き、口の位置および耳の位置に応じて、ユーザを内包する音響閉曲面を形成するマイク群・スピーカー群を選出する。

　次に、ステップＳ４０７において、信号処理部１３の音場再生信号処理部１３５は、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６により、受信したオーディオ信号ｂ（サイトＡで収音されたユーザＡの音声）に対して図１０に示す手法１の処理を行う。具体的には、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、図１５に示すように、サイトＡの信号処理装置１Ａから受信したオーディオ信号ｂを、サイトＣの音響情報パラメータｃ（第１の音響情報パラメータ）を用いて、選出された各出力スピーカー別にレンダリングする。そして、Ｃｏｎｖｏｌｕｔｉｏｎ部１３６は、選出された各出力スピーカーの出力バッファに対して、手法１の処理を行ったオーディオ信号を書き込む。

　次いで、ステップＳ４０９において、音場再生信号処理部１３５は、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８により、選出したマイク群によりサイトＢで収音したユーザＢの音声に対して図１０に示す手法２の処理を行う。具体的には、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、ユーザＢを内包する音響閉曲面を形成するマイク群（複数のマイク１０Ｂ）により収音されたオーディオ信号をサイトＣの音響情報パラメータｃ（第２の音響情報パラメータ）を用いて各出力スピーカー別にレンダリングする。そして、Ｍａｔｒｉｘ　Ｃｏｎｖｏｌｕｔｉｏｎ部１３８は、選出された各出力スピーカーの出力バッファに対して、手法２の処理を行ったオーディオ信号を加算する。

　次に、ステップＳ４１１において、音場再生信号処理部１３５は、図１０に示す手法３の処理として、サイトＣの音響コンテンツｄを、選出された各出力スピーカーの出力バッファに加算する。

　そして、ステップＳ４１５において、信号処理装置１Ｂは、各出力バッファの内容を、ＤＡＣ・アンプ部２３を介して、上記ステップＳ４０６で選出されたスピーカー群から出力する。

　以上説明したように、本実施形態による音響システムでは、サイトＡで収音されたユーザＡの音声が、サイトＣで測定された第１の音響情報パラメータを用いてレンダリングされ、サイトＣでの反響を伴って、サイトＢの複数のスピーカー２０Ｂから再生される。また、サイトＢで収音されたユーザＢ自身の音声が、サイトＣで測定された第２の音響情報パラメータを用いてレンダリングされ、サイトＣでの反響を伴って、サイトＢの複数のスピーカー２０Ｂから再生される。さらに、サイトＣで収音された音響コンテンツが、サイトＢの複数のスピーカー２０Ｂから再生される。

　これにより、本実施形態による音響システムは、一のサイト（ここではサイトＢ）において、他のサイト（ここではサイトＡ）と相互連携（例えば通話）させる際に、第３の空間（ここではサイトＣ）への没入感を提供することができる。ユーザＢは、ユーザＡと共にサイトＣに居るような音場感を得ることができ、より豊かな臨場感に浸ることができる。

　また、音場再生信号処理部１３５は、ユーザＢの周辺に配されたスピーカー群を用いて、受信したオーディオ信号（ユーザＡの音声）の音像を制御することも可能である。例えば、複数のスピーカーによりアレイスピーカー（ビームフォーミング）を形成することで、音場再生信号処理部１３５は、ユーザＢの耳元でユーザＡの音声を再現したり、ユーザＢを内包する音響閉曲面の外側にユーザＡの音像を再現したりすることが可能である。

　なお、上記Ｓ４０３およびＳ４０６を継続的に行うことで、信号処理部１３は、ユーザＢの移動に応じてユーザＢを内包する音響閉曲面を形成するスピーカー群を更新することが可能である。以下、図１８Ａおよび図１８Ｂを参照して具体的に説明する。

　図１８Ａは、サイトＢで構築される音場４２が固定されている場合について説明するための図である。図１８Ａに示すように、まず、ユーザＢを内包する音響閉曲面４０を形成するために複数のスピーカー２０Ｂが選出され（ステップＳ４０３、Ｓ４０６）、サイトＣへの没入感を提供する音場４２が構築されている場合を想定する。この場合に、ユーザＢが部屋の中を移動したり部屋から出たり等して、音響閉曲面４０から出てしまうと、音場４２から外れてしまい、サイトＣへの没入感が得られない。

　そこで、上述したように、上記Ｓ４０３およびＳ４０６を継続的に行い、ユーザＢの移動に応じてユーザＢを内包する音響閉曲面を形成するスピーカー群を更新する。図１８Ｂは、サイトＢで構築される音場４２が流動する場合について説明するための図である。

　図１８Ｂに示すように、ユーザＢの移動に応じて、新たにユーザＢを内包する音響閉曲面４０’を形成するスピーカー群（スピーカー２０Ｂ’）が選出（更新）され、更新された複数のスピーカー２０Ｂ’により、新たに音場４２’が構築される。

　以上、本実施形態による音響システムの各動作処理について詳細に説明した。続いて、本実施形態の補足について説明する。

　　＜５．補足＞
　　［５－１．コマンド入力の変形例］
　上記実施形態では、音声にてコマンドを入力していたが、本開示による音響システムのコマンド入力方法は音声入力に限定されず、他の入力方法であってもよい。例えば、本実施形態による信号処理装置１は、ユーザの周辺に配される各スイッチ（操作入力部の一例）に対するユーザ操作を検出し、発呼要求等のコマンドを認識してもよい。また、この場合、信号処理装置１は、発呼先の指定（対象ユーザの氏名等）や、没入対象の場所の指定（地名等）も、ユーザの周辺に配されるタッチパネル等（操作入力部の一例）により受け付けることが可能である。

　また、信号処理装置１の認識部１７は、ユーザの周辺に配される撮像部により撮像された画像や、赤外線／熱センサにより取得した検知結果に基づいて、ユーザのジェスチャーを解析し、コマンドとして認識してもよい。例えば、認識部１７は、ユーザが電話をかけるジェスチャーを行った場合、発呼要求コマンドとして認識する。また、この場合、信号処理装置１は、発呼先の指定（対象ユーザの氏名等）や、没入対象の場所の指定（地名等）を、ユーザの周辺に配されるタッチパネル等から受け付けてもよいし、音声解析に基づいて判断してもよい。

　また、他のサイトに居る他のユーザと通話中に（ユーザ周辺の複数のマイク１０から他のユーザの音声が再生されている場合に）、音が聴こえにくいと感じた場合、ユーザはジェスチャーにより再生音の制御を要求してもよい。具体的には、例えば認識部１７は、広げた手を耳に近付けるジェスチャーや、両手を頭の上に近付けてウサギの耳を真似するジェスチャーを、音量アップのコマンドとして認識してもよい。

　以上説明したように、本開示による音響システムのコマンド入力方法は、音声入力に限定されず、スイッチ操作やジェスチャー入力等であってもよい。

　　［５－２．他のコマンド例］
　上記実施形態では、所定の対象として人物が指定され、発呼要求（通話要求）をコマンドとして認識する場合について説明したが、本開示による音響システムのコマンドは発呼要求（通話要求）に限定されず、他のコマンドであってもよい。例えば、信号処理装置１の認識部１７は、所定の対象として指定された場所、建物、番組、曲等をユーザが居る空間で再現するコマンドを認識してもよい。

　また、本実施形態による音響システムは、ユーザが居る空間に、他の空間をリアルタイムで再現してもよいし、指定された場所、建物等の過去の空間（例えば、有名な歌劇場で過去に行われた名コンサート等）を再現してもよい。

　　［５－３．大空間から小空間への変換］
　ここで、上述した実施形態では、サイトＢ（再生環境）側の閉曲面と、サイトＣ（測定環境）側の閉曲面が、略同じ大きさ・形状であることを想定しているが、本実施形態はこれに限定されない。例えば、本実施形態は、測定環境側の閉曲面より、再生環境側の閉曲面が小さい場合であっても、再生環境において測定環境の音場（空間の広がり）を再現することが可能である。

　このような大空間から小空間への変換処理は、図１０を参照して上述した手法１、３を実施する前に、信号処理装置１において、受信したオーディオ信号（ユーザＡのオーディオ信号や音響コンテンツ等）に対して行ってもよい。また、本実施形態による音響システムは、かかる変換処理をリアルタイムで行うことで、測定環境側と再生環境側の各スピーカーおよびマイクの位置の対応関係の不整合問題を解決することができる。

　具体的には、例えば音場再生信号処理部１３５は、特許第４７７５４８７号で開示されている伝達関数を用いた信号処理を用いてもよい。特許第４７７５４８７号では、測定環境の音場において伝達関数（インパルス応答の測定データ）を求め、さらに再現環境において伝達関数に基づく演算処理を施された音声信号を再生し、再現環境で測定環境の音場（残響、音像定位等）を再現している。以下、図１９Ａ～図１９Ｃを参照して伝達関数（インパルス応答の測定データ）を用いた信号処理について説明する。

　図１９Ａは、測定対象空間における測定について説明するための図である。まず、図１９Ａに示すように、測定対象空間（大空間）において、大きな閉曲面Ｐを形成するＭ個のマイクが配置され、Ｍｃｈ用（Ｍ個のスピーカー出力チャンネル用）の測定が行われる。また、各Ｍ個のマイクの位置をＰ１、Ｐ２、・・・ＰＭとする。そして、閉曲面Ｐの外部に配置されたスピーカー（ＳＰ）から測定信号を出力し、スピーカーからＰ１、Ｐ２、・・・ＰＭに配置された各マイクまでのインパルス応答が測定される。このように測定したインパルス応答（伝達関数）を図１９Ａの式（３）に示す。

　次に、無響室での測定について図１９Ｂを参照して説明する。図１９Ｂに示すように、無響室において、大きな閉曲面Ｐを形成するＭ個のスピーカーが配置され、閉曲面Ｐの内側には小さな閉曲面Ｑを形成するＮ個のマイクが配置され、Ｎｃｈ用（Ｎ個のスピーカー出力チャンネル用）の測定が行われる。ここで、各Ｍ個のスピーカーの位置を、図１９Ａと同様の位置Ｐ１、Ｐ２、・・・ＰＭとする。また、各Ｎ個のマイクの位置をＱ１、Ｑ２、・・・ＱＮとする。

　そして、Ｐ１に配置されたスピーカーから、図１９ＡのＰ１に配置されたマイクにより収音された音（測定信号）が出力され、Ｑ１、Ｑ２、・・・ＱＮに配置された各マイクまでのインパルス応答が測定される。次に、Ｐ２に配置されたスピーカーから、図１９ＡのＰ２に配置されたマイクにより収音された音（測定信号）が出力され、Ｑ１、Ｑ２、・・・ＱＮに配置された各マイクまでのインパルス応答が測定される。このように、Ｍ個のスピーカーの各々から、Ｑ１、Ｑ２、・・・ＱＮに配置された各マイクまでのインパルス応答が全て測定される。

　このように測定したＭ個の縦ベクトルを、Ｍ×Ｎ行列演算することで、Ｎ個の出力に変換することができる。すなわち、このように測定したインパルス応答（伝達関数）を、図１９Ｂの式（４）に示すように行列化（伝達関数群の行列生成）することで、大空間（Ｍｃｈ用係数）から小空間（Ｎｃｈ用係数）への変換を実現する。

　次いで、再生対象空間（小空間）での再現について図１９Ｃを参照して説明する。図１９Ｃに示すように、再生対象空間において、ユーザＢを内包する小さな閉曲面Ｑを形成するＮ個のスピーカーが配置されている。ここで、各Ｎ個のスピーカーの位置を、図１９Ｂと同様の位置Ｑ１、Ｑ２、・・・ＱＮとする。

　この場合、Ｑ１、Ｑ２、・・・ＱＮに配置される各スピーカーから、受信したオーディオ信号（例えばユーザＡの音声；音声信号Ｓ）を出力する場合、各スピーカーの出力は、図１９Ｃに示す式（５）により求められる。式（５）は、上記式（３）および式（４）に示すインパルス応答（伝達関数）を用いた演算である。

　このように、例えば閉曲面Ｑの外側にユーザＡの音像を定位させる場合、図１９Ｃに示すように、閉曲面Ｑの外側に居るユーザＡが発する音声が閉曲面Ｑに交差する時の波面を想定し、閉曲面Ｑの内側にその想定波面を創造する。この際、測定対象空間におけるマイクの数と、再生対象空間におけるスピーカーの数との不整合を、上記式（５）により変換することで、本実施形態による音響システムは、小さな閉曲面Ｑにおいて、大きな閉曲面Ｐの音場を再現することができる。

　　［５－４．映像構築］
　さらに、上記実施形態では、第３の空間への没入感の提供を音場構築（音場再生処理）により実現しているが、本開示による音響システムはこれに限定されず、併せて映像構築を用いてもよい。

　例えば信号処理装置１は、第３の空間（サイトＣ）に配された複数のイメージセンサで撮像した映像を所定のサーバから受信し、サイトＡに配された複数のマイクで収音した音声をサイトＢで再生する際、サイトＣの映像を再生してサイトＣの空間を再現してもよい。

　映像の再生は、例えばホログラム再生による空間投影であってもよいし、部屋にあるテレビジョン、ディスプレイ、ユーザが装着するヘッドマウントディスプレイで再生してもよい。このように、音場構築と併せて映像構築も行うことで、ユーザは、第３の空間への没入感を得ることができ、より臨場感に浸ることができる。

　　［５－５．他のシステム構成例］
　図１～図２を参照して説明した上記実施形態による音響システムのシステム構成は、発呼側（サイトＡ）および着呼側（サイトＢ）の両者とも、ユーザの周辺に複数のマイクやスピーカーが配され、信号処理装置１Ａ、１Ｂにより信号処理されている。しかし、本実施形態による音響システムのシステム構成は図１～図２に示す構成に限定されず、例えば図２０に示すような構成であってもよい。

　図２０は、本実施形態による音響システムの他のシステム構成を示す図である。図１３に示すように、本実施形態による音響システムは、信号処理装置１、通信端末７、および管理サーバ３が、ネットワーク５を介して接続している。

　通信端末７は、携帯電話端末やスマートフォンといった通常の単数のマイクおよび単数のスピーカーを有し、本実施形態による複数のマイクおよび複数のスピーカーが配される高機能なインターフェース空間に対して、レガシーなインターフェースである。

　本実施形態による信号処理装置１は、通常の通信端末７と接続し、通信端末７から受信した音声をユーザの周辺に配される複数のスピーカーから再生することができる。また、本実施形態による信号処理装置１は、ユーザの周辺に配される複数のマイクから収音したユーザの音声を、通信端末７に送信することができる。

　以上説明したように、本実施形態による音響システムによれば、周辺に複数のマイクおよび複数のスピーカーが配された空間に居る第１のユーザと、通常の通信端末７を所持する第２のユーザとの通話を実現することができる。すなわち、本実施形態による音響システムの構成は、発呼側および着呼側の一方が、本実施形態による複数のマイクおよび複数のスピーカーが配される高機能なインターフェース空間であってもよい。

　　［５－６．自律型音響システム］
　上記実施形態では、図１～図３を参照して説明したように、信号処理装置１により、ユーザの周辺に配された複数のマイク１０および複数のスピーカー２０の入出力が制御されているが、本開示による音響システムの構成はこれに限定されない。例えば、ユーザの周辺に、自律型のマイクやスピーカーのデバイスが複数配され、各デバイス同士が通信し、各々の判断により、ユーザを内包する音響閉曲面を形成し、上述した音場構築を実現するようにしてもよい。以下、このような自律型音響システムについて図２１～図２４を参照して具体的に説明する。なお、ここで説明する自律型音響システムでは、一例として、１のマイク１０および１のスピーカー２０を有するデバイス１００が、ユーザの周辺に複数配されている場合について説明する。

　　（システム構成）
　図２１は、本開示による自律型音響システムのシステム構成の一例を示す図である。図２１に示すように、本開示による自律型音響システムは、複数のデバイス１００（１００－１～１００－４）、管理サーバ３、ユーザＩＤＤＢ６、サービスログＤＢ８、およびユーザ個人ＤＢ９を有する。また、図２１に示すように、管理サーバ３、ユーザＩＤＤＢ６、サービスログＤＢ８、およびユーザ個人ＤＢ９は、ネットワーク５を介して接続されている。

　・デバイス
　複数のデバイス１００（１００－１～１００－４）は、部屋、家、ビル、屋外、地域、国等の世界の至る所に配されている。図２１に示す例では、デパートや駅等の公共の場の壁および床に複数のデバイス１００が配されている場合について示す。また、複数のデバイス１００（１００－１～１００－４）は、無線／有線により互いに通信可能であって、互いに自デバイスのＣａｐａｂｉｌｉｔｙを報知し合っている。また、複数のデバイス１００（１００－１～１００－４）のうち、少なくとも１のデバイス１００（例えばデバイス１００－１）は、ネットワーク５とアクセス可能である。また、デバイス１００は、各々マイク１０およびスピーカー２０を有する。なお、本実施形態によるデバイスの構成については、図２２を参照して後述する。

　・情報の報知
　上述したように、複数のデバイス１００（１００－１～１００－４）は、互いに自デバイスのＣａｐａｂｉｌｉｔｙ（特性情報）を報知し合っている。報知する特性情報には、デバイスＩＤ、自デバイスが提供可能なサービス、デバイスの持ち主ＩＤ、デバイスの貸出Ａｔｔｒｉｂｕｔｅ（属性）などが含まれる。ここで、持ち主ＩＤとは、デバイス１００の持ち主（設置者）ＩＤであり、図２１に示す各デバイス１００（１００－１～１００－４）は、個人や法人により各々設置されたことが想定される。また、デバイスの貸出属性とは、デバイス設置者である個人や法人により予め貸出（利用）が許可されたサービスの属性を示す情報である。

　また、情報の報知は、定期的またはオンデマンドで、自律分散的に行われる。また、本実施形態による情報報知方法は、一般的にメッシュネットワーク構成の方法として知られる手順を利用してもよい（ＩＥＥＥ８０２．１１ｓのビーコニング等）。

　また、デバイス１００は、複数種類の通信Ｉ／Ｆ（インターフェース）を備えていてもよい。この場合、各デバイス１００は、どの通信Ｉ／Ｆを使用した場合に、どのデバイスと通信可能であるかを定期的にチェックし、最も多くのデバイスと直接通信できる通信Ｉ／Ｆを高プライオリティで起動する。

　また、各デバイス１００は、自デバイス周辺のデバイスからの報知情報を、無線Ｉ／Ｆを使って数ホップ先のデバイスまで転送してもよいし、ネットワーク５を介して他装置に送信してもよい。

　・管理サーバ
　管理サーバ３は、図２および図５を参照して説明した通り、各ユーザの絶対位置（現在位置）を管理する。または、管理サーバ３は、図１１を参照して説明した第３の空間の音響情報パラメータ等を蓄積する管理サーバ３’であってもよい。

　・サービスログＤＢ
　サービスログＤＢ８は、サービス内容、当該サービスの提供に寄与したデバイス１００、およびサービスを提供したユーザを関連付けて記憶する記憶部である。これにより、サービスログＤＢ８は、どのデバイスがどのようなサービス提供に用いられたか、また、どのユーザにどのようなサービスを提供したか等を把握することができる。

　また、サービスログＤＢ８に記憶されるサービスログは、後にサービスを利用したユーザ（利用者）への課金情報として用いられてもよいし、サービス提供に寄与したデバイス１００の設置者（個人／法人）に対するキックバック情報として用いられてもよい。ここで、キックバック情報とは、デバイス１００のサービス提供への寄与率（頻度）等に応じて、デバイス１００の持ち主（設置者）に、利用料金の一部を提供する際に用いられる情報である。また、サービスログＤＢ８に記憶されるサービスログは、ユーザの行動のメタデータとしてユーザ個人ＤＢ９に送信されてもよい。

　・ユーザ個人ＤＢ
　ユーザ個人ＤＢ９は、ユーザ所有のデータとして、サービスログＤＢ８から送信されたユーザの行動のメタデータを記憶する。ユーザ個人ＤＢ９に記憶されたデータは、様々な個人化サービス等で利用され得る。

　・ユーザＩＤＤＢ
　ユーザＩＤＤＢ６は、登録されたユーザのＩＤ（氏名、暗証番号、生体情報等）と、当該ユーザに提供が許可されているサービスとを関連付けて記憶する記憶部である。ユーザＩＤＤＢ６は、デバイス１００がユーザ認証を行う際に利用される。

　以上、本実施形態による自律型音響システムのシステム構成について図２１を参照して説明した。続いて、本実施形態によるデバイス１００（信号処理装置）の構成について図２２を参照して説明する。

　　（デバイスの構成）
　図２２は、本実施形態によるデバイス１００の構成を示すブロック図である。図２２に示すように、デバイス１００は、マイク１０、アンプ・ＡＤＣ部１１、信号処理部２００、認識部１７、同定部１８、通信Ｉ／Ｆ１９、ユーザ認証部２５、ユーザ位置推定部１６、ＤＡＣ・アンプ部２３、およびスピーカー２０を有する。マイク１０、アンプ・ＡＤＣ部１１、認識部１７、同定部１８、通信Ｉ／Ｆ１９、ユーザ位置推定部１６、ＤＡＣ・アンプ部２３、およびスピーカー２０は、図３を参照して説明したので、ここでの説明は省略する。

　・信号処理部
　信号処理部２００は、高Ｓ／Ｎ化処理部２１０および音場再生信号処理部２２０を有する。高Ｓ／Ｎ化処理部２１０は、図３に示す高Ｓ／Ｎ化処理部１３３と同様に、アンプ・ＡＤＣ部１１から出力されたオーディオ信号に対して、明瞭度が高くＳ／Ｎ比がよいモノラル信号となるよう処理する機能を有する。具体的には、高Ｓ／Ｎ化処理部２１０は、音源を分離し、残響・ノイズ抑制を行う。高Ｓ／Ｎ化処理部２１０により処理されたオーディオ信号は、認識部１７に出力されてコマンド認識のために音声解析されたり、通信Ｉ／Ｆ１９を介して外部装置に送信されたりする。

　音場再生信号処理部２２０は、スピーカー２０から再生するオーディオ信号に関する信号処理を行い、ユーザの位置付近に音場が定位するよう制御する。また、音場再生信号処理部２２０は、隣接する他のデバイス１００と連携し、ユーザを内包する音響閉曲面を形成するよう、スピーカー２０からの出力内容（オーディオ信号）を制御する。

　・ユーザ認証部
　ユーザ認証部２５は、ユーザが所持するＲＦＩＤ等のタグから取得したユーザＩＤに基づいて、通信Ｉ／Ｆ１９を介してネットワーク５上のユーザＩＤＤＢ６に問い合わせを行い、ユーザ認証を行う。例えば、ユーザ認証部２５は、取得したユーザＩＤが、ユーザＩＤＤＢ６に予め登録されたＩＤと一致する場合、サービス提供が許可されたユーザとして認証する。

　以上、本実施形態によるデバイス１００の構成について詳細に説明した。続いて、本実施形態による自律型音響システムの動作処理について図２３を参照して説明する。

　　（動作処理）
　図２３は、本実施形態による自律型音響システムの動作処理を示すフローチャートである。図２３に示すように、まず、ステップＳ５０３において、デバイス１００は、事前準備処理を行う。具体的には、デバイス１００は、他のデバイス１００と、上述した特性情報の報知をし合って、連携可能な（信頼できる）デバイスを確認する。

　例えば、デバイス１００－１は、隣接するデバイス１００－２から受信した特性情報に含まれる持ち主ＩＤや、貸出属性等に基づいて、隣接デバイス１００－２が信頼に値するか否かを確認してもよい。信頼に値すると確認し合ったデバイス同士は、自デバイスのアクチュエータを動作させ、隣接デバイスのセンサでその出力結果をキャプチャする等して、デバイス同士の特性を組み合わせてどのような連携が可能であるかを把握することができる。このような確認手順は、定期的に行われてもよい。また、かかる確認手順を通じて、隣接する複数のデバイス１００（１００－１～１００－４）が配された空間で、どのようなサービスが提供可能であるかを、各デバイス１００はゆるやかに把握することが可能である。

　次いで、ステップＳ５０６において、複数のデバイス１００（１００－１～１００－４）が配された空間にユーザが登場した場合、デバイス１００はユーザ認証を行う。例えば、図２１に示すように、ユーザがＲＦＩＤ等のタグ６０を所持する場合、周辺に配されたデバイス１００－１～１００－４は、タグ６０から報知される特性情報を受信し、ユーザの登場を検出してもよい。そして、ユーザの登場を検出すると、各デバイス１００は、タグ６０から報知される特性情報に含まれるユーザＩＤに基づいて、ネットワーク５上のユーザＩＤＤＢ６に問い合わせ、サービスを提供してもよいユーザか否かを認証する。

　なお、ユーザがタグ６０を所持しない場合、デバイス１００－１～１００－４は、各種センサ（マイク、カメラ、人感センサ、熱センサ等）によりユーザの登場を検出してもよい。また、デバイス１００－１～１００－４は、各種センサによる検知結果を解析することで、当該ユーザのＩＤ（生体情報等）を抽出してもよい。

　また、図２１に示す例では、デバイス１００－１～１００－４のうち、デバイス１００－１が、ユーザＩＤＤＢ６へのアクセス経路を保有している。この場合、ユーザＩＤを取得したデバイス１００－２、１００－３、または１００－４は、当該ユーザＩＤをデバイス１００－１に送信し、デバイス１００－１がユーザＩＤＤＢ６へ問い合わせを行い、ユーザ認証を行ってもよい。このように、複数のデバイス１００－１～１００－４の全てがユーザＩＤＤＢ６へのアクセスを保持している必要はない。

　また、デバイス１００－１～１００－４のうち１のデバイス１００で行われたユーザ認証の結果は、周辺の他のデバイス１００と共有され、デバイス１００－１～１００－４は、当該ユーザにサービスを提供できることを把握する。

　次に、ステップＳ５０９において、デバイス１００は、ユーザからのコマンド（サービス要求）を認識する。ここで、デバイス１００は、認証されたユーザへ提供可能なサービスに関する情報を、タグ６０に通知してもよい。タグ６０は、スピーカーまたは表示部等の各出力手段（不図示）により、この場所でどのようなサービスが受けられるかをユーザに通知することができる。また、タグ６０は、ユーザからのコマンド入力（マイク、ジャイロ、キータッチ等）により、現在ユーザが所望しているサービスを特定し、周辺のデバイス１００－１～１００－４に通知する。

　なお、ユーザがタグ６０を所持しない場合、デバイス１００－１～１００－４は、各種センサ（マイク、カメラ、人感センサ、熱センサ等）によりユーザの音声やジェスチャーを解析し、ユーザが所望しているサービスを認識してもよい。

　ここでデバイス１００により認識されるコマンドは、上述したような発呼要求（通話要求）の他、所定の対象として指定した場所、建物、番組、曲等の再現を要求するコマンド等であってもよい。

　次いで、ステップＳ５１２において、デバイス１００－１～１００－４は、要求されたサービスが当該ユーザに許可されているサービスである場合、当該サービスの提供を開始する。具体的には、例えばデバイス１００－１～１００－４は、センサ（例えばマイク１０）やアクチュエータ（例えばスピーカー２０）の動作を開始し、さらにデバイス同士の通信路を動作状態とする。また、デバイス１００－１～１００－４は、提供するサービスの種類・利用可能な通信リソース量等に基づいて、デバイス同士で連携し、自デバイスの動作を決定してもよい。

　また、デバイス１００は、複数種類の通信Ｉ／Ｆを有している場合、提供する情報量等に基づいて、必要に応じてトラヒックの伝送に利用する通信Ｉ／Ｆを動作させてもよい。また、デバイス１００は、必要な分だけ動作Ｄｕｔｙ　Ｃｙｃｌｅを上げて、省電力モードを部分的に解除してもよい。さらに、デバイス１００は、通信に利用する送受信時間帯を複数のデバイス間で設定し合う等して、帯域の安定供給が可能な状態へと遷移させてもよい（ＩＥＥＥ８０２．１１ｓの予約アクセスの立ち上げ等）。

　次に、ステップＳ５１５において、デバイス１００は、ユーザによりサービス終了が指示された場合、サービスの提供を終了する。具体的には、例えばデバイス１００は、センサ（例えばマイク１０）やアクチュエータ（例えばスピーカー２０）の動作を終了させ、また、デバイス同士の通信路を停止状態とする。

　次いで、ステップＳ５１８において、デバイス１００は、自デバイスが今回のサービス提供に寄与した内容をサービスログＤＢ８に通達する。また、デバイス１００は、サービスを提供したユーザ（認証したユーザ）の情報も併せてサービスログＤＢ８に通達してもよい。

　以上、本実施形態による自律型音響システムの動作処理について図２３を参照して具体的に説明した。以下、本実施形態による自律型音響システムの追加説明を行う。

　　（サービスの継続）
　本実施形態による自律型音響システムは、認証したユーザが歩く等して、場所を移動した場合でも、サービスを提供する（動作する）デバイス１００を変更することで、継続してユーザにサービスを提供することが可能である。かかる変更処理は、例えばユーザが所有するタグ６０からの電波強度や、各デバイスが有するセンサ（マイク、カメラ、人感センサ等）からの入力信号等に基づいて行われる。以下、図２４を参照して具体的に説明する。

　図２４は、本実施形態による自律型音響システムにおいて、ユーザの移動に応じた動作デバイスの変更について説明するための図である。図２４に示すように、ここでは、ユーザがサービス提供を行うために動作しているデバイス１００－１およびデバイス１００－２から離れ、サービス提供のための動作を行っていないデバイス１００－５、１００－６に近づいた場合を想定する。

　この場合、デバイス１００－５、１００－６は、ユーザが所持するタグ６０からの電波強度や、デバイス１００－５、１００－６が有するセンサからの入力信号等に基づいて、ユーザが移動してきたことを検知する。そして、デバイス１００－５、１００－６は、隣接するデバイス１００－２等から、当該ユーザのＩＤや提供してもよいサービス等の情報を受信する。

　そして、デバイス１００－５、１００－６は、受信した情報に基づいて、当該ユーザへのサービス提供を開始する。一方、サービス提供を行っていたデバイス１００－１、１００－２は、自デバイスのセンサおよびアクチュエータによりサービス提供可能な範囲から当該ユーザが外れたと判断すると、サービス提供を終了し、デバイスの動作や通信路をダウンさせる。

　このように、ユーザがサービス提供を受けている際に移動しても、移動先周辺に配されるデバイス１００が、ユーザＩＤやサービスの内容を引き継いで継続的に提供することができる。

　　（ネットワーク５へのアクセス経路）
　図２１を参照して説明した本実施形態による自律型音響システムでは、デバイス１００－１～１００－４のうち、少なくとも１つのデバイス１００（ここでは、デバイス１００－１）がネットワーク５へのアクセス経路を有していた。しかしながら、本開示による自律型音響システムの構成は図２１に示す例に限定されず、デバイス１００－１～１００－４が閉じたネットワークであって、外部（ネットワーク５）へのアクセス経路を保有しない場合も考えられる。

　このような場合、デバイス１００－１～１００－４は、例えばユーザが保持タグ６０を、外部へのアクセスゲートウエイとして利用してもよい。すなわち、デバイス１００－１～１００－４は、互いに特定情報の報知をし合う状態において、タグ６０が登場した時点で、タグ６０を介してネットワーク５上のユーザＩＤＤＢ６に問い合わせ、ユーザの認証を行う。

　　（複数ユーザへのサービスの提供）
　次に、デバイス１００－１～１００－４が配されている空間に、複数のユーザが登場した場合のサービス提供について図２５を参照して説明する。

　図２５は、本実施形態による自律型音響システムにおいて、複数ユーザにサービス提供を行う場合について説明するための図である。図２５に示すように、デバイス１００－１～１００－４が配されている空間に、複数のユーザが登場し、各々がサービス要求を行った場合、各デバイス１００－１～１００－４は、複数のサービス提供を実施する。

　この場合、各ユーザに対するデバイス１００－１～１００－４の動作は、図２１～図２４を参照して説明した通りであるが、ユーザ１が所持するタグ６０にとっては、ユーザ２が所持するタグ６５は、周辺に配されたデバイスの一つとしてみなされる。また、ユーザ２が所持するタグ６５にとっても、ユーザ１が所持するタグ６０は、周辺に配されたデバイスの一つとしてみなされる。

　よって、デバイス１００－１～１００－４が、タグ６０またはタグ６５とも特性情報の報知を行い、信頼できるデバイスであるか否かを確認することで、タグ６０またはタグ６５の特性をサービス提供に利用してもよい。

　例えば、デバイス１００－１～１００－４が閉じたネットワークである場合、デバイス１００－１～１００－４は、タグ６５との特性情報の報知により、タグ６５が外部のネットワーク５へのアクセス経路を保持していることを把握する。そして、デバイス１００－１～１００－４は、タグ６０を所持するユーザ１へのサービス提供において、ユーザ２が所持するタグ６５を１つのデバイスとして利用し、外部のネットワーク５に接続することができる。

　このように、ユーザ１の周辺に配されたデバイス１００－１～１００－４に限定されず、付近に居るユーザ２が所持するタグ６５が、タグ６０を所持するユーザ１に対して外部ネットワークへのアクセスを提供するといったケースが想定できる。

　なお、このような場合、タグ６５が提供したサービス内容はサービスログＤＢ８に書き込まれ、後にタグ６５を所持するユーザ２に対して、ユーザ１へのサービス提供に寄与したことに基づくキックバックを行う際に利用されてもよい。

　　＜６．まとめ＞
　上述したように、本実施形態による音響システムでは、ユーザ周辺の空間を他の空間と相互連携させる際に、第３の空間への没入感を提供することが可能となる。具体的には、本実施形態による音響システムは、第１の所定対象（人物、場所、建物等）に対応する音声や画像を、ユーザの周囲に配された複数のスピーカーやディスプレイから再生することができる。また、この際、本実施形態による音響システムは、第２の所定対象（場所等）の空間を再現し、第２の所定対象への没入感や臨場感を提供することができる。このように、屋内や屋外の至る所に配されるマイクロフォン１０、スピーカー２０、イメージセンサ等を用いて、実質的にユーザの口、目、耳等の身体を広範囲に拡張させることが可能となり、新たなコミュニケーション方法を実現することができる。

　さらに、本実施形態による音響システムでは、至る所にマイクロフォンやイメージセンサ等が配されているので、ユーザはスマートフォンや携帯電話端末を所有する必要がなく、声やジェスチャーで所定対象を指示し、所定対象周辺の空間と接続させることができる。

　また、このような新たなコミュニケーション方法を実現する音響システムの構成は、複数のマイクおよび複数のスピーカー等を制御する信号処理装置により実現されてもよい。また、本実施形態による音響システムは、自律した各マイクおよび各スピーカー等のデバイスが隣接する他のデバイスと連携することで実現されてもよい。

　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

　例えば、信号処理装置１の構成は図３に示す構成に限定されず、例えば図３に示す認識部１７および同定部１８が、信号処理装置１ではなくネットワークを介して接続するサーバ側に設けられる構成であってもよい。この場合、信号処理装置１は、信号処理部１３から出力されるオーディオ信号を通信Ｉ／Ｆ１９を介してサーバに送信する。また、サーバは、受信したオーディオ信号に基づいて、コマンド認識や、所定の対象（人物、場所、建物、番組、曲等）を同定する処理を行い、認識結果および同定された所定の対象に対応する接続先情報を信号処理装置１に送信する。

　なお、本技術は以下のような構成も取ることができる。
（１）
　特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
　前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
　前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記第１および第２の対象の周辺のセンサから取得した各信号を処理する信号処理部と、
を備える、情報処理システム。
（２）
　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
　前記信号処理部は、前記所定の人物周辺のセンサにより取得された信号、および前記所定の場所周辺のセンサにより取得された信号を処理する、前記（１）に記載の情報処理システム。
（３）
　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
　前記信号処理部は、前記所定の人物周辺のセンサによりリアルタイムで取得された信号、および前記所定の場所周辺のセンサで既に取得され蓄積された信号を処理する、前記（１）に記載の情報処理システム。
（４）
　前記第１の対象の周辺のセンサおよび前記第２の対象の周辺のセンサは、それぞれ遠隔地に分散して配置される、前記（１）～（３）のいずれか１項に記載の情報処理システム。
（５）
　前記特定ユーザの周辺に配される複数のセンサは、マイクロフォンであって、
　前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記第１および第２の対象を認識する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（６）
　前記特定ユーザの周辺に配される複数のセンサは、イメージセンサであって、
　前記認識部は、前記イメージセンサにより取得された撮像画像に基づいて、前記第１および第２の対象を認識する、前記（１）～（４）のいずれか１項に記載の情報処理システム。
（７）
　前記第１の対象の周辺のセンサおよび前記第２の対象の周辺のセンサは、互いに異なる種類のセンサである、前記（１）～（６）のいずれか１項に記載の情報処理システム。
（８）
　前記信号処理部は、前記第１の対象の周辺のセンサにより取得された信号を、前記第２の対象に対応するパラメータの特性に基づいて加工し、前記第２の対象の周辺のセンサにより取得された信号に加算する処理を行う、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
　前記信号処理部は、前記特定ユーザの感覚器官付近に定位するよう、前記第１および第２の対象の周辺のセンサから取得した各信号を処理する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１０）
　前記第１および第２の対象の周辺の各センサは、マイクロフォンであって、
　前記特定ユーザの周辺に配される複数のアクチュエータは、複数のスピーカーであって、
　前記信号処理部は、前記複数のスピーカーから出力された際に前記特定ユーザの位置付近に音場を形成するよう、前記複数のスピーカーの各位置および推定された前記ユーザの位置に基づいて、前記第１および第２の対象の周辺の前記マイクロフォンにより収音された各オーディオ信号を処理する、前記（１）～（９）のいずれか１項に記載の情報処理システム。
（１１）
　前記推定部は、前記特定ユーザの位置を継続的に推定し、
　前記信号処理部は、前記特定ユーザの位置の変化に応じて、前記特定ユーザの位置付近に音場を形成するよう前記各オーディオ信号を処理する、前記（１０）に記載の情報処理システム。
（１２）
　特定ユーザの周辺のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
　前記同定部により同定された前記第１および第２の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
を備える、情報処理システム。
（１３）
　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
　前記信号処理部は、前記所定の人物周辺に配された複数のセンサにより取得された信号、および前記所定の場所周辺に配された複数のセンサより取得された信号を処理する、前記（１２）に記載の情報処理システム。
（１４）
　前記第１の対象は所定の人物、前記第２の対象は所定の場所であって、
　前記信号処理部は、前記所定の人物周辺に配された複数のセンサによりリアルタイムで取得された信号、および前記所定の場所周辺のセンサで既に取得され蓄積された信号を処理する、前記（１２）に記載の情報処理システム。
（１５）
　コンピュータを、
　特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
　前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
　前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記第１および第２の対象の周辺のセンサから取得した各信号を処理する信号処理部、
として機能させるための、プログラムが記憶された記憶媒体。
（１６）
　コンピュータを、
　特定ユーザの周辺のセンサにより検知された信号に基づいて、第１の対象および第２の対象を認識する認識部と、
　前記認識部により認識された前記第１および第２の対象を同定する同定部と、
　前記同定部により同定された前記第１および第２の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部、
として機能させるための、プログラムが記憶された記憶媒体。