JP7176291B2 - SOUND COLLECTION DEVICE, PROGRAM AND METHOD - Google Patents
SOUND COLLECTION DEVICE, PROGRAM AND METHODDownload PDFInfo
- Publication number
- JP7176291B2 JP7176291B2JP2018153302AJP2018153302AJP7176291B2JP 7176291 B2JP7176291 B2JP 7176291B2JP 2018153302 AJP2018153302 AJP 2018153302AJP 2018153302 AJP2018153302 AJP 2018153302AJP 7176291 B2JP7176291 B2JP 7176291B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- sound
- sound pickup
- component
- pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034methodMethods0.000titleclaimsdescription30
- PWPJGUXAGUPAHP-UHFFFAOYSA-NlufenuronChemical compoundC1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1FPWPJGUXAGUPAHP-UHFFFAOYSA-N0.000title1
- 238000003491arrayMethods0.000claimsdescription71
- 238000000605extractionMethods0.000claimsdescription29
- 230000010354integrationEffects0.000claimsdescription20
- 239000000284extractSubstances0.000claimsdescription9
- 239000004615ingredientSubstances0.000claims1
- 238000004891communicationMethods0.000description78
- 238000010586diagramMethods0.000description47
- 238000004364calculation methodMethods0.000description34
- 238000012545processingMethods0.000description29
- 239000000203mixtureSubstances0.000description9
- 230000000694effectsEffects0.000description7
- 230000035945sensitivityEffects0.000description7
- 230000015572biosynthetic processEffects0.000description6
- 238000006243chemical reactionMethods0.000description6
- 238000005516engineering processMethods0.000description5
- 238000012935AveragingMethods0.000description2
- 230000006870functionEffects0.000description2
- 230000003595spectral effectEffects0.000description2
- 238000001228spectrumMethods0.000description2
- 230000002457bidirectional effectEffects0.000description1
- 230000005540biological transmissionEffects0.000description1
- 238000012937correctionMethods0.000description1
- 238000009408flooringMethods0.000description1
- 230000004807localizationEffects0.000description1
- 238000002493microarrayMethods0.000description1
- 238000012986modificationMethods0.000description1
- 230000004048modificationEffects0.000description1
- 238000000926separation methodMethods0.000description1
- 238000011410subtraction methodMethods0.000description1
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
Translated fromJapaneseこの発明は、収音装置、プログラム及び方法に関し、例えば、雑音環境下で用いられる音声通信システム等に適用し得る。 The present invention relates to a sound collecting device, program and method, and can be applied, for example, to a speech communication system used in a noisy environment.
雑音環境下で音声通信システムや音声認識応用システムを利用する場合、必要な目的音声と同時に混入する周囲の雑音は、良好なコミュニケーションを阻害し、音声認識率の低下をもたらす厄介な存在である。従来、このような複数の音源が存在する環境下において、特定の方向の音のみ分離・収音することで不要音の混入を避け必要な目的音を得る技術として、マイクアレイを用いたビームフォーマ（Ｂｅａｍ Ｆｏｒｍｅｒ；以下「ＢＦ」とも呼ぶ；特許文献２参照）がある。ＢＦとは各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である。しかしＢＦだけでは収音を目的とするエリア（以下、「目的エリア」と呼ぶ）の周囲に他の音源が存在する場合、目的エリア内に存在する音（以下、「目的エリア音」と呼ぶ）だけを収音することが難しい。そのため、従来、特許文献１等により、複数のマイクアレイを用いて目的エリアを収音するエリア収音方式が提案されている。 When using a speech communication system or a speech recognition application system in a noisy environment, ambient noise mixed in with the required target speech is a troublesome existence that hinders good communication and lowers the speech recognition rate. Conventionally, in an environment where multiple sound sources exist, a beamformer using a microphone array has been used as a technology that separates and collects only the sound from a specific direction to avoid mixing in unwanted sounds and obtain the necessary target sound. (Beam Former; hereinafter also referred to as “BF”; see Patent Document 2). BF is a technique of forming directivity using the time difference between signals reaching each microphone. However, with only BF, if there are other sound sources around the area for which sound is to be collected (hereinafter referred to as "target area"), the sound existing in the target area (hereinafter referred to as "target area sound") It is difficult to capture only For this reason, conventionally, Japanese Patent Laid-Open No. 2002-200001 and the like propose an area sound pickup method that picks up sound in a target area using a plurality of microphone arrays.
図２３は、２つのマイクアレイＭＡ１００、ＭＡ２００を用いて、目的エリアの音源からの目的エリア音を収音する処理について示した説明図である。図２３（ａ）は、各マイクアレイＭＡ１００、ＭＡ２００の構成例について示した説明図である。図２３（ｂ）、図２３（ｃ）は、それぞれ図２３（ａ）に示すマイクアレイＭＡ１００、ＭＡ２００のＢＦ出力について周波数領域で示した図（グラフ形式のイメージ図)である。図２３において各マイクアレイＭＡ１００、ＭＡ２００は、それぞれ２つのマイクロホンｃｈ１、ｃｈ２により構成されている。 FIG. 23 is an explanatory diagram showing processing for picking up target area sound from a sound source in the target area using two microphone arrays MA100 and MA200. FIG. 23(a) is an explanatory diagram showing a configuration example of each of the microphone arrays MA100 and MA200. FIGS. 23(b) and 23(c) are diagrams (image diagrams in graph form) showing in the frequency domain the BF outputs of the microphone arrays MA100 and MA200 shown in FIG. 23(a), respectively. In FIG. 23, each of the microphone arrays MA100 and MA200 is composed of two microphones ch1 and ch2.
従来のエリア収音では、図２３（ａ）に示すように、マイクアレイＭＡ１００、ＭＡ２００の指向性を別々の方向から収音したいエリア（目的エリア）で交差させて収音する。図２３（ａ）の状態では、各マイクアレイＭＡ１００、ＭＡ２００の指向性に目的エリア内に存在する音（目的エリア音）だけでなく、目的エリア方向の雑音（非目的エリア音）も含まれている。しかし、図２３（ｂ）、図２３（ｃ）に示すように、マイクアレイＭＡ１００、ＭＡ２００の指向性を周波数領域で比較すると、目的エリア音成分はどちらの出力にも含まれるが、非目的エリア音成分は各マイクアレイで異なることになる。従来のエリア収音技術では、このような特性を利用し、２つのマイクアレイＭＡ１００、ＭＡ２００のＢＦ出力に、共通に含まれる成分以外を抑圧することで目的エリア音のみ抽出することができる。 In the conventional area sound pickup, as shown in FIG. 23(a), the directivity of the microphone arrays MA100 and MA200 is crossed in areas (target areas) where sound is to be picked up from different directions. In the state of FIG. 23(a), the directivity of each of the microphone arrays MA100 and MA200 includes not only the sound existing in the target area (target area sound) but also the noise in the direction of the target area (non-target area sound). there is However, as shown in FIGS. 23(b) and 23(c), when the directivity of the microphone arrays MA100 and MA200 is compared in the frequency domain, the target area sound component is included in both outputs, but the non-target area The sound component will be different for each microphone array. In the conventional area sound pickup technique, using such characteristics, it is possible to extract only the target area sound by suppressing components other than those commonly included in the BF outputs of the two microphone arrays MA100 and MA200.
ところで、サイレンが鳴り響く火災現場や、救急現場から指令センタ（消防本部）への緊急連絡の手段として、緊急車両には連絡用のハンドセット（送受話器）が備えられている。従来の緊急車両に搭載されるハンドセットは、利用環境が大騒音下であるが故、現場からの連絡が周囲の騒音でかき消されて、本部（例えば、緊急車両の搭乗員を指揮する本部）に正確な情報を伝えられず誤った情報となり、的確な判断の阻害や、対応の遅れなどの問題が生じるおそれがある。そのため、これまでもハンドセットについて様々な雑音除去技術の活用が検討されてきたが、通話品質の確保、コスト増大など導入には多くの課題があった。このような利用環境において、上述のエリア収音技術は有効な解決策として期待される。例えば、ハンドセットの送話口周辺に２つのマイクアレイを設置し、当該２つのマイクアレイのそれぞれの指向性を、送話口の前で交差させエリア収音を機能させることにより、サイレン等の大騒音を排除し、消防隊員等の送話者の音声だけを本部他に正確に伝達することが可能になる。 By the way, emergency vehicles are equipped with handsets (transceivers) for communication as a means of emergency communication from a fire site where a siren sounds or an emergency site to a command center (fire department). Conventional handsets installed in emergency vehicles are used in a noisy environment, so communication from the site is drowned out by the surrounding noise, resulting in a lack of communication from the headquarters (for example, the headquarters that directs the crew of the emergency vehicle). Accurate information cannot be conveyed, resulting in erroneous information. For this reason, the use of various noise reduction technologies for handsets has been investigated, but many problems have been encountered in the introduction of such technologies, such as securing call quality and increasing costs. In such a usage environment, the area sound pickup technology described above is expected to be an effective solution. For example, two microphone arrays are installed around the mouthpiece of a handset, and the directivity of each of the two microphone arrays is crossed in front of the mouthpiece to function as area sound pickup, thereby enabling a loud sound such as a siren. It is possible to eliminate noise and to accurately transmit only the voice of the caller such as a firefighter to the headquarters or the like.
エリア収音を実現するためには、少なくても２つのマイクアレイが必要である。一方、ハンドセットにおいて送話口部分の大きさは外形で直径６ｃｍ程度と小さく、そこにエリア収音実現のために２つのマイクアレイを装着する場合、それぞれのマイクアレイを非常に近接した状態で設置する必要がある。その結果、当該ハンドセットを用いたエリア収音において、収音エリアは送話器直近の非常に狭いエリアに限定される。しかしながら、ハンドセットに、従来のエリア収音処理を適用する場合、利用者（話者）によってハンドセットの持ち方や顔の大きさが異なり、口元が上述の狭く限定された収音エリア（ハンドセットについて設定される収音エリア）からずれる可能性がある。この場合、ハンドセットの収音エリアから利用者（話者）の口元がずれると、収音した音声の歪や脱落が生じ、安定した収音ができないという問題があった。 At least two microphone arrays are required to achieve area sound pickup. On the other hand, the size of the mouthpiece of a handset is as small as 6 cm in diameter, and when two microphone arrays are attached to achieve area sound pickup, the two microphone arrays are placed very close to each other. There is a need to. As a result, in area sound pickup using the handset, the sound pickup area is limited to a very narrow area in the immediate vicinity of the transmitter. However, when conventional area sound pickup processing is applied to a handset, the way of holding the handset and the size of the face differ depending on the user (speaker), and the mouth area is narrowly limited as described above (set for the handset). sound pickup area). In this case, if the mouth of the user (speaker) deviates from the sound pickup area of the handset, there is a problem that the sound picked up is distorted or dropped, and the sound cannot be picked up stably.
そのため、安定的にエリア収音を行うことができる収音装置、プログラム及び方法が望まれている。 Therefore, there is a demand for a sound collecting device, program, and method that can stably perform area sound collection.
第１の本発明の収音装置は、（１）複数の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、２パターン以上の前記マイクアレイの組み合わせに基づき複数の収音エリアのエリア収音成分を取得するエリア収音手段と、（２）前記エリア収音手段が取得した各パターンの前記収音エリアのエリア収音成分に基づき、１又は複数の前記収音エリアについて、他の前記収音エリアと重複しない独立部分のエリア収音成分を取得する独立エリア成分抽出手段と、（３）前記エリア収音手段が取得した前記収音エリアのエリア収音成分と、前記独立エリア成分抽出手段が抽出した前記独立部分のエリア収音成分とを用いて、前記エリア収音手段が取得した前記収音エリアの全てをカバーする全エリアのエリア収音成分を取得する部分エリア統合手段とを有することを特徴とする。 A sound collecting device according to a first aspect of the present invention provides: (1) a plurality of microphone arrays based on a combination of two or more patterns based on an input signal from a microphone array section capable of forming a plurality of microphone arrays with different directivities; (2) one or a plurality of the sound pickups based on the area sound pickup components of the sound pickup areas of each pattern acquired by the area sound pickup means; (3) independent area component extracting means for acquiring an area sound component of an independent portion that does not overlap with other said sound collecting areas; using the area sound pickup components of the independent portion extracted by the independent area component extraction means to obtain area sound pickup components of all areas covering all of the sound pickup areas acquired by the area sound pickup means; and partial area integrating means.
第２の本発明の収音プログラムは、コンピュータを、（１）複数の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、２パターン以上の前記マイクアレイの組み合わせに基づき複数の収音エリアのエリア収音成分を取得するエリア収音手段と、（２）前記エリア収音手段が取得した各パターンの前記収音エリアのエリア収音成分に基づき、１又は複数の前記収音エリアについて、他の前記収音エリアと重複しない独立部分のエリア収音成分を取得する独立エリア成分抽出手段と、（３）前記エリア収音手段が取得した前記収音エリアのエリア収音成分と、前記独立エリア成分抽出手段が抽出した前記独立部分のエリア収音成分とを用いて、前記エリア収音手段が取得した前記収音エリアの全てをカバーする全エリアのエリア収音成分を取得する部分エリア統合手段として機能させることを特徴とする。 A program for collecting sound according to a second aspect of the present invention provides a computer with: (1) a combination of two or more patterns of microphone arrays based on an input signal from a microphone array unit capable of forming a plurality of microphone arrays with different directivities; (2) based on the area sound pickup components of the sound pickup areas of each pattern acquired by the area sound pickup means, one or more (3) independent area component extracting means for acquiring an area sound component of an independent portion that does not overlap with other sound collecting areas in the sound collecting area; Using the sound component and the area collected sound component of the independent portion extracted by the independent area component extraction means, the area collected sound component of the entire area covering the entire sound collection area acquired by the area sound collected means It is characterized by functioning as a partial area integrating means for acquiring.
第３の本発明は、収音装置が行う収音方法において、（１）取得するエリア収音手段、独立エリア成分抽出手段、及び部分エリア統合手段を備え、（２）前記エリア収音手段は、複数の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、２パターン以上の前記マイクアレイの組み合わせに基づき複数の収音エリアのエリア収音成分を取得し、（３）前記独立エリア成分抽出手段は、前記エリア収音手段が取得した各パターンの前記収音エリアのエリア収音成分に基づき、１又は複数の前記収音エリアについて、他の前記収音エリアと重複しない独立部分のエリア収音成分を取得し、（４）前記部分エリア統合手段は、前記エリア収音手段が取得した前記収音エリアのエリア収音成分と、前記独立エリア成分抽出手段が抽出した前記独立部分のエリア収音成分とを用いて、前記エリア収音手段が取得した前記収音エリアの全てをカバーする全エリアのエリア収音成分を取得することを特徴とする。 A third aspect of the present invention is a sound collection method performed by a sound collection device, comprising (1) area sound collection means to be acquired, independent area component extraction means, and partial area integration means, and (2) the area sound collection means , based on an input signal from a microphone array unit capable of forming a plurality of microphone arrays with different directivities, acquiring area sound components of a plurality of sound pickup areas based on a combination of two or more patterns of the microphone arrays, ( 3) The independent area component extraction means extracts one or more of the sound collection areas from the other sound collection areas based on the area sound collection components of the sound collection areas of each pattern acquired by the area sound collection means. (4) the partial area integrating means extracts the area picked-up sound components of the sound-collecting areas obtained by the area sound collecting means and the independent area component extracting means; The area sound pickup component of the entire area covering the sound pickup area acquired by the area sound pickup means is obtained by using the area sound pickup component of the independent portion.
本発明によれば、効率良く、かつ安定的にエリア収音を行う収音装置を提供することができる。 According to the present invention, it is possible to provide a sound collection device that efficiently and stably performs area sound collection.
（Ａ）第１の実施形態
以下、本発明による収音装置、プログラム及び方法の第１の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の収音装置、プログラム及び方法を収音部に適用した例について説明する。(A) First Embodiment Hereinafter, a first embodiment of the sound collecting device, program and method according to the present invention will be described in detail with reference to the drawings. In this embodiment, an example in which the sound collecting device, program, and method of the present invention are applied to a sound collecting unit will be described.
まず、この実施形態におけるマイクアレイを用いたエリア収音処理の基本的な原理について図４～図６を用いて説明する。 First, the basic principle of area sound pickup processing using a microphone array in this embodiment will be described with reference to FIGS. 4 to 6. FIG.
多角形の各頂点の位置にマイクロホンを配置すると、多角形の中心方向に複数のエリア収音を構築することが出来る。 By arranging a microphone at each vertex of the polygon, it is possible to construct multiple area sound pickups toward the center of the polygon.
例えば、３個のマイクロホンを用いたエリア収音の構成を考えた場合、図４に示すように、マイクロホンの組み合わせによって最大３個のマイクアレイ（指向性の方向の異なる３個のマイクアレイ）を設定することができる。図４に示すように、３個のマイクロホンｃｈ１～ｃｈ３では、マイクロホンｃｈ１、ｃｈ２を対とするマイクアレイＭＡ３０１、マイクロホンｃｈ２、ｃｈ３を対とするマイクアレイＭＡ３０２、及びマイクロホンｃｈ３、ｃｈ１を対とするマイクアレイＭＡ３０３を設定することができる。 For example, when considering an area sound pickup configuration using three microphones, as shown in Fig. 4, a maximum of three microphone arrays (three microphone arrays with different directivity directions) can be used depending on the combination of microphones. can be set. As shown in FIG. 4, three microphones ch1 to ch3 include a microphone array MA301 paired with microphones ch1 and ch2, a microphone array MA302 paired with microphones ch2 and ch3, and a microphone array MA302 paired with microphones ch3 and ch1. Array MA303 can be configured.
さらに、３個のマイクロホンｃｈ１～ｃｈ３の構成では、図５に示すように、３個のマイクアレイＭＡ３０１、ＭＡ３０２、ＭＡ３０３の組み合わせ（３通りの組み合わせのパターン）に応じたエリア収音が可能となる。 Furthermore, in the configuration of three microphones ch1 to ch3, as shown in FIG. 5, it is possible to pick up sound in an area corresponding to the combination (three combination patterns) of the three microphone arrays MA301, MA302, and MA303. .
図５（ａ）では、マイクアレイＭＡ３０１の指向性を一点鎖線で図示し、マイクアレイＭＡ３０２の指向性を二点鎖線で図示している。また、図５（ｂ）では、マイクアレイＭＡ３０２の指向性を一点鎖線で図示し、マイクアレイＭＡ３０３の指向性を二点鎖線で図示している。さらに、図５（ｃ）では、マイクアレイＭＡ３０１の指向性を一点鎖線で図示し、マイクアレイＭＡ３０３の指向性を二点鎖線で図示している。さらにまた、図５（ａ）では、マイクアレイＭＡ３０１、ＭＡ３０２の組み合わせ（パターン）に応じた収音エリアＡ３０１にハッチ（斜線）を付している。また、図５（ｂ）では、マイクアレイＭＡ３０２、ＭＡ３０３の組み合わせ（パターン）に応じた収音エリアＡ３０２にハッチ（斜線）を付している。さらに、図５（ｃ）では、マイクアレイＭＡ３０１、ＭＡ３０３の組み合わせ（パターン）に応じた収音エリアＡ３０３にハッチ（斜線）を付している。 In FIG. 5(a), the directivity of the microphone array MA301 is indicated by a one-dot chain line, and the directivity of the microphone array MA302 is indicated by a two-dot chain line. In FIG. 5(b), the directivity of the microphone array MA302 is indicated by a one-dot chain line, and the directivity of the microphone array MA303 is indicated by a two-dot chain line. Furthermore, in FIG. 5(c), the directivity of the microphone array MA301 is indicated by a one-dot chain line, and the directivity of the microphone array MA303 is indicated by a two-dot chain line. Furthermore, in FIG. 5A, the sound pickup area A301 corresponding to the combination (pattern) of the microphone arrays MA301 and MA302 is hatched (slanted lines). Also, in FIG. 5B, the sound pickup area A302 corresponding to the combination (pattern) of the microphone arrays MA302 and MA303 is hatched (slanted lines). Furthermore, in FIG. 5(c), the sound pickup area A303 corresponding to the combination (pattern) of the microphone arrays MA301 and MA303 is hatched (slanted lines).
図５に示すように、３個のマイクロホンｃｈ１～ｃｈ３の構成では、いずれのマイクアレイでも、マイクアレイ同士（マイクアレイを構成する２つのマイクロホンの位置を結ぶ線分同士）で角度を有することから、互いの指向性を交差させて、組み合わせ毎に異なるエリア収音（異なる領域のエリア収音）が実現可能である。 As shown in FIG. 5, in the configuration of three microphones ch1 to ch3, any microphone array has an angle between the microphone arrays (line segments connecting the positions of two microphones constituting the microphone array). , by crossing each other's directivities, different area sound pickup (area sound pickup in different regions) can be realized for each combination.
一方、マイクアレイを用いたエリア収音の収音エリアは、マイクアレイの前方（マイクアレイから遠い方）に拡がる性質がある。以下、その性質について図６を用いて説明する。 On the other hand, the sound pickup area of area sound pickup using a microphone array has the property of expanding in front of the microphone array (farther from the microphone array). The properties will be described below with reference to FIG.
図６は、２つのマイクアレイＭＡ４００、ＭＡ５００の指向性を互いに直角を成すように交差させた場合におけるエリア収音の感度の分布（計算上の感度の分布）を示した図である。言い換えると、図６では、２つのマイクアレイＭＡ４００、ＭＡ５００の指向性が交差する領域及びその周辺におけるエリア収音の感度を図示している。なお、図６では、マイクアレイＭＡ４００、ＭＡ５００は、それぞれ２つのマイクロホンｃｈ１、ｃｈ２を備えている。また、図６では、エリア収音の感度を５段階（０～－５ｄＢ、－５～－１０ｄＢ、－１０～－１５ｄＢ、－１５～－２０ｄＢ、－２０～－２５ｄＢ）に分けて、段階ごとに異なるパターン（模様）を付している。図６に示すように、マイクアレイＭＡ４００、ＭＡ５００から遠い方（すなわち、右下方向）に向けて感度が高い領域が伸びている状態となることが分かる。 FIG. 6 is a diagram showing a sensitivity distribution (calculated sensitivity distribution) for area sound pickup when the directivities of the two microphone arrays MA400 and MA500 are crossed so as to form a right angle. In other words, FIG. 6 illustrates the area sound pick-up sensitivity in and around the area where the directivities of the two microphone arrays MA400 and MA500 intersect. In FIG. 6, the microphone arrays MA400 and MA500 each have two microphones ch1 and ch2. In addition, in FIG. 6, the sensitivity of area sound pickup is divided into five stages (0 to -5 dB, -5 to -10 dB, -10 to -15 dB, -15 to -20 dB, -20 to -25 dB), and each stage have different patterns. As shown in FIG. 6, it can be seen that the high-sensitivity region extends farther from the microphone arrays MA400 and MA500 (that is, toward the lower right).
したがって、図５（ａ）の組み合わせ（マイクアレイＭＡ３０１、ＭＡ３０２の組み合わせ）、図５（ｂ）の組み合わせ（マイクアレイＭＡ３０２、ＭＡ３０３の組み合わせ）、図５（ｃ）の組み合わせ（マイクアレイＭＡ３０３、ＭＡ３０１の組み合わせ）によるエリア収音の収音エリア（エリア収音の感度の分布）は、それぞれマイクアレイの組み合わせ毎に異なり、重なる部分とそうでない部分（感度の分布が一致する部分と一致しない部分）が生じることになる。 Therefore, the combination of FIG. 5(a) (the combination of microphone arrays MA301 and MA302), the combination of FIG. 5(b) (the combination of microphone arrays MA302 and MA303), the combination of FIG. The area sound pickup area (sensitivity distribution of area sound pickup) differs for each combination of microphone arrays. will occur.
すなわち、図５に示すように、３個のマイクロホンｃｈ１～ｃｈ３の構成において、異なる２つないし３つのマイクアレイの組み合わせでエリア収音を行い、それぞれの収音結果を足し合わせれば、１つのマイクアレイの組合せで実現した収音エリアより広い範囲のエリア収音が可能になる。 That is, as shown in FIG. 5, in the configuration of three microphones ch1 to ch3, area sound pickup is performed by combining two or three different microphone arrays, and if the respective sound pickup results are added, one microphone It is possible to pick up sound in a wider range than the sound pickup area achieved by combining arrays.
そこで、この実施形態では、多角形（Ｎ角形；Ｎは３以上の整数）の角頂点の位置に配置されたマイクロホンで形成される複数のマイクアレイのうち、異なる複数のマイクアレイの組み合わせ（組み合わせのパターン）でエリア収音を行い、それぞれのエリア収音結果（エリア収音の出力）を加算又は加算平均した結果を、最終的な目的エリアの収音結果として取り扱う処理を行うものとする。これにより、この実施形態のエリア収音処理では、結果として話者の口元の位置（送話器から見た話者の口元の位置）の差異に対して、より頑健なエリア収音（より安定的なエリア収音）を行うことができる。 Therefore, in this embodiment, a combination (combination pattern), and the result of adding or averaging the area sound collection results (output of area sound collection) is treated as the final sound collection result of the target area. As a result, in the area sound pickup processing of this embodiment, area sound pickup is more robust (more stable) against the difference in the position of the speaker's mouth (the position of the speaker's mouth as seen from the transmitter). area sound pickup) can be performed.
（Ａ－１）実施形態の構成
図１は、この実施形態に関連する各装置の構成について示したブロック図である。(A-1) Configuration of Embodiment FIG. 1 is a block diagram showing the configuration of each device related to this embodiment.
図１では、この実施形態に係る収音部１２０を備える通信装置１００と、通信装置２００とを図示している。また、図１では、通信装置１００、２００間は、通信路Ｐにより通信可能な構成となっている。 FIG. 1 illustrates a
通信装置１００は、第１のユーザＵ１が発話した音声（音）を収音し、収音した音声の音声データを通信路Ｐを介して通信装置２００に送信するとともに、通信装置２００から受信した音声データに基づく音声（第２のユーザＵ２が発話した音声）を表音出力する装置である。また、通信装置２００は、第２のユーザＵ２が発話した音声（音）を収音し、収音した音声の音声データを通信路Ｐを介して通信装置１００に送信するとともに、通信装置１００から受信した音声データに基づく音声（第１のユーザＵ１が発話した音声）を表音出力する装置である。 The
第１のユーザＵ１は、例えば、救急車や消防車等の緊急車両に登場する搭乗員等が該当し、第２のユーザＵ２としては、例えば、遠隔地（例えば、緊急車両を指揮する司令センタ）の司令担当者等が該当する。 The first user U1 is, for example, a crew member appearing in an emergency vehicle such as an ambulance or a fire engine. This applies to the commanding officer, etc.
通信路Ｐは、有線・無線に限定されず種々の接続手段や接続構成（ネットワーク構成）を適用することができる。 The communication path P is not limited to wired or wireless, and various connection means and connection configurations (network configurations) can be applied.
次に、通信装置１００の構成概要について図１を用いて説明する。 Next, an overview of the configuration of the
通信装置１００は、ハンドセット１１０、収音部１２０、通信部１３０、及び出力部１４０を有している。
ハンドセット１１０は、３個のマイクロホンＭＣ１～ＭＣ３（３ｃｈマイクロホン）により構成されるマイクアレイ部１１１とスピーカ１１２とを備えている。 The
通信部１３０は、通信路Ｐを介して通信装置２００と通信するための通信インタフェースである。 The
収音部１２０は、マイクアレイ部１１１で捕捉した音響信号に基づいて第１のユーザＵ１の発話した音声（音）を収音する。そして、通信部１３０は、収音部１２０が収音した音声の音声データを通信装置２００側に送信する。 The
出力部１４０は、通信部１３０を介して通信装置２００から音声データ（第２のユーザＵ２が発話した音声の音声データ）を取得し、当該音声データに基づく音響信号をスピーカ１１２に供給し、スピーカ１１２に当該音響信号を表音出力させる。 The
通信装置１００のハードウェア的な構成については限定されないものであるが、この実施形態の例では、図１に示すように、通信装置１００は、ハードウェア的にはハンドセット１１０を備える電話機の構成となっているものとする。なお、通信装置１００は、必ずしもハンドセット１１０を備える必要はなく、スマートホンのように筐体（シャーシ）全体が、実質的にハンドセットとして機能する構成（例えば、スマートホンの筐体の一部に送話口が設定された構成）としてもよい。 Although the hardware configuration of the
次に、通信装置２００の構成概要について図１を用いて説明する。 Next, an overview of the configuration of the
通信装置２００は、スピーカ２１０、マイク２２０、通信部２３０、出力部２４０、及び収音部２５０を有している。通信装置２００のハードウェア構成についても限定されないものであるが、例えば、種々の電話装置（例えば、スピーカホン等）を適用することができる。 The
通信部２３０は、通信路Ｐを介して通信装置２００と通信するための通信インタフェースである。 The
収音部２５０は、マイク２２０で捕捉した音響信号に基づいて第２のユーザＵ２の発話した音声（音）を収音する。そして、通信部２３０は、収音部２５０が収音した音声の音声データを通信装置１００側に送信する。 The
出力部２４０は、通信部２３０を介して通信装置１００から音声データ（第１のユーザＵ１が発話した音声の音声データ）を取得し、当該音声データに基づく音響信号をスピーカ２１０に供給し、スピーカ２１０に当該音響信号を表音出力させる。 The
次に、収音部１２０の詳細構成について図１を用いて説明する。 Next, a detailed configuration of the
収音部１２０は、信号入力部１２１、周波数変換部１２２、指向性形成部１２３、目的エリア音抽出部１２４及びエリア音加算部１２５を有している。 The
収音部１２０は、例えば、プロセッサやメモリ等を備えるコンピュータにプログラム（実施形態に係る収音プログラムを含む）を実行させるようにしてもよいが、その場合であっても、機能的には、図１のように示すことができる。収音部１２０の各構成要素の処理の詳細については後述する。 For example, the
次に、送受話器としてのハンドセット１１０の構成について図２、図３を用いて説明する。 Next, the configuration of
図２は、ハンドセット１１０が第１のユーザＵ１の手Ｕ１ａで把持されている状態について示した斜視図である。 FIG. 2 is a perspective view showing a state in which
図２に示すようにハンドセット１１０は、第１のユーザＵ１（手Ｕ１ａ）に把持させるための棒形状の把手部１１５と、把手部１１５の一端に設けられた送話口１１３（送話器）と、把手部１１５の他端に設けられた受話口１１４（受話器）とを有している。 As shown in FIG. 2, the
図３は、ハンドセット１１０の送話口１１３の部分を拡大して示した図である。 FIG. 3 is an enlarged view of the
図２、に示すように、受話口１１４にはスピーカ１１２が配置されている。また、図２、図３に示すように、円形の面を備える送話口１１３には、マイクアレイ部１１１（マイクロホンＭＣ１～ＭＣ３）が配置されている。 As shown in FIG. 2, a
次に、マイクアレイ部１１１の構成について、図２、図３を用いて説明する。 Next, the configuration of the
この実施形態の例では、マイクアレイ部１１１は、３個のマイクロホンＭＣ１～ＭＣ３を有する構成であるものとする。 In the example of this embodiment, the
図２に示すように、第１のユーザＵ１が通信装置１００を手Ｕ１ａで把持し、耳にスピーカＳＰを押し付けた場合に、第１のユーザＵ１の口元が位置する送話口１１３の周囲（第１のユーザＵ１の口元と最も近接する部分の周囲）に３個のマイクロホンＭＣ１～ＭＣ３が配置されている。 As shown in FIG. 2, when the first user U1 holds the
図２、図３に示すハンドセット１１０では、上述の図４、図５に示す構成と同様に、マイクアレイ部１１１を構成する３個のマイクロホンＭＣ１～ＭＣ３の各位置（各マイクロホンの中心位置）が、送話口１１３の周囲上で、正三角形の頂点となるように配置されている。図２、図３では、収音エリアの拡大を等方向とするため、マイクロホンＭＣ１～ＭＣ３による三角形の各辺を同じ距離（マイクロホンＭＣ１～ＭＣ３による三角形が正三角形）としているが、各辺の距離や各角の角度は全て同じでなくてもよい。 In the
なお、図３に示すように、以下では、マイクアレイ部１１１において、マイクロホンＭＣ１、ＭＣ２を対とするマイクアレイをＭＡ１、マイクロホンＭＣ２、ＭＣ３を対とするマイクアレイをＭＡ２、マイクロホンＭＣ３、ＭＣ１を対とするマイクアレイをＭＡ３と呼ぶものとする。 As shown in FIG. 3, in the
（Ａ－２）実施形態の動作
次に、以上のような構成を有するこの実施形態の動作（実施形態に係る収音方法）を説明する。(A-2) Operation of Embodiment Next, the operation of this embodiment (sound pickup method according to the embodiment) having the configuration described above will be described.
通信装置１００では、収音部１２０が、マイクアレイ部１１１のマイクロホンＭＣ１～ＭＣ３から供給される音響信号を用いて、目的エリアの目的エリア音を収音する目的エリア音収音処理を行う。 In the
以下では、通信装置１００を構成する収音部１２０内部の動作を中心に説明する。 The operation inside the
信号入力部１２１は、各マイクロホンＭＣ１～ＭＣ３で収音した音響信号をアナログ信号からデジタル信号に変換し、周波数変換部１２２に供給する。その後、周波数変換部１２２では、例えば高速フーリエ変換を用いてマイク信号を時間領域から周波数領域へ変換する。指向性形成部１２３はＢＦにより指向性を形成する。 The
ここで、図７、図８を用いてＢＦによる指向性形成について説明する。 Here, directivity formation by BF will be described with reference to FIGS. 7 and 8. FIG.
ＢＦとは、マイクアレイにおいて各マイクロホンに到達する信号の時間差を利用して収音の指向性を形成する技術である（非特許文献１参照）。ＢＦは加算型と減算型の大きく２つの種類に分けられが、ここでは少ないマイクロホン数で指向性を形成できる減算型ＢＦについて説明する。 BF is a technique for forming the directivity of sound pickup using the time difference between signals reaching each microphone in a microphone array (see Non-Patent Document 1). BFs are broadly classified into two types: addition type and subtraction type. Here, a subtraction type BF capable of forming directivity with a small number of microphones will be described.
図７は、マイクロホン数が２個（ＭＣ１、ＭＣ２）の場合の減算型ＢＦ６００に係る構成を示すブロック図である。 FIG. 7 is a block diagram showing the configuration of the
図８は、２個のマイクロホンＭＣ１、ＭＣ２を用いた減算型ＢＦ６００により形成される指向特性を示す図である。 FIG. 8 is a diagram showing directivity characteristics formed by a
減算型ＢＦ６００は、まず遅延器６１０により目的とする方向に存在する音（以下、「目的音」と呼ぶ）が各マイクロホンＭＣ１、ＭＣ２に到来する信号の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。時間差は（１）式により算出される。ここで、ｄはマイクロホンＭＣ１、ＭＣ２間の距離、ｃは音速、τｉは遅延量を示している。またθＬは、マイクロホンＭＣ１、Ｍ２の位置を結んだ直線に対する垂直方向から目的方向への角度を示している。The
ここで、死角をマイクロホンＭＣ１とマイクロホンＭＣ２の中心に対し、マイクロホンＭＣ１の方向に向ける場合、遅延器６１０は、マイクロホンＭＣ１の入力信号ｘ１（ｔ）に対し遅延処理を行う。その後、減算器６２０が、（２）式に従い減算処理を行う。減算器６２０では、この減算処理は周波数領域でも同様に行うことができ、その場合（２）式は（３）式のように変更される。
ここでθＬ＝±π／２の場合、形成される指向性は図８（ａ）に示すように、カージオイド型の単一指向性となり、θＬ＝０，πの場合は、図８（ｂ）のような８の字型の双指向性となる。また、減算器６２０では、スペクトル減算法（Ｓｐｅｃｔｒａｌ Ｓｕｂｔｒａｃｔｉｏｎ）の処理（以下、単に「ＳＳ」とも呼ぶ）を用いることで、双指向性の死角に強い指向性を形成することもできる。ＳＳによる指向性は、（４）式に従い全周波数、もしくは指定した周波数帯域で形成される。（４）式では、マイクロホンＭＣ１の入力信号Ｘ１を用いているが、マイクロホンＭＣ２の入力信号Ｘ２でも同様の効果を得ることができる。ここで、ｎはフレーム番号、βはＳＳの強度を調節するための係数を示している。減算器６２０では、減算時に値がマイナスなった場合は、０または元の値を小さくした値に置き換えるフロアリング処理を行うようにしてもよい。この方式では、双指向性の特性によって目的方向以外に存在する音（以下、「非目的音」と呼ぶ）を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。
ところで、ある特定の目的エリア内に存在する目的エリア音だけを収音したい場合、減算型ＢＦを用いるだけでは、そのエリアと同一方向の線上に存在する音源（以下、「非目的エリア音」と呼ぶ）も収音してしまう。 By the way, when it is desired to pick up only the target area sound existing in a certain target area, only using the subtractive BF will not detect the sound source existing on the line in the same direction as the area (hereinafter referred to as "non-target area sound"). call) will also be picked up.
そこで、指向性形成部１２３では、特許文献１で提案されているエリア収音処理（複数のマイクアレイを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音を収音する処理）を行うものとして説明する。具体的には、指向性形成部１２３は、以下のような処理によりエリア収音処理を行うようにしてもよい。 Therefore, in the
指向性形成部１２３は、マイクアレイＭＡ１～ＭＡ３のそれぞれについて、三角形（マイクロホンＭＣ１～ＭＣ３により形成される三角形）の内側に向かってＢＦによって指向性を形成する。そして、指向性形成部１２３は、マイクアレイＭＡ１、ＭＡ２、ＭＡ３の各ＢＦ出力Ｙ１（ｎ）、Ｙ２（ｎ）、Ｙ３（ｎ）を、目的エリア音抽出部１２４に供給する。The
目的エリア音抽出部１２４は、指向性形成部１２３で形成したマイクアレイＭＡ１、ＭＡ２、ＭＡ３のＢＦ出力Ｙ１（ｎ）、Ｙ２（ｎ）、Ｙ３（ｎ）を用いてエリア音を抽出する。上述の通り、各ＢＦ出力（Ｙ１（ｎ）、Ｙ２（ｎ）、Ｙ３（ｎ））は、３角形（マイクロホンＭＣ１～ＭＣ３により形成される三角形）の各辺から中心（三角形の内側方向）に向かう指向性を成したものである。したがって、各ＢＦ出力は、そのいずれの２つの組み合せ（組み合わせのパターン）においても２つの指向性が３角形の中心付近で交差するため、目的エリア音抽出部１２４は、以下に記すエリア収音方法によって、互いの指向性が交差したエリアの音を抽出することが出来る。ここでは、代表として、マイクアレイＭＡ１のＢＦ出力Ｙ１（ｎ）と、マイクアレイＭＡ２のＢＦ出力Ｙ２（ｎ）を用いた場合について説明する。目的エリア音抽出部１２４は、Ｙ１（ｎ）、Ｙ２（ｎ）を（５）、もしくは（６）式に従いＳＳし、目的エリア方向に存在する非目的エリア音Ｎ１－１（ｎ）、Ｎ１－２（ｎ）を抽出する。ここでα１、α２は、目的エリアと各マイクアレイの距離の違いによって生じる信号レベルの差を補正する補正係数であり、所定の処理によって逐一計算されるべきものであり、その手法は特許文献１にも記載されているが、ここでは簡単のため、目的エリアと各マイクアレイまでの距離は同一（α１（ｎ）＝α２（ｎ）＝１）とし、（５）、（６）式を（７）、（８）式に代える。
その後、目的エリア音抽出部１２４は、（９）、（１０）式に従い、各ＢＦ出力から非目的エリア音をＳＳして目的エリア音を抽出する。ここで、γ１（ｎ）、γ２（ｎ）はＳＳ時の強度を変更するための係数である。
目的エリア音抽出部１２４において、強調音Ｚ１－１（ｎ）、Ｚ１－２（ｎ）のうちいずれを出力としても構わないが、ここではＺ１－１（ｎ）をマイクアレイＭＡ１－マイクアレイＭＡ２の組み合せ（組み合わせのパターン）によるエリア収音出力Ｚ１（ｎ）として用いることとする。In the target area
同様にして目的エリア音抽出部１２４は、マイクアレイＭＡ２－マイクアレイＭＡ３の組み合せによるエリア収音出力Ｚ２（ｎ）、及びマイクアレイＭＡ３－マイクアレイＭＡ１の組み合せによるエリア収音出力Ｚ３（ｎ）を抽出し、エリア音加算部１２５へ供給する。Similarly, the target area
図２に示すように、マイクロホンＭＣ１～ＭＣ３は、いずれもハンドセット１１０の送話口１１３における数センチ径の狭い範囲に装着されている。したがって、各マイクアレイＭＡ１、ＭＡ２、ＭＡ３は、非常に近接（密集）した配置であり、それぞれの収音エリアも送話口１１３前の狭い範囲に限られる。しかし、上述の図６に示すように、エリア収音による収音エリアは、２つのマイクアレイの遠方方向に拡がる特性があることが判っている。したがって、それぞれ異なる３方向に拡がった収音エリア（Ｚ１（ｎ）、Ｚ２（ｎ）、Ｚ３（ｎ）のそれぞれに対応する収音エリア）を重ね合わせれば、単独の収音エリア（Ｚ１（ｎ）、Ｚ２（ｎ）、Ｚ３（ｎ）のうちいずれか１つに対応する収音エリア）に比べ、より広い範囲のエリア収音が可能になる。As shown in FIG. 2, the microphones MC1 to MC3 are all mounted in a narrow range of several centimeters in diameter in the
そこで、エリア音加算部１２５では、３個のエリア収音の出力Ｚ１（ｎ）、Ｚ２（ｎ）、Ｚ３（ｎ）を加算又は加算平均して最終出力Ｗ（ｎ）を生成して収音部１２０の収音結果として出力する。エリア音加算部１２５は、当該加算処理においてはエリア同士が重なる部分があることを考慮し、３個のエリア収音の出力の加算値（Ｚ１（ｎ）＋Ｚ２（ｎ）、＋Ｚ３（ｎ））を平均化、あるいは式（１１）に示すようにゲイン調整の係数αを乗じてもよい。なお、エリア音加算部１２５は、３個のエリア収音の出力（Ｚ１（ｎ）、Ｚ２（ｎ）、Ｚ３（ｎ））のうち、２以上の出力だけを加算（又は加算平均）する処理を行うようにしてもよい。例えば、エリア音加算部１２５は、３個のエリア収音の出力のうち、２つの出力だけを加算（又は加算平均）する処理を行うようにしてもよい。
以上のように、収音部１２０は、拡大されたエリアから収音された目的音声として最終出力Ｗ（ｎ）を出力する。このとき、収音部１２０は、Ｗ（ｎ）を周波数－時間変換した音声データとして出力するようにしてもよい。 As described above, the
そして、通信部１３０は、最終出力Ｗ（ｎ）に基づく音声データを、通信路Ｐを介して通信装置２００に送信する。 The
そして、通信装置２００の通信部２３０は、通信装置１００から受信した音声データ（Ｗ（ｎ）に基づく音声データ）を出力部１４０に供給する。出力部１４０は、受信した音声データに基づく音響信号をスピーカ２１０に供給して表音出力（第２のユーザＵ２に向けて表音出力）させる。 Then, the
（Ａ－３）実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。(A-3) Effects of Embodiment According to this embodiment, the following effects can be obtained.
この実施形態の収音部１２０では、別々の方向からエリア収音を行い、それらを足し合わせることで、従来の１組（２つ）のマイクアレイを用いたエリア収音よりも広く、等方向性をもった収音エリア（拡大した収音エリア）を形成することができる。これにより、収音部１２０では、ハンドセット１１０の送話口１１３に付けられたマイクロホンＭＣ１～ＭＣ３を用いたエリア収音を行う際に、話者（第１のユーザＵ１）の口元と送話口１１３との相対的な位置がずれた場合でも安定した音声収音が可能となる。 The
（Ｂ）第２の実施形態
以下、本発明による収音装置、プログラム及び方法の第２の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の収音装置、プログラム及び方法を収音部に適用した例について説明する。(B) Second Embodiment Hereinafter, a second embodiment of the sound collecting device, program and method according to the present invention will be described in detail with reference to the drawings. In this embodiment, an example in which the sound collecting device, program, and method of the present invention are applied to a sound collecting unit will be described.
（Ｂ－１）第２の実施形態の構成
図９は、第２の実施形態に関連する各装置の構成について示したブロック図である。図９では、上述の図１と同一部分又は対応部分には、同一符号又は対応符号を付している。(B-1) Configuration of Second Embodiment FIG. 9 is a block diagram showing the configuration of each device related to the second embodiment. In FIG. 9, the same reference numerals or corresponding reference numerals are assigned to the same or corresponding portions as those in FIG.
第２の実施形態では、通信装置１００が通信装置１００Ａに置き換わっている。また、第２の実施形態の通信装置１００Ａでは、マイクアレイ部１１１と収音部１２０が、マイクアレイ部１１１Ａと収音部１２０Ａに置き換わっている。 In the second embodiment, the
次に、第２の実施形態における収音部１２０Ａの内部構成について説明する。 Next, the internal configuration of the
上述の通り、第１の実施形態の収音部１２０では、別々の方向からエリア収音を行い、それらを重ね合わせる（足し合わせる）ことで、従来の１組（２つ）のマイクアレイを用いたエリア収音よりも広く、等方向性をもった収音エリア（拡大した収音エリア）を形成している。 As described above, the
しかしながら、第１の実施形態のようなエリア収音処理では、重ね合わせる各収音エリアが独立している場合であれば、単なる重ね合わせでも問題は生じないが、収音エリア同士に収音エリアの重複がある場合、複合（統合）された収音エリア内で均一な収音特性を得ることが困難になる。重複部分を有する複数の収音エリアの収音結果を足し合わせると、重複した部分のゲインは重複しない部分のそれに対して、成分が足し合わされることで、より強調されたものとなる。拡張された収音エリアに関して、収音エリア内の収音特性は結果として不均一なものとなり、収音エリアに存在する目的音源が持つ本来の特性とは異なる特性になってしまう場合がある。とりわけ音源位置が重複部分と重複しない部分に跨る場合には特性が歪曲される可能性が高い。 However, in the area sound collection processing of the first embodiment, if the sound collection areas to be superimposed are independent, no problem will occur even if the sound collection areas are simply superimposed. , it becomes difficult to obtain uniform sound pickup characteristics within the combined (integrated) sound pickup area. When the sound pickup results of a plurality of sound pickup areas having overlapping portions are added, the gain of the overlapping portions is emphasized by adding the gain components to those of the non-overlapping portions. As for the expanded sound collection area, the sound collection characteristics within the sound collection area become uneven as a result, and may differ from the original characteristics of the target sound source existing in the sound collection area. In particular, when the sound source position straddles an overlapping portion and a non-overlapping portion, there is a high possibility that the characteristics will be distorted.
そこで、第２の実施形態の収音部１２０Ａでは、複数の収音エリアからエリア収音を行なう場合、たとえ収音エリア同士の重なりがあっても均一な収音特性を実現し、歪の少ない安定した収音方法を提供することを目的とする。 Therefore, in the
具体的には、第２の実施形態の収音部１２０Ａでは、重複部分を有する複数の収音エリアのエリア収音成分（エリア収音出力）に対し、それぞれの収音エリアのエリア収音成分を用いて、重複部分のエリア収音成分と、重複しない部分のエリア収音成分を個別に算出し、当該個別に算出されたエリア収音成分を統合して複数の収音エリアの全範囲をカバーするエリア収音成分を得て出力とする。これにより、第２の実施形態の収音部１２０Ａでは、複数の収音エリアで重複部分が存在しても、第１の実施形態のように重複部分のエリア収音成分をダブルカウントすることなく、複数の収音エリアの全範囲にわたって収音特性の均一性を保つことができる。 Specifically, in the
次に、収音部１２０Ａの内部構成について図９を用いて説明する。 Next, the internal configuration of the
収音部１２０Ａでは、目的エリア音抽出部１２４が目的エリア音抽出部１２４Ａに置き換わり、エリア音加算部１２５が除外されている点で第１の実施形態と異なっている。また、収音部１２０Ａでは、独立エリア成分算出部１２６と部分エリア統合部１２７が追加されている点で第１の実施形態と異なっている。 The
次に、第２の実施形態のマイクアレイ部１１１Ａの構成について説明する。 Next, the configuration of the microphone array section 111A of the second embodiment will be described.
図９に示すように、第２の実施形態において、マイクアレイ部１１１Ａは、６つのマイクロホンＭＣ１～ＭＣ６を有している。 As shown in FIG. 9, in the second embodiment, the microphone array section 111A has six microphones MC1 to MC6.
図１０は、マイクアレイ部１１１Ａにおける６つのマイクロホンＭＣ１～ＭＣ６の配置及びマイクアレイの構成例について示した図である。 FIG. 10 is a diagram showing an arrangement of the six microphones MC1 to MC6 in the microphone array section 111A and a configuration example of the microphone array.
図１０に示すように、マイクアレイ部１１１Ａを構成する６つのマイクロホンＭＣ１～ＭＣ６は、２つずつのマイクロホンを対として３つのマイクアレイＭＡ１（マイクロホンＭＣ１、ＭＣ２を対とするマイクアレイ）、ＭＡ２（マイクロホンＭＣ３、ＭＣ４を対とするマイクアレイ）、ＭＡ３（マイクロホンＭＣ５、ＭＣ６を対とするマイクアレイ）を構成している。第２の実施形態では、第２の実施形態に係る収音方法の原理を解り易く説明するため、重なりを持つ２つのエリアのエリア収音を行なう構成を用いている。 As shown in FIG. 10, the six microphones MC1 to MC6 that constitute the microphone array section 111A are divided into three microphone arrays MA1 (microphone array paired with microphones MC1 and MC2) and MA2 (microphone arrays paired with two microphones each). A microphone array paired with microphones MC3 and MC4) and MA3 (a microphone array paired with microphones MC5 and MC6). In the second embodiment, in order to explain the principle of the sound pickup method according to the second embodiment in an easy-to-understand manner, a configuration for performing area sound pickup in two overlapping areas is used.
（Ｂ－２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の動作（実施形態に係る収音方法）を説明する。(B-2) Operation of Second Embodiment Next, the operation of the second embodiment having the above configuration (sound pickup method according to the embodiment) will be described.
信号入力部１２１は、６つのマイクロホンで収音した音響信号をアナログ信号からデジタル信号に変換し（ｘ１～ｘ６）、周波数変換部１２２に供給する。The
周波数変換部１２２では、例えば高速フーリエ変換を用いてマイクロホン信号を時間領域から周波数領域へ変換する（Ｘ１～Ｘ６）。The
指向性形成部１２３は、周波数変換部１２２によって時間－周波数変換された各マイクロホンの入力信号を用いてＢＦにより指向性を形成する。第２の実施形態では、マイクアレイＭＡ１によるＢＦ出力をＹ１、マイクアレイＭＡ２によるＢＦ出力をＹ２、マイクアレイＭＡ３によるＢＦ出力をＹ３とする。ＢＦ出力Ｙ１、Ｙ２、Ｙ３の指向性は図１０に示す通りである。第２の実施形態では図１０に示す通り、マイクアレイＭＡ１～ＭＡ３が三角形の各頂点の位置に配置されており、ＢＦ出力Ｙ１、Ｙ２、Ｙ３の指向性（マイクアレイＭＡ１～ＭＡ３の指向性）はそれぞれ三角形の内側を向けられている。
目的エリア音抽出部１２４Ａでは、指向性形成部１２３で生成されたＢＦ出力を用いてエリア収音処理を行なう。エリア収音は、異なる方向からＢＦの指向性を向け、指向性が交差したエリアの成分（エリア音）を分離・抽出するものである。ＢＦ出力Ｙ１、ＢＦ出力Ｙ２の組み合わせ、およびＢＦ出力Ｙ１、ＢＦ出力Ｙ３の組み合わせのそれぞれからエリア収音が実現できる。The target area
図１１は、目的エリア音抽出部１２４Ａがエリア収音をおこなう収音エリアの分布について示した説明図である。 FIG. 11 is an explanatory diagram showing the distribution of sound pickup areas where the target area
上述の図６で示したように、エリア収音ではマイクアレイから遠い方向に収音エリアが広がる特性を持つ。そのため、マイクアレイＭＡ１－ＭＡ２によるエリア収音領域（第２の実施形態では、「エリア１」又は「収音エリア１」と呼ぶ）と、マイクアレイＭＡ２－ＭＡ３によるエリア収音領域（第２の実施形態では、「エリア２」又は「収音エリア２」と呼ぶ）は、図１１のようなイメージになる。第２の実施形態では、収音エリア１のエリア収音成分（エリア収音出力）をＺ１、エリア２のエリア収音成分（エリア収音出力）をＺ２とする。As shown in FIG. 6, area sound pickup has the characteristic that the sound pickup area spreads in the direction far from the microphone array. Therefore, an area sound pickup area by the microphone arrays MA1-MA2 (referred to as "
それぞれの収音エリアは、図１２のように２つの収音エリアが重複する部分と、重複しない独立した部分に分けられる。 Each sound pickup area is divided into a portion where two sound pickup areas overlap and an independent portion where two sound pickup areas do not overlap, as shown in FIG.
図１２では、エリア１、２で重複する領域を重複エリアＯＬとしている。また、図１２では、エリア１内で、重複エリアＯＬを除く独立した領域（他の収音エリアと重複していない領域）を独立エリアＡとしている。さらに、図１２では、エリア２内で、重複エリアＯＬを除く独立した領域を独立エリアＢとしている。なお、１つの収音エリアから発生する独立エリア（独立部分）は、図１２に示すように複数の領域に分割される場合が有りえるが、本明細書では１つの収音エリアから発生した独立エリアについてはまとめて１つの符号で示すものとする。例えば、図１２では、に独立エリアＡは重複エリアＯＬにより２つの領域に分割（分断）されているが、ここでは、この２つの領域をまとめて独立エリアＡと呼ぶことになる。 In FIG. 12, a region where
以上により、エリア１は重複エリアＯＬと独立エリアＡ（エリア１から重複エリアＯＬを除いた領域）とから成り、エリア２は重複エリアＯＬと独立エリアＢ（エリア２から重複エリアＯＬを除いた領域）とから成る。エリア１のエリア収音出力Ｚ１と、エリア２のエリア収音出力Ｚ２を重ね合わせる（足し合わせる）と、広い範囲のエリアから収音できるが、重複エリアＯＬの成分が二重に加わることになり収音エリア全体として均一な収音特性は得られない。したがって、重複エリアＯＬと独立エリアＡ、Ｂの音源を個別に分離・抽出することができれば、それぞれのエリアを重複することなく統合することでエリア１、２の全範囲に亘って均一な収音特性が得られることになる。As described above,
独立エリア成分算出部１２６では、重複エリアＯＬを有する２つのエリア収音成分（ここでは、エリア１、２のエリア収音成分）から、独立エリアのエリア収音成分（ここでは、独立エリアＡ、Ｂのエリア収音成分）を分離する。 In the independent area
図１３は、図１２に示す各エリアの組成イメージ（成分ごとのパワー）を棒グラフの形式で示した説明図である。 FIG. 13 is an explanatory diagram showing a composition image (power for each component) of each area shown in FIG. 12 in the form of a bar graph.
図１３（ａ）は、エリア１のエリア収音成分Ｚ１の組成イメージ示し、図１３（ｂ）は、エリア２のエリア収音成分Ｚ２の組成イメージを示している。また、図１３（ｃ）は、図１３（ａ）に示すエリア収音成分Ｚ１の組成イメージについて、重複エリアＯＬの成分にハッチ（斜線パターン）を付して示したものである。さらに、図１３（ｄ）は、図１３（ｂ）に示すエリア収音出力Ｚ２の組成イメージについて、重複エリアＯＬの成分にハッチ（斜線パターン）を付して示したものである。13(a) shows a composition image of area picked-up sound component Z1 of
エリア１とエリア２の重複エリアＯＬは、文字通り重複して共通であるから、Ｚ１とＺ２の中にそれぞれ同一の成分として含まれている。そこで、目的エリア音抽出部１２４Ａでは、エリア収音と同じ原理に基づき、スペクトル減算法（ＳＳ）を用いることで、それぞれの成分を分離する。Since the overlapping area OL of area1 and area2 is literally overlapping and common, it is included in Z1 and Z2 as the same component. Therefore, the target area
独立エリア成分算出部１２６は、エリア収音出力Ｚ１からエリア収音出力Ｚ２をＳＳする。独立エリア成分算出部１２６は、ＳＳに際して負になる成分は０にクリッピングする。そうすることで、目的エリア音抽出部１２４Ａでは、エリア収音出力Ｚ１から重複エリアＯＬのエリア収音成分が除かれ、独立エリアＡのエリア収音成分（第１の実施形態では「ＶＡ」と呼ぶ）が分離される。同様に、独立エリア成分算出部１２６は、エリア収音出力Ｚ２からエリア収音出力Ｚ１をＳＳすることで、独立エリアＢのエリア収音成分（第１の実施形態では、「ＶＢ」と呼ぶ）を分離することができる。The independent
図１４は、独立エリア成分算出部１２６による処理の手順を示した説明図である。 FIG. 14 is an explanatory diagram showing the procedure of processing by the independent area
図１４（ａ）～図１４（ｃ）は、独立エリア成分算出部１２６が、エリア１のエリア収音出力Ｚ１から、エリア２のエリア収音出力Ｚ２をＳＳして独立エリアＡのエリア収音成分ＶＡを抽出する処理（以下の（２１）式に相当する処理）について示している。図１４（ａ）～図１４（ｃ）は、それぞれエリア１のエリア収音成分Ｚ１、エリア２のエリア収音成分Ｚ２、独立エリアＡのエリア収音成分ＶＡの組成イメージを表している。14(a) to 14(c), the independent area
また、図１４（ｄ）～図１４（ｆ）は、独立エリア成分算出部１２６が、エリア２のエリア収音成分Ｚ２から、エリア１のエリア収音成分Ｚ１をＳＳして独立エリアＢのエリア収音成分ＶＢを抽出する処理（以下の（２２）式に相当する処理）について示している。図１４（ｄ）～図１４（ｆ）は、それぞれ、エリア２のエリア収音成分Ｚ２、エリア１のエリア収音成分Ｚ１、独立エリアＢのエリア収音成分ＶＢの組成イメージを表している。14(d) to 14(f), the independent area
なお、図１４に示す各組成イメージでは、重複エリアＯＬのエリア収音成分と、独立エリアＡのエリア収音成分ＶＡと、独立エリアＢのエリア収音成分ＶＢとに、それぞれ異なるパターンを付して図示している。Note that in each composition image shown in FIG. 14, different patterns are used for the area picked-up sound component of the overlapping area OL, the area picked-up sound component VA of the independent area A, and the area picked-up sound component VB of the independent area B. It is attached and illustrated.
以上のように、独立エリア成分算出部１２６では、重複エリアＯＬを含む２つのエリア１、２に対し、片方の収音エリアだけにしか含まれない独立エリアのエリア収音成分を個別に分離・抽出する。 As described above, the independent area
部分エリア統合部１２７は、分離された各独立エリアのエリア収音成分（ＶＡ、もしくはＶＢ）と、当該独立エリア成分を含まないエリア音成分（Ｚ２、もしくはＺ１）とを統合して、最終的な最終出力Ｗを算出して出力する。部分エリア統合部１２７は、例えば、以下の（２３）式又は（２４）式を用いて最終出力Ｗを算出する。
以上のように、収音部１２０Ａは、拡大されたエリアから収音された目的音声として最終出力Ｗ（ｎ）を出力する。 As described above, the
そして、通信部１３０は、最終出力Ｗ（ｎ）に基づく音声データを、通信路Ｐを介して通信装置２００に送信する。 The
そして、通信装置２００の通信部２３０は、通信装置１００から受信した音声データ（Ｗ（ｎ）に基づく音声データ）を出力部１４０に供給する。出力部１４０は、受信した音声データに基づく音響信号をスピーカ２１０に供給して表音出力（第２のユーザＵ２に向けて表音出力）させる。 Then, the
（Ｂ－３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。(B-3) Effects of Second Embodiment According to the second embodiment, the following effects can be obtained.
第２の実施形態の収音部１２０Ａでは、別々の方向からエリア収音を行い、従来の１組のマイクアレイを用いたエリア収音よりも広く、等方向性をもった収音エリアを形成することができる。 The
また、第２の実施形態の最終出力Ｗでは、同一周波数成分に対して１つのエリア音出力のみが選択されて出力されるため、エリア拡大においても収音特性の均一性が保たれる。これにより、例えば、第２の実施形態の収音部１２０Ａをハンドセットに適用する際であっても、利用者の口元が送話口からずれても安定した収音が可能になる。 Further, in the final output W of the second embodiment, only one area sound output is selected and output for the same frequency component, so even when the area is expanded, the uniformity of the sound pickup characteristics is maintained. As a result, for example, even when the
（Ｃ）第３の実施形態
以下、本発明による収音装置、プログラム及び方法の第３の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の収音装置、プログラム及び方法を収音部に適用した例について説明する。(C) Third Embodiment Hereinafter, a third embodiment of the sound collecting device, program and method according to the present invention will be described in detail with reference to the drawings. In this embodiment, an example in which the sound collecting device, program, and method of the present invention are applied to a sound collecting unit will be described.
（Ｃ－１）第３の実施形態の構成
図１５は、第３の実施形態に関連する各装置の構成について示したブロック図である。(C-1) Configuration of Third Embodiment FIG. 15 is a block diagram showing the configuration of each device related to the third embodiment.
図１５では、上述の図１又は図９と同一部分又は対応部分には、同一符号又は対応符号を付している。以下では、第３の実施形態について、第１、第２の実施形態との差異を中心に説明する。 In FIG. 15, the same reference numerals or corresponding reference numerals are given to the same or corresponding portions as those in FIG. 1 or FIG. 9 described above. The third embodiment will be described below, focusing on differences from the first and second embodiments.
第３の実施形態では、通信装置１００Ａが通信装置１００Ｂに置き換わっている点で第２の実施形態と異なっている。また、第３の実施形態の通信装置１００Ｂでは、マイクアレイ部１１１Ａがマイクアレイ部１１１（第１の実施形態と同様の構成）に置き換わっている点で第２の実施形態と異なっている。さらに、第３の実施形態の通信装置１００Ｂでは、収音部１２０Ａが収音部１２０Ｂに置き換わっている点で第２の実施形態と異なっている。 The third embodiment differs from the second embodiment in that the
次に、第３の実施形態における収音部１２０Ｂの内部構成について説明する。 Next, the internal configuration of the
第３の実施形態の収音部１２０Ｂでは、目的エリア音抽出部１２４Ａと独立エリア成分算出部１２６と部分エリア統合部１２７とが、目的エリア音抽出部１２４（第１の実施形態と同様の構成）と独立エリア成分算出部１２６Ｂと部分エリア統合部１２７Ｂとに置き換わっている点で第２の実施形態と異なっている。 In the
上述の通り、第３の実施形態におけるマイクアレイ部１１１は、第１の実施形態と同様に、３つのマイクロホンＭＣ１～ＭＣ３により構成されている。第３の実施形態において、３つのマイクロホンＭＣ１～ＭＣ３は、上述の図２、図３と同様に、ハンドセット１１０の送話口１１３表面に正三角形となるように配置されている。なお、この実施形態では、収音エリアの拡大を等方向にするため、マイクロホンＭＣ１～ＭＣ３を正三角形に配置したが、必ずしも正三角形に限定されるものではない。 As described above, the
第３の実施形態では、第１の実施形態と同様に、３個のマイクロホンＭＣ１～ＭＣ３から３個のマイクアレイＭＡ１～ＭＡ３を構成する（上述の図４参照）。詳細については後述するが、第３の実施形態の通信装置１００Ｂ（収音部１２０Ｂ）では、マイクアレイＭＡ１～ＭＡ３の組み合わせによって３つの収音エリアについてエリア収音を行なう。 In the third embodiment, as in the first embodiment, three microphone arrays MA1 to MA3 are configured from three microphones MC1 to MC3 (see FIG. 4 described above). Although the details will be described later, in the
（Ｃ－２）第３の実施形態の動作
次に、以上のような構成を有する第３の実施形態の動作（実施形態に係る収音方法）を説明する。(C-2) Operation of the Third Embodiment Next, the operation of the third embodiment (sound pickup method according to the embodiment) having the configuration as described above will be described.
信号入力部１２１は、３つのマイクロホンＭＣ１～ＭＣ３で収音した音響信号をアナログ信号からデジタル信号に変換し（ｘ１～ｘ３）、周波数変換部１２２に供給する。The
周波数変換部１２２では、例えば、高速フーリエ変換を用いてマイクロホン信号を時間領域から周波数領域へ変換する（Ｘ１～Ｘ３）。The
指向性形成部１２３は、周波数変換部１２２によって時間－周波数変換された各マイクロホンの入力信号を用いてＢＦにより指向性を形成する。第３の実施形態では、マイクアレイＭＡ１によるＢＦ出力をＹ１、マイクアレイＭＡ２によるＢＦ出力をＹ２、マイクアレイＭＡ３によるＢＦ出力をＹ３とする。
目的エリア音抽出部１２４では、指向性形成部１２３で形成したＢＦ出力Ｙ１、Ｙ２、Ｙ３、を用い、Ｙ１－Ｙ２、Ｙ２－Ｙ３、Ｙ３－Ｙ１の組合せで、それぞれエリア収音処理を行なう。The target area
第３の実施形態では、Ｙ１－Ｙ２の組み合せによるエリア（収音エリア）を「１」、Ｙ２－Ｙ３の組み合せによるエリア（収音エリア）を２、Ｙ３－Ｙ１の組み合せによるエリア（収音エリア）を「３」と呼ぶものとする。In the third embodiment, the area (sound pickup area) of the combination of Y1 -Y2 is "1", the area (sound pickup area) of the combination of Y2 -Y3 is 2, and the combination of Y3 -Y1 The area (sound pickup area) due to is called "3".
上述の図６で示したように、エリア収音ではマイクアレイから遠い方向に収音エリアが広がる特性を持つ。そのため、ＢＦ出力Ｙ１－Ｙ２（マイクアレイＭＡ１－ＭＡ２）によるエリア１、ＢＦ出力Ｙ２－Ｙ３（マイクアレイＭＡ２－ＭＡ３）によるエリア２、ＢＦ出力Ｙ３－Ｙ１（マイクアレイＭＡ３－ＭＡ１）による収音エリアの分布は、図１６のようなイメージになる。なお、第３の実施形態では、エリア１、２、３のそれぞれのエリア収音成分（エリア収音出力）をＺ１、Ｚ２、Ｚ３とする。As shown in FIG. 6, area sound pickup has the characteristic that the sound pickup area spreads in the direction far from the microphone array. Therefore,
第２の実施形態では２つの収音エリアの重複を考えたが、第３の実施形態では収音エリアが３つになる。したがって、第３の実施形態では、３つの収音エリアが重複する部分、２つのエリアが重複する部分、重複なく独立した部分というように、第２の実施形態と比較して重複のパターンがより複雑になる。 In the second embodiment, two sound pickup areas overlap, but in the third embodiment, there are three sound pickup areas. Therefore, in the third embodiment, there are more overlap patterns than in the second embodiment, such as a portion in which three sound pickup areas overlap, a portion in which two areas overlap, and a portion that is independent without overlap. it gets complicated.
部分エリア統合部１２７Ｂではエリア収音出力Ｚ１、Ｚ２、Ｚ３を用い、３つの収音エリアが重複する部分、２つの収音エリアが重複する部分、重複なく独立した部分のエリア収音成分をそれぞれ算出する。部分エリア統合部１２７Ｂでは、各部分のエリア収音成分を算出する際に、２つの収音エリアの各組み合わせ（エリア１、２の組み合わせ、エリア２、３の組み合わせ、エリア３、１の組み合わせ）のパターン（以下、「組み合わせパターン」と呼ぶ）に分解することで、第２の実施形態と同じ手法が利用可能となる。具体的には、部分エリア統合部１２７Ｂにおいて、重複エリアを有する２つの収音エリアのエリア収音成分を、重複エリアの部分と、独立エリアの部分に分離する処理は第１の実施形態と同様である。The area sound pickup outputs Z1 , Z2 , and Z3 are used in the partial
以下では、エリア１、２の組み合わせパターンを「第１の組み合わせパターン」と呼び、エリア２、３の組み合わせパターンを「第２の組み合わせパターン」と呼び、エリア３、１の組み合わせパターンを「第３の組み合わせパターン」と呼ぶものとする。 Hereinafter, the combination pattern of
図１７は、３つのエリア１～３について２つの収音エリアの組み合わせパターン（第１～第３の組み合わせパターン）の分解イメージについて示した説明図（イメージ図）である。 FIG. 17 is an explanatory diagram (image diagram) showing an exploded image of combination patterns (first to third combination patterns) of two sound pickup areas for three
図１７（ａ）は、３つのエリア１～３を重ねて示した図となっている。図１７（ｂ）～図１７（ｄ）は、それぞれ第１～第３の組み合わせパターンに分解したイメージについて示した説明図である。 FIG. 17(a) is a diagram showing three
まず、図１７（ｂ）～図１７（ｄ）に示す３つの組み合わせパターンから、図１７（ｂ）に示す第１の組み合わせパターン（エリア１、２の組み合わせパターン）を代表例として説明する。 First, of the three combination patterns shown in FIGS. 17B to 17D, the first combination pattern (combination pattern of
独立エリア成分算出部１２６Ｂは、エリア収音出力Ｚ１からエリア収音出力Ｚ２をＳＳすることで、エリア１のエリア２に対して独立した部分（この実施形態では、「エリアＡ」と呼ぶものとする；図１７（ｂ）参照）のエリア収音成分（第３の実施形態では「ＶＡ」と呼ぶ）を得る。また、独立エリア成分算出部１２６Ｂは、エリア収音出力Ｚ２からエリア収音出力Ｚ１をＳＳすることで、エリア２のエリア１に対して独立した部分（この実施形態では、「エリアＢ」と呼ぶものとする；図１７（ｂ）参照）のエリア収音成分（第３の実施形態では「ＶＢ」と呼ぶ）を得ることができる。独立エリア成分算出部１２６Ｂでは、第２の実施形態と同様に、上記の（２１）式、（２２）式の計算式により、エリア収音成分ＶＡ、ＶＢを得ることができる。The independent area
独立エリア成分算出部１２６Ｂでは、第２の組み合わせパターン（エリア２、３の組み合わせパターン）についても同様に、エリア２のエリア３に対して独立した部分（この実施形態では、「エリアＣ」と呼ぶものとする；図１７（ｃ）参照）のエリア収音成分（第３の実施形態では「ＶＣ」と呼ぶ）と、エリア３のエリア２に対して独立した部分（第３の実施形態では、「エリアＤ」と呼ぶものとする；図１７（ｃ）参照）のエリア収音成分（第３の実施形態では「ＶＤ」と呼ぶ）を得ることができる。また、独立エリア成分算出部１２６Ｂでは、第３の組み合わせパターン（エリア３、１の組み合わせパターン）についても同様に、エリア３のエリア１に対して独立した部分（この実施形態では、「エリアＥ」と呼ぶものとする；図１７（ｄ）参照）のエリア収音成分（第３の実施形態では「ＶＥ」と呼ぶ）と、エリア１のエリア３に対して独立した部分（この実施形態では、「エリアＦ」と呼ぶものとする；図１７（ｄ）参照）のエリア収音成分（第３の実施形態では「ＶＦ」と呼ぶ）を得ることができる。In the independent area
独立エリア成分算出部１２６Ｂでは、下記の（３１）式～（３４）式の計算式により、エリア収音成分ＶＣ、ＶＤ、ＶＥ、ＶＦを得ることができる。
以上のように、独立エリア成分算出部１２６Ｂは、エリア１、エリア２、エリア３のうち、任意の２つのエリアの組み合せ（いずれかの組み合わせパターン）で生じる独立部分（エリアＡ～Ｆ）のエリア収音成分（ＶＡ～ＶＦ）について算出することができる。これにより、独立エリア成分算出部１２６Ｂは、その独立部分のエリア収音成分（ＶＡ～ＶＦ）を元に、エリア１～３を同時に重ねた場合の独立エリアのエリア収音成分を算出することができる。As described above, the independent area
ここでは、まず、独立エリア成分算出部１２６Ｂが、エリアＡ、Ｄで生じる独立部分のエリア収音成分を求める処理について説明する。 Here, first, the process of obtaining the area picked-up sound components of the independent portions generated in the areas A and D by the independent
図１８は、エリアＡ、Ｄで生じる独立部分のイメージについて示した説明図である。 18A and 18B are explanatory diagrams showing images of independent portions generated in areas A and D. FIG.
独立エリア成分算出部１２６Ｂは、上記の計算でエリアＡのエリア収音成分ＶＡと、エリアＤのエリア収音成分成分ＶＤを得ることができる。The independent
そして、独立エリア成分算出部１２６Ｂは、これまでと同様の計算方法により、エリア収音成分ＶＡからエリア収音成分成分ＶＤをＳＳすることで、エリアＡのエリアＤに対して独立した部分（すなわちエリアＡ内の独立部分；この実施形態では、「エリアＡｄ」と呼ぶものとする）のエリア収音成分（第３の実施形態では「ＶＡｄ」と呼ぶ）を得ることができる。独立エリア成分算出部１２６Ｂでは、下記の（３５）式により、エリア収音成分ＶＡｄを得ることができる。Then, the independent area
これにより、独立エリア成分算出部１２６Ｂでは、以下の（３６）式に示すように、エリア収音成分ＶＡｄとエリア収音成分ＶＤを加算することで、エリアＡとエリアＤの範囲全体（以下、「エリアＡ∨Ｄ」と表す）のエリア収音成分（以下、「ＶＡ∨Ｄ」と表す」を得ることができる。As a result, the independent area
図１９は、エリア１～３におけるエリアＡ∨Ｄのイメージについて示した説明図である。 FIG. 19 is an explanatory diagram showing an image of area A∨D in areas 1-3.
なお、エリアＡ∨Ｄのエリア収音成分ＶＡ∨Ｄは、以下の（３７）式、（３８）式に示すように、エリアＤのエリアＡに対して独立した部分（すなわちエリアＤ内の独立部分；この実施形態では、「エリアＤａ」と呼ぶものとする）のエリア収音成分（第３の実施形態では「ＶＤａ」と呼ぶ）と、エリアＡのエリア収音成分ＶＡを加算して得るようにしてもよい。
図１９に示すように、エリアＡ∨Ｄ（エリアＡとエリアＤの範囲全体部分）は、エリア２からはみ出した部分（エリア１～３の範囲全体においてエリア２からはみ出した部分全体）である。したがって、後述するように、部分エリア統合部１２７Ｂは、エリア収音成分ＶＡ∨Ｄを用いて、エリア１～３全体の範囲のエリア収音成分（最終出力Ｗ）を算出することができる。As shown in FIG. 19, area A∨D (the entire range of area A and area D) is a portion protruding from area 2 (the entire portion protruding from
以上のように、独立エリア成分算出部１２６Ｂは、エリアＡ∨Ｄ（エリアＡとエリアＤの範囲全体）のエリア収音成分ＶＡ∨Ｄを得ることができる。As described above, the independent
以上の図１８、図１９の例では、エリアＡ又はエリアＤで発生する独立部分のエリア収音成分を用いて、エリアＡ∨Ｄ（エリアＡ、Ｄの範囲全体；エリア３からはみ出る部分）のエリア収音成分ＶＡ∨Ｄを得る例について示したが、同様に、エリアＢ又はエリアＥで発生する独立エリアのエリア収音成分を用いて、エリアＢ、Ｅの範囲全体（エリア１からはみ出る部分；以下、「エリアＢ∨Ｅ」と呼ぶ）のエリア収音成分（以下、「ＶＢ∨Ｅ」と呼ぶ）や、エリアＣ又はエリアＦで発生する独立エリアのエリア収音成分を用いて、エリアＣ、Ｆの範囲全体（エリア３からはみ出る部分；以下、「エリアＣ∨Ｆ」と呼ぶ）のエリア収音成分（以下、「ＶＣ∨Ｆ」と呼ぶ）を求めるようにしてもよい。In the examples of FIGS. 18 and 19 above, the area A∨D (the entire range of areas A and D; the portion protruding from area 3) is An example of obtaining the area picked-up sound component VA∨D was shown, but similarly, using the area picked-up sound component of the independent area generated in the area B or the area E, the entire range of the areas B and E (protruding from the
図２０は、エリアＢ、Ｅで発生する独立部分のイメージについて示した説明図である。 FIG. 20 is an explanatory diagram showing an image of independent portions generated in areas B and E. FIG.
独立エリア成分算出部１２６Ｂは、上述のエリアＡ、Ｄの場合と同様の計算方法により、エリアＢのエリアＥに対して独立した部分（すなわちエリアＢ内の独立エリア；この実施形態では、「エリアＢｅ」と呼ぶものとする）のエリア収音成分（第３の実施形態では「ＶＢｅ」と呼ぶ）や、エリアＥのエリアＢに対して独立した部分（すなわちエリアＥ内の独立エリア；この実施形態では、「エリアＥｂ」と呼ぶものとする）のエリア収音成分（第３の実施形態では「ＶＥｂ」と呼ぶ）を得ることができる（具体的な計算式は下記の（３９）式、（４１）式参照）。そして、独立エリア成分算出部１２６Ｂは、エリア収音成分ＶＢｅ又はエリア収音成分ＶＥｂを用いて、エリアＢ∨Ｅ（エリア１からはみ出した部分）のエリア収音成分ＶＢ∨Ｅを得ることができる（具体的な計算式は下記の（４０）式、（４２）式参照）。The independent area
図２１は、エリアＣ、Ｆで発生する独立部分のイメージについて示した説明図である。 FIG. 21 is an explanatory diagram showing an image of independent portions generated in areas C and F. FIG.
独立エリア成分算出部１２６Ｂは、上述のエリアＡ、Ｄの場合と同様の計算方法により、エリアＣのエリアＦに対して独立した部分（すなわちエリアＣ内の独立エリア；この実施形態では、「エリアＣｆ」と呼ぶものとする）のエリア収音成分（第３の実施形態では「ＶＣｆ」と呼ぶ）や、エリアＦのエリアＣに対して独立した部分（すなわちエリアＦ内の独立エリア；この実施形態では、「エリアＦｃ」と呼ぶものとする）のエリア収音成分（第３の実施形態では「ＶＦｃ」と呼ぶ）を得ることができる（具体的な計算式は下記の（４３）式、（４５）式参照）。そして、独立エリア成分算出部１２６Ｂは、エリア収音成分ＶＣｆ又はエリア収音成分ＶＦｃを用いて、エリアＣ∨Ｆ（エリア３からはみ出した部分）のエリア収音成分ＶＣ∨Ｆを得ることができる（具体的な計算式は下記の（４４）式、（４６）式参照）。
以上のように、独立エリア成分算出部１２６Ｂでは、エリア１～３の重なりから独立したエリアのエリア収音成分算出を経て、エリア１～３のいずれかからはみ出した部分のエリア収音成分（ＶＡ∨Ｄ、ＶＢ∨Ｅ、ＶＣ∨Ｆのいずれか）を算出する。As described above, the independent area
部分エリア統合部１２７Ｂでは、独立エリア成分算出部１２６Ｂで算出されたエリア１～３のいずれかからはみ出した部分のエリア収音成分（ＶＡ∨Ｄ、ＶＢ∨Ｅ、ＶＣ∨Ｆのいずれか）と、対応する収音エリアのエリア収音成分（Ｚ１、Ｚ２、Ｚ３のうち対応するエリア収音成分）を統合（加算）することで、３つのエリア（エリア１～３）がカバーする全範囲のエリア収音成分（最終出力Ｗ）を得ることができる。これにより、部分エリア統合部１２７Ｂが算出する最終出力Ｗは、３つの収音エリア（エリア１～３）がカバーする全範囲を均一に収音した成分となる。In the partial
部分エリア統合部１２７Ｂは、独立エリア成分算出部１２６Ｂでどのエリア収音成分を算出したかによって、以下の（４７）式～（４９）式の何れかで最終出力Ｗを算出する。 The partial
例えば、独立エリア成分算出部１２６Ｂが、エリア２からはみ出した部分（エリアＡ∨Ｄ）のエリア収音成分ＶＡ∨Ｄを算出した場合、部分エリア統合部１２７Ｂは、以下の（４７）式に示すように、エリア収音成分ＶＡ∨Ｄとエリア２のエリア収音成分Ｚ２を加算することで、最終出力Ｗを得ることができる。また、独立エリア成分算出部１２６Ｂが、エリア１からはみ出した部分（エリアＢ∨Ｅ）のエリア収音成分ＶＢ∨Ｅを算出した場合、部分エリア統合部１２７Ｂは、以下の（４８）式に示すように、エリア収音成分ＶＢ∨Ｅとエリア１のエリア収音成分Ｚ１を加算することで、最終出力Ｗを得ることができる。さらに、独立エリア成分算出部１２６Ｂが、エリア３からはみ出した部分（エリアＣ∨Ｆ）のエリア収音成分ＶＣ∨Ｆを算出した場合、部分エリア統合部１２７Ｂは、以下の（４９）式に示すように、エリア収音成分ＶＣ∨Ｆとエリア３のエリア収音成分Ｚ３を加算することで、最終出力Ｗを得ることができる。
以上のように、収音部１２０Ｂは、独立エリア成分算出部１２６Ｂにより、エリア１～３の重なりから独立した独立部分（Ａｄ、Ｄａ、Ｂｅ、Ｅｂ、Ｃｆ、Ｆｃのいずれか）のエリア収音成分（ＶＡｄ、ＶＤａ、ＶＢｅ、ＶＥｂ、ＶＣｆ、ＶＦｃ）を分離し、その分離した独立部分のエリア収音成分を用いて、３つの収音エリア（エリア１～３）がカバーする全範囲を均一にエリア収音したエリア収音成分を得る。これにより、収音部１２０Ｂは、拡大されたエリアから収音された目的音声として最終出力Ｗ（ｎ）を出力する。As described above, the
そして、通信部１３０は、最終出力Ｗ（ｎ）に基づく音声データを、通信路Ｐを介して通信装置２００に送信する。 The
そして、通信装置２００の通信部２３０は、通信装置１００から受信した音声データ（Ｗ（ｎ）に基づく音声データ）を出力部１４０に供給する。出力部１４０は、受信した音声データに基づく音響信号をスピーカ２１０に供給して表音出力（第２のユーザＵ２に向けて表音出力）させる。 Then, the
（Ｃ－３）第３の実施形態の効果
第３の実施形態によれば、以下のような効果を奏することができる。(C-3) Effects of Third Embodiment According to the third embodiment, the following effects can be obtained.
第３の実施形態の収音部１２０Ｂでは、重なりを持つ３以上の収音エリアに対して独立したエリアと重複したエリアそれぞれの部分の成分を算出し、各部分の成分を重複なく網羅的に統合しているため、収音エリアの拡大と収音特性の均一性確保が同時に実現できる。 In the
（Ｄ）他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。(D) Other Embodiments The present invention is not limited to the above-described embodiments, and modified embodiments such as those exemplified below can also be mentioned.
（Ｄ－１）上記の各実施形態では、収音部は通信装置の一部を構成するものとして説明したが、独立した装置として構成するようにしてもよい。また、上記の各実施形態では、収音部にマイクアレイ部は含まない構成として説明したが、収音部とマイクアレイ部を一体とした装置として構成するようにしてもよい。 (D-1) In each of the above-described embodiments, the sound pickup unit is a part of the communication device, but it may be constructed as an independent device. Further, in each of the above-described embodiments, the sound pickup unit does not include the microphone array unit, but the sound pickup unit and the microphone array unit may be integrated as a device.
（Ｄ－２）上記の各実施形態では、本発明の収音装置（収音部）をハンドセット等の手持ち型の送話器（送受話器）を備える装置等に適用する例について説明したが、本発明の収音装置は、ヘッドセットやウェアラブルデバイス（例えば、マイクロホン付きのヘッドマウントディスプレイ、マイクロホン付きのネックバンド型ヘッドホン等）に適用し、第１のユーザＵ１による装着時に第１のユーザＵ１の口元が位置する領域を目的エリアとし、その周囲（送話口）の多角形（Ｎ角形）の各頂点にマイクロホンを設置し、上記の実施形態と同様にエリア収音処理するようにしてもよい。 (D-2) In each of the above-described embodiments, an example in which the sound collecting device (sound collecting unit) of the present invention is applied to a device having a hand-held transmitter (transmitter/receiver) such as a handset has been described. The sound collecting device of the present invention is applied to a headset or a wearable device (for example, a head-mounted display with a microphone, a neckband type headphone with a microphone, etc.), and when worn by the first user U1, the first user U1 An area where the mouth is positioned may be set as a target area, microphones may be installed at each vertex of a polygon (N-sided polygon) around the area (mouthpiece), and area sound pickup processing may be performed in the same manner as in the above embodiment. .
（Ｄ－３）第１、第３の実施形態では、３個のマイクロホンＭＣ１～ＭＣ３を用いたエリア収音の例について示したが、マイクアレイ部１１１に設置するマイクロホンの数（マイクロホンを配置する多角形の辺（角）の数）は限定されないものでる。例えば、３方向あるいは４方向からエリア収音を行なってもマイクロホンの数の増加は僅かであり、結果的に処理量の増加も限定的である。具体的には、例えば、第１、第３の実施形態において、４つのマイクロホンを四角形の角頂点に配置した場合、４エリアのエリア収音を行なっているにも係らず、マイク数は従来のエリア収音の最小構成である２マイクアレイ×２と同じ４つのマイクロホンで実現できるため、簡素な構成で処理量も少なくハンドセット１１０という限られたスペースの機器にも容易に実装できる。 (D-3) In the first and third embodiments, an example of area sound pickup using three microphones MC1 to MC3 was shown, but the number of microphones installed in the microphone array unit 111 (the number of microphones The number of sides (corners) of the polygon is not limited. For example, even if area sound pickup is performed from three or four directions, the increase in the number of microphones is slight, and as a result, the increase in the amount of processing is also limited. Specifically, for example, in the first and third embodiments, when four microphones are arranged at the corner vertices of a square, the number of microphones is less than that of the conventional one even though area sound pickup is performed in four areas. Since it can be realized with four microphones, which is the minimum configuration for area sound pickup, which is the same as two microphone arrays x 2, the configuration is simple, the amount of processing is small, and it can be easily installed in a device such as the
以上のように、マイクアレイ部１１１に設置するマイクロホンの数（マイクロホンの位置により形成される多角形の角数）が増せば、指向性の方向（ＢＦ出力の指向性の方向）が多様化し、発話者（第１のユーザＵ１）の口元の変動（ハンドセット１１０の送話口１１３と第１のユーザＵ１の口元との相対的な位置の変動）に対して安定性がさらに向上する。 As described above, if the number of microphones installed in the microphone array unit 111 (the number of corners of the polygon formed by the positions of the microphones) increases, the directivity direction (directivity direction of the BF output) diversifies. Stability is further improved against variations in the mouth of the speaker (first user U1) (variations in the relative position between the
図２２は、マイクアレイ部１１１のマイクロホンの数を４つとした場合の構成について示した説明図である。 FIG. 22 is an explanatory diagram showing a configuration when the number of microphones in the
図２２では、４つのマイクロホンＭＣ１～ＭＣ４が四角形（正方形）の角頂点の位置に配置されている。４つのマイクロホンＭＣ１～ＭＣ４は互いに隣り合うマイクロホン同士と組み合わされて、マイクロホンＭＣ１、ＭＣ２の対により形成されるマイクアレイＭＡ７０１と、マイクロホンＭＣ２、ＭＣ３の対により形成されるマイクアレイＭＡ７０２と、マイクロホンＭＣ３、ＭＣ４の対により形成されるマイクアレイＭＡ７０３と、マイクロホンＭＣ４、ＭＣ１の対により形成されるマイクアレイＭＡ７０４の４つが形成される。さらにこれらのマイクロアレイは隣り合うマイクアレイとの組み合わせ（一部のマイクロホンを共有するマイクアレイの組み合わせ）により４つのエリア収音が可能となる。例えば、マイクアレイ部１１１に、４つのマイクロホンＭＣ１～ＭＣ４の構成を適用した場合、収音部１２０では、マイクアレイＭＡ７０１、ＭＡ７０２の組み合わせによるエリア収音と、マイクアレイＭＡ７０２、ＭＡ７０３の組み合わせによるエリア収音と、マイクアレイＭＡ７０３、ＭＡ７０４の組み合わせによるエリア収音と、マイクアレイＭＡ７０４、ＭＡ７０１の組み合わせによるエリア収音の各出力（４つのエリア収音の出力）を取得することができる。そして、収音部１２０では、上述の４つのエリア収音の出力に基づいた収音結果（例えば、４つのエリア収音の出力の加算値や加算平均値）を取得することができる。 In FIG. 22, four microphones MC1 to MC4 are arranged at the corner vertices of a quadrangle (square). The four microphones MC1 to MC4 are combined with adjacent microphones to form a microphone array MA701 formed by a pair of microphones MC1 and MC2, a microphone array MA702 formed by a pair of microphones MC2 and MC3, a microphone MC3, A microphone array MA703 formed by a pair of MC4 and a microphone array MA704 formed by a pair of microphones MC4 and MC1 are formed. Further, these microarrays are combined with adjacent microphone arrays (combination of microphone arrays sharing some microphones) to enable sound pickup in four areas. For example, when the configuration of four microphones MC1 to MC4 is applied to the
１００、１００Ａ、１００Ｂ…通信装置、１１０…ハンドセット、１１１…マイクアレイ部、ＭＣ１～ＭＣ６…マイクロホン、１１２…スピーカ、１１３…送話口、１１４…受話口、１１５…把手部、１２０、１２０Ａ、１２０Ｂ…収音部、１２１…信号入力部、１２２…周波数変換部、１２３…指向性形成部、１２４、１２４Ａ…目的エリア音抽出部、１２５…エリア音加算部、１２６、１２６Ｂ…独立エリア成分算出部、１２７、１２７Ｂ…部分エリア統合部、１３０…通信部、１４０…出力部、２００…通信装置、２１０…スピーカ、２２０…マイク、２３０…通信部、２４０…出力部、２５０…収音部、Ｕ１…第１のユーザ、Ｕ１ａ…聴者の手、Ｕ２…第２のユーザ、Ｐ…通信路。 DESCRIPTION OF
Claims (5)
Translated fromJapanese前記エリア収音手段が取得した各パターンの前記収音エリアのエリア収音成分に基づき、１又は複数の前記収音エリアについて、他の前記収音エリアと重複しない独立部分のエリア収音成分を取得する独立エリア成分抽出手段と、
前記エリア収音手段が取得した前記収音エリアのエリア収音成分と、前記独立エリア成分抽出手段が抽出した前記独立部分のエリア収音成分とを用いて、前記エリア収音手段が取得した前記収音エリアの全てをカバーする全エリアのエリア収音成分を取得する部分エリア統合手段と
を有することを特徴とする収音装置。Area sound pickup for acquiring area sound components of a plurality of sound pickup areas based on a combination of two or more patterns of the microphone arrays based on an input signal from a microphone array section capable of forming a plurality of microphone arrays with different directivities. means and
Based on the area sound collection components of the sound collection areas of each pattern acquired by the area sound collection means, for one or more of the sound collection areas, an area sound collection component of an independent portion that does not overlap with the other sound collection areas is selected. independent area component extraction means to obtain;
The area sound pickup component of the sound pickup area acquired by the area sound pickup unit and the area sound pickup component of the independent portion extracted by the independent area component extraction unit are used to obtain the area sound pickup unit. A sound collecting device, comprising: partial area integrating means for acquiring area sound components of all areas covering the entire sound collecting area.
前記独立エリア成分抽出手段は、前記エリア収音手段が取得した第１の収音エリアのエリア収音成分と第２の収音エリアのエリア収音成分に基づいて、前記第２の収音エリアで前記第１の収音エリアと重複しない独立部分のエリア収音成分を取得し、
前記部分エリア統合手段は、前記第１の収音エリアのエリア収音成分と、前記第２の収音エリアの独立部分のエリア収音成分とを統合することで、前記全エリアのエリア収音成分を取得する
ことを特徴とする請求項１に記載の収音装置。The area sound pickup means acquires area sound components of the two sound pickup areas based on the input signal from the microphone array unit,
The independent area component extraction means extracts the second sound collection area based on the area sound collection components of the first sound collection area and the area sound collection components of the second sound collection area acquired by the area sound collection means. to acquire an area sound pickup component of an independent portion that does not overlap with the first sound pickup area,
The partial area integration means integrates the area sound pickup component of the first sound pickup area and the area sound pickup component of the independent portion of the second sound pickup area to obtain the area sound pickup of the entire area. The sound collecting device according to claim 1, wherein a component is acquired.
前記独立エリア成分抽出手段は、前記全エリアのうち、第１の収音エリアからはみ出る部分のエリア収音成分と、前記第１の収音エリアのエリア収音成分を統合することで、前記全エリアのエリア収音成分を取得する
ことを特徴とする請求項１のいずれかに記載の収音装置。The area sound pickup means acquires area sound pickup components of the three sound pickup areas based on the input signal from the microphone array unit,
The independent area component extracting means integrates an area picked-up sound component of a portion protruding from the first sound-collected area and an area picked-up sound component of the first sound-collected area out of the whole area, thereby The sound collecting device according to any one of claims 1 to 3, wherein an area collected sound component of the area is obtained.
複数の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、２パターン以上の前記マイクアレイの組み合わせに基づき複数の収音エリアのエリア収音成分を取得するエリア収音手段と、
前記エリア収音手段が取得した各パターンの前記収音エリアのエリア収音成分に基づき、１又は複数の前記収音エリアについて、他の前記収音エリアと重複しない独立部分のエリア収音成分を取得する独立エリア成分抽出手段と、
前記エリア収音手段が取得した前記収音エリアのエリア収音成分と、前記独立エリア成分抽出手段が抽出した前記独立部分のエリア収音成分とを用いて、前記エリア収音手段が取得した前記収音エリアの全てをカバーする全エリアのエリア収音成分を取得する部分エリア統合手段と
して機能させることを特徴とする収音プログラム。the computer,
Area sound pickup for acquiring area sound components of a plurality of sound pickup areas based on a combination of two or more patterns of the microphone arrays based on an input signal from a microphone array section capable of forming a plurality of microphone arrays with different directivities. means and
Based on the area sound collection components of the sound collection areas of each pattern acquired by the area sound collection means, for one or more of the sound collection areas, an area sound collection component of an independent portion that does not overlap with the other sound collection areas is selected. independent area component extraction means to obtain;
The area sound pickup component of the sound pickup area acquired by the area sound pickup unit and the area sound pickup component of the independent portion extracted by the independent area component extraction unit are used to obtain the area sound pickup unit. A sound collecting program characterized by functioning as partial area integrating means for acquiring area sound components of all areas covering the entire sound collecting area.
取得するエリア収音手段、独立エリア成分抽出手段、及び部分エリア統合手段を備え、
前記エリア収音手段は、複数の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、２パターン以上の前記マイクアレイの組み合わせに基づき複数の収音エリアのエリア収音成分を取得し、
前記独立エリア成分抽出手段は、前記エリア収音手段が取得した各パターンの前記収音エリアのエリア収音成分に基づき、１又は複数の前記収音エリアについて、他の前記収音エリアと重複しない独立部分のエリア収音成分を取得し、
前記部分エリア統合手段は、前記エリア収音手段が取得した前記収音エリアのエリア収音成分と、前記独立エリア成分抽出手段が抽出した前記独立部分のエリア収音成分とを用いて、前記エリア収音手段が取得した前記収音エリアの全てをカバーする全エリアのエリア収音成分を取得する
ことを特徴とする収音方法。In the sound collection method performed by the sound collection device,
Acquiring area sound collection means, independent area component extraction means, and partial area integration means,
The area sound pickup means picks up sound in a plurality of sound pickup areas based on a combination of two or more patterns of the microphone arrays based on an input signal from a microphone array unit capable of forming a plurality of microphone arrays with different directivities. get the ingredients,
The independent area component extraction means does not overlap one or more of the sound collection areas with other sound collection areas based on the area sound collection components of the sound collection areas of each pattern acquired by the area sound collection means. Get the area sound component of the independent part,
The partial area integration means uses the area sound pickup component of the sound pickup area acquired by the area sound pickup means and the area sound pickup component of the independent portion extracted by the independent area component extraction means to integrate the area A sound pickup method, characterized by acquiring an area sound pickup component of all areas covering the entire sound pickup area acquired by a sound pickup means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018153302AJP7176291B2 (en) | 2018-08-16 | 2018-08-16 | SOUND COLLECTION DEVICE, PROGRAM AND METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018153302AJP7176291B2 (en) | 2018-08-16 | 2018-08-16 | SOUND COLLECTION DEVICE, PROGRAM AND METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020028086A JP2020028086A (en) | 2020-02-20 |
| JP7176291B2true JP7176291B2 (en) | 2022-11-22 |
Family
ID=69620473
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018153302AActiveJP7176291B2 (en) | 2018-08-16 | 2018-08-16 | SOUND COLLECTION DEVICE, PROGRAM AND METHOD |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7176291B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114885273B (en)* | 2022-03-15 | 2025-05-27 | 科大讯飞股份有限公司 | Sound range adjustment method and related device, equipment, system and medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150063590A1 (en) | 2013-08-30 | 2015-03-05 | Oki Electric Industry Co., Ltd. | Sound source separating apparatus, sound source separating program, sound pickup apparatus, and sound pickup program |
| JP2016127458A (en) | 2015-01-05 | 2016-07-11 | 沖電気工業株式会社 | Sound pickup device, program and method |
- 2018
- 2018-08-16JPJP2018153302Apatent/JP7176291B2/enactiveActive
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150063590A1 (en) | 2013-08-30 | 2015-03-05 | Oki Electric Industry Co., Ltd. | Sound source separating apparatus, sound source separating program, sound pickup apparatus, and sound pickup program |
| JP2015050558A (en) | 2013-08-30 | 2015-03-16 | 沖電気工業株式会社 | Sound source separating device, sound source separating program, sound collecting device, and sound collecting program |
| JP2016127458A (en) | 2015-01-05 | 2016-07-11 | 沖電気工業株式会社 | Sound pickup device, program and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020028086A (en) | 2020-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10097921B2 (en) | Methods circuits devices systems and associated computer executable code for acquiring acoustic signals | |
| JP4873913B2 (en) | Sound source separation system, sound source separation method, and acoustic signal acquisition apparatus | |
| Benesty et al. | Fundamentals of differential beamforming | |
| JP6187626B1 (en) | Sound collecting device and program | |
| JP5762956B2 (en) | System and method for providing noise suppression utilizing nulling denoising | |
| WO2017093554A2 (en) | Conference system with a microphone array system and a method of speech acquisition in a conference system | |
| CN111052766A (en) | Noise removing device and noise removing method | |
| JP6789690B2 (en) | Signal processing equipment, signal processing methods, and programs | |
| KR20090037692A (en) | Method and apparatus for extracting target sound source signal from mixed sound | |
| CN110379439A (en) | A kind of method and relevant apparatus of audio processing | |
| JP7175096B2 (en) | SOUND COLLECTION DEVICE, PROGRAM AND METHOD | |
| JP6479211B2 (en) | Hearing device | |
| JP7067146B2 (en) | Sound collectors, programs and methods | |
| Ohlenbusch et al. | Multi-microphone noise data augmentation for DNN-based own voice reconstruction for hearables in noisy environments | |
| JP7067173B2 (en) | Sound collectors, programs and methods | |
| JP6973224B2 (en) | Sound collectors, programs and methods | |
| JP7176291B2 (en) | SOUND COLLECTION DEVICE, PROGRAM AND METHOD | |
| JP6943120B2 (en) | Sound collectors, programs and methods | |
| JP7176316B2 (en) | SOUND COLLECTION DEVICE, PROGRAM AND METHOD | |
| JP5190859B2 (en) | Sound source separation device, sound source separation method, sound source separation program, and recording medium | |
| JP7040198B2 (en) | Sound collectors, programs and methods | |
| Lin et al. | Development of novel hearing aids by using image recognition technology | |
| As’ad et al. | Beamforming designs robust to propagation model estimation errors for binaural hearing aids | |
| CN116760442A (en) | Beam forming method, device, electronic equipment and storage medium | |
| Maj et al. | SVD-based optimal filtering technique for noise reduction in hearing aids using two microphones |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination | Free format text:JAPANESE INTERMEDIATE CODE: A621 Effective date:20210507 | |
| A977 | Report on retrieval | Free format text:JAPANESE INTERMEDIATE CODE: A971007 Effective date:20220317 | |
| A131 | Notification of reasons for refusal | Free format text:JAPANESE INTERMEDIATE CODE: A131 Effective date:20220329 | |
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) | Free format text:JAPANESE INTERMEDIATE CODE: A01 Effective date:20221011 | |
| A61 | First payment of annual fees (during grant procedure) | Free format text:JAPANESE INTERMEDIATE CODE: A61 Effective date:20221024 | |
| R150 | Certificate of patent or registration of utility model | Ref document number:7176291 Country of ref document:JP Free format text:JAPANESE INTERMEDIATE CODE: R150 |