음향카메라는 어떻게 소리의 위치를 찍을까, beamforming부터 PSF까지

음향카메라는 어떻게 소리의 위치를 찍을까, beamforming부터 PSF까지

집 안 어딘가에서 고주파 소리가 난다.
귀는 아직 일하고 있는데, 위치는 전혀 못 잡는다.

음향카메라는 여러 개의 마이크로 소리를 동시에 듣고, 소리가 강하게 온 방향을 화면 위에 색으로 표시하는 장치다.

겉보기에는 열화상카메라처럼 보일 때가 많다. 다만 열 대신 소리를 본다. 정확히는 소리를 직접 보는 것이 아니라, 여러 마이크에 들어온 신호의 시간차와 위상차를 계산해서 “이쪽에서 난 소리일 가능성이 크다”를 그림으로 만든다.

소리는 하나인데 마이크마다 조금 다르게 도착한다

소리는 공기 중에서 대략 $343\text{m/s}$ 정도로 움직인다. 온도에 따라 조금 달라지지만, 실내에서 대충 계산할 때는 이 값을 많이 쓴다.

마이크가 하나뿐이면 그 마이크에 도착한 소리의 크기와 주파수만 알 수 있다. 하지만 마이크가 여러 개 있으면 이야기가 달라진다. 같은 소리라도 왼쪽 마이크에는 아주 조금 먼저 들어오고, 오른쪽 마이크에는 아주 조금 늦게 들어온다.

이 차이는 정말 작다. 마이크 사이 거리가 $0.1\text{m}$이고 소리가 한쪽에서 온다면, 최대 시간차는 대략 이렇게 잡힌다.

$$\Delta t=\frac{d}{c}$$

여기서 $d$는 마이크 사이 거리이고 단위는 $\text{m}$이다. $c$는 음속이고 단위는 $\text{m/s}$이다. $\Delta t$는 두 마이크에 소리가 도착하는 시간차이고 단위는 $\text{s}$다.

$d=0.1\text{m}$, $c=343\text{m/s}$라면 $\Delta t$는 약 $0.00029\text{s}$다. 밀리초로 바꾸면 약 $0.29\text{ms}$다.

사람 귀로는 그냥 “저쪽 같은데” 정도지만, 센서와 계산기는 이런 차이를 꽤 성실하게 물고 늘어진다.

beamforming은 특정 방향 소리만 잘 들리게 맞추는 계산이다

beamforming은 여러 마이크 신호에 지연 시간을 일부러 주고 더해서, 특정 방향에서 온 소리만 강하게 만드는 방법이다.

이름 그대로 빔을 만든다. 다만 손전등 빛 같은 물리적인 빔이 나가는 것은 아니다. 계산상으로 “이 방향에 귀를 기울인 것처럼” 신호를 합친다.

가장 기본적인 방식은 delay-and-sum beamforming이다. 말 그대로 지연시키고 더한다.

$$y(t,\theta )=\sum _{m=1}^M{w}_m{x}_m(t+{\tau }_m(\theta ))$$

여기서 $y(t,\theta )$는 $\theta$ 방향을 바라보도록 계산한 출력 신호다. $t$는 시간이고 단위는 $\text{s}$다. $M$은 마이크 개수다. $x_m$은 $m$번째 마이크에 들어온 신호다. ${\tau }_m(\theta )$는 $\theta$ 방향에서 소리가 왔다고 가정할 때 $m$번째 마이크에 적용해야 하는 시간 보정값이다. $w_m$은 마이크별 가중치다.

말로 풀면 이렇다.
어떤 방향에서 소리가 왔다고 가정한다. 그러면 각 마이크에 도착하는 시간이 조금씩 다를 것이다. 그 차이를 거꾸로 보정해서 파형을 맞춘 뒤 더한다. 진짜 그 방향에서 온 소리라면 파형이 잘 겹쳐져서 커진다. 엉뚱한 방향에서 온 소리라면 파형이 어긋나서 덜 커진다.

여기서 위상 이야기가 나온다. 주파수 $f$의 사인파 소리가 시간 $\Delta t$만큼 늦게 도착하면 위상차는 이렇게 된다.

$$\Delta \varphi =2\pi f\Delta t$$

$\Delta \varphi$는 위상차이고 단위는 $\text{rad}$다. $f$는 주파수이고 단위는 $\text{Hz}$다. $\Delta t$는 시간차이고 단위는 $\text{s}$다.

예를 들어 $10\text{kHz}$ 고주파에서 $\Delta t=0.000029\text{s}$만 되어도 위상차는 약 $1.82\text{rad}$가 된다. 꽤 큰 차이다. 그래서 고주파 소리는 작은 마이크 배열로도 방향 차이가 비교적 잘 드러난다.

반대로 저주파는 파장이 길다. $100\text{Hz}$ 소리의 파장은 약 $3.43\text{m}$다. 책상 위에 올려 둔 작은 음향카메라로는 저주파 위치를 날카롭게 잡기 어렵다. 소리가 너무 긴 자로 움직이는 셈이라, 작은 배열 안에서는 방향 차이가 희미하다.

해상도는 마이크 개수보다 배열 지름에 먼저 걸린다

음향카메라에서 “얼마나 잘 구분하느냐”는 마이크 개수만으로 결정되지 않는다. 배열의 전체 크기, 즉 aperture가 중요하다.

대략적인 각도 해상도는 파장 $\lambda$와 배열 지름 $D$의 비율로 감을 잡을 수 있다.

$${\theta }_{\text{res}}\approx \frac{\lambda }{D}$$

여기서 ${\theta }_{\text{res}}$는 구분 가능한 각도 폭이고 단위는 $\text{rad}$로 볼 수 있다. $\lambda$는 소리의 파장이고 단위는 $\text{m}$다. $D$는 마이크 배열의 대표 지름이고 단위는 $\text{m}$다.

파장은 다시 이렇게 계산한다.

$$\lambda =\frac{c}{f}$$

$c$는 음속, $f$는 주파수다.

$5\text{kHz}$ 소리라면 파장은 약 $0.069\text{m}$다. 배열 지름이 $0.5\text{m}$라면 $\lambda /D$는 약 $0.138\text{rad}$, 각도로는 약 $7.9^{\circ }$ 정도다.

물론 실제 장비에서는 마이크 배치, 알고리즘, 측정 거리, 반사음, 노이즈 때문에 이 숫자 그대로 나오지는 않는다. 그래도 큰 방향은 맞다. 높은 주파수일수록 잘 보이고, 배열이 클수록 잘 보인다.

그래프를 그리면 주파수가 올라갈수록 해상도 각도가 내려가는 모양이 된다. 좋은 그래프라면 x축은 주파수 $\text{Hz}$, y축은 각도 해상도 $\text{degree}$로 두면 된다. $D$를 여러 값으로 바꿔 그리면, 큰 배열일수록 곡선이 아래에 놓인다.

평면 음향카메라는 앞쪽을 보는 데 강하다

평면형 음향카메라는 마이크를 한 평면 위에 배치한 형태다. 카메라 렌즈 주변이나 보드 위에 마이크가 여러 개 박혀 있는 모습을 떠올리면 된다.

이 방식은 구조가 비교적 단순하고 만들기 쉽다. 앞쪽에 있는 물체, 예를 들어 자동차 엔진룸, 모터, 팬, 전자기기, 배관, 변압기 같은 대상을 볼 때 많이 쓴다.

다만 평면 배열은 기본적으로 앞쪽 방향을 보는 장치다. 뒤쪽이나 옆쪽까지 같은 품질로 보기는 어렵다. 소리가 배열 정면에서 들어온다는 가정이 잘 맞을수록 결과가 안정적이다.

격자 배열은 단순하지만 반복 무늬가 문제를 만든다

마이크를 바둑판처럼 일정 간격으로 놓으면 계산과 제작이 편하다. 위치도 설명하기 쉽다. $x$축과 $y$축 좌표가 깔끔하게 떨어진다.

하지만 규칙적인 배열은 규칙적인 부작용도 만든다. 특정 주파수 이상에서 grating lobe가 생기기 쉽다. 실제 소리 위치가 아닌데도 다른 위치에 강한 응답이 나타나는 현상이다.

간격 $d$가 너무 크면 공간 샘플링이 부족해진다. 시간 신호에서 샘플링 주파수가 낮으면 aliasing이 생기는 것처럼, 마이크 배열에서도 공간 aliasing이 생긴다.

가장 단순한 기준으로는 마이크 간격이 반파장보다 커지면 위험해진다.

$$d\le \frac{\lambda }{2}$$

$\lambda$는 파장이고 $d$는 마이크 간격이다. 이 조건은 모든 상황을 완벽하게 해결하는 법칙이라기보다, 규칙 격자 배열에서 위험선을 보는 기본 감각에 가깝다.

격자 배열은 좁은 주파수 범위, 충분히 많은 마이크, 계산 목적이 분명한 실험에서는 좋다. 하지만 넓은 주파수 범위에서 “그럴듯한 가짜 위치”를 줄이려면 다른 배열이 더 유리할 때가 많다.

나선형 배열은 가짜 봉우리를 흩뜨리려고 쓴다

자동차 바퀴처럼 중심에서 바깥으로 팔이 뻗거나, 마이크가 소용돌이 모양으로 배치된 음향카메라가 있다. 이런 형태를 spiral array 또는 multi-arm spiral array라고 부른다.

나선형 배열의 핵심은 반복 간격을 줄이는 것이다. 격자처럼 같은 간격이 계속 반복되면 특정 방향에 부엽이 강하게 생긴다. 나선형이나 비균일 배열은 마이크 사이 거리와 방향 조합을 다양하게 만들어서 부엽을 여러 곳으로 흩뜨린다.

여기서 부엽은 main lobe 옆에 생기는 원치 않는 응답이다. main lobe는 진짜 소리 위치 근처의 큰 봉우리다. 부엽이 커지면 화면에서 가짜 소리 위치가 진짜처럼 보인다.

그래서 나선형 배열은 풍동 시험, 차량 소음, 기계 소음처럼 넓은 면에서 여러 소음원이 섞인 경우에 자주 등장한다. 마이크 개수가 제한되어 있을 때 비교적 좋은 타협을 만들기 쉽다.

물론 만능은 아니다. 나선형도 배열 지름이 작으면 저주파 해상도는 좋아지기 어렵다. 배치가 예뻐 보여도 물리 법칙은 그렇게 쉽게 감동하지 않는다.

X자 배열은 적은 마이크로 방향성을 확보하려는 선택이다

X자 배열은 마이크를 두 개의 대각선 팔 위에 배치한 형태다. 십자 배열, cross array 계열로 볼 수 있다.

이 방식은 마이크를 평면 전체에 빽빽하게 깔지 않고도 두 방향의 긴 기준선을 확보할 수 있다. 기준선이 길면 해당 방향의 위상차를 더 잘 잡을 수 있으므로 각도 해상도에 도움이 된다.

대신 빈 공간이 많다. 모든 방향을 균일하게 샘플링하지 못하므로, 특정 방향에서 부엽이나 해상도 차이가 커질 수 있다. X자 배열은 장비를 가볍게 만들거나, 특정 방향 성능을 우선하거나, 설치 공간이 제한될 때 의미가 있다.

격자 배열이 정직한 대신 고집이 세다면, X자 배열은 필요한 축을 골라 잡는 쪽이다. 공학적으로는 늘 이런 식이다. 다 잘하는 구조보다 무엇을 포기했는지가 먼저 보인다.

원형과 휠 형태는 방향 균일성을 노린다

원형 배열이나 휠 형태 배열은 중심을 기준으로 마이크를 둘레 또는 여러 반지름 방향에 배치한다. 음향카메라 제품 사진에서 가장 익숙하게 보이는 모양 중 하나다.

원형 배열은 특정 한 축에만 강하게 치우치지 않고, 방위각 방향으로 비교적 균일한 응답을 만들기 좋다. 여러 방향에서 들어오는 소리를 한 화면에서 다루는 데 유리하다.

휠 형태는 원형의 균일성과 팔 구조의 긴 aperture를 함께 쓰려는 배치다. 바깥쪽 마이크가 배열 지름을 키워 해상도에 도움을 주고, 여러 팔이 방향별 정보를 나눠 가진다.

다만 같은 반지름이나 같은 각도 간격이 과하게 반복되면 역시 특정 부엽 패턴이 생길 수 있다. 그래서 실제 장비에서는 완벽한 규칙 원형보다 조금씩 위치를 비틀거나, 여러 반지름을 섞거나, 나선형 요소를 넣는 식으로 배열을 최적화한다.

Point spread function은 점 하나가 얼마나 번져 보이는지 보여준다

음향카메라 화면에서 한 점 소음원이 정말 한 점으로만 찍히면 좋겠지만, 실제로는 그렇지 않다. 한 지점에서만 소리가 나도 결과 화면에는 어느 정도 퍼진 덩어리로 보인다. 주변에 작은 가짜 봉우리도 생긴다.

이때 점 소음원이 배열과 beamforming을 거쳐 어떻게 보이는지를 Point spread function, 줄여서 PSF라고 한다.

광학 카메라로 치면 아주 작은 점광원이 렌즈를 지나며 화면에 번지는 모양과 비슷하다. 음향카메라에서는 이 번짐이 마이크 배열 구조, 주파수, 거리, 스캔 평면, 알고리즘에 따라 달라진다.

간단히 쓰면 beamforming 결과 $B(\mathbf{x})$는 실제 소음원 분포 $Q(\mathbf{x})$와 PSF가 섞인 형태로 볼 수 있다.

$$B(\mathbf{x})\approx Q(\mathbf{x})\ast H(\mathbf{x})$$

여기서 $B(\mathbf{x})$는 음향카메라가 만든 beam map이다. $\mathbf{x}$는 위치 좌표다. $Q(\mathbf{x})$는 실제 소음원 분포다. $H(\mathbf{x})$는 PSF다. $\ast$는 convolution, 즉 한 분포가 다른 분포에 의해 번져 보이는 연산이다.

이 식의 핵심은 간단하다. 화면에 보이는 소리 지도는 실제 소리 지도가 아니다. 실제 소리 지도가 배열의 번짐 특성을 통과한 결과다.

그래서 beamforming 화면에서 빨간색 덩어리가 넓다고 해서 실제 소음원이 그만큼 넓다고 바로 말하면 안 된다. 특히 저주파에서는 PSF가 넓어지고, 가까운 두 소음원이 하나로 붙어 보일 수 있다.

Deconvolution은 번진 지도를 다시 날카롭게 만들려는 시도다

Deconvolution은 PSF 때문에 번진 beam map에서 실제 소음원 분포를 추정하려는 계산이다.

앞의 식을 다시 보면, 우리가 알고 싶은 것은 $Q(\mathbf{x})$다. 그런데 측정으로 얻은 것은 $B(\mathbf{x})$이고, 배열 특성으로 추정할 수 있는 것은 $H(\mathbf{x})$다. 그러면 대충 이런 역문제를 풀고 싶은 마음이 생긴다.

$$Q(\mathbf{x})\approx B(\mathbf{x})\oslash H(\mathbf{x})$$

여기서 $\oslash$는 실제 나눗셈 기호라기보다 “PSF의 영향을 제거하려는 역연산” 정도로 보면 된다. 현실의 Deconvolution은 단순히 나누면 끝나는 문제가 아니다. 노이즈가 있고, 반사음이 있고, PSF가 위치마다 달라질 수 있고, 소음원이 여러 개일 수 있다.

대표적인 계열로 DAMAS나 CLEAN-SC 같은 방법이 있다. DAMAS는 여러 후보 위치의 PSF가 합쳐져 현재 beam map이 만들어졌다고 보고 소음원 세기를 반복적으로 추정한다. CLEAN-SC는 강한 소음원을 하나씩 찾아 그 기여분을 제거하면서 나머지 지도를 갱신하는 방식으로 이해하면 쉽다.

Deconvolution을 쓰면 그림이 더 선명해질 수 있다. 두 소음원이 분리되어 보이기도 하고, 부엽이 줄어들기도 한다. 하지만 계산 결과가 항상 진실이라는 뜻은 아니다. 입력 데이터 품질, 마이크 보정, 배경소음, 반사 조건, 주파수 선택이 나쁘면 선명한 오답도 만들 수 있다.

공학에서 제일 조심해야 하는 그림이 바로 이런 그림이다. 선명하면 왠지 믿음이 가는데, 선명함과 정확도는 같은 단어가 아니다.

구형 음향카메라는 한쪽 면만 보지 않는다

구형 음향카메라는 마이크를 구 표면에 배치한 형태다. 작은 공처럼 생긴 장비 표면에 마이크가 여러 방향으로 박혀 있다.

평면 배열이 주로 앞쪽을 본다면, 구형 배열은 3차원 방향 전체를 다루기 좋다. 특정 정면이 없는 구조라서 방위각과 고도각을 함께 추정할 수 있다. 실내 음장 분석, 3D 소스 위치 추정, 차량 실내 소음 분석처럼 소리가 어느 방향에서 올지 미리 정하기 어려운 상황에서 유용하다.

구형 배열에서는 spherical harmonics beamforming이 자주 나온다. 소리장을 구면조화함수라는 기준 함수들의 합으로 분해해서 방향별 성분을 계산하는 방식이다.

아주 쉽게 말하면, 평면 배열이 “앞쪽 화면의 어느 점이 시끄러운가”를 보는 쪽이라면 구형 배열은 “공 주변 어느 방향에서 소리가 오는가”를 보는 쪽에 가깝다.

물론 구형이라고 해서 모든 문제가 사라지지는 않는다. 구의 지름, 마이크 개수, 주파수 범위, 구 표면 산란, 근거리와 원거리 모델 차이가 성능을 좌우한다. 특히 저주파에서는 구형 배열도 해상도 한계에서 자유롭지 않다.

가까운 소리와 먼 소리는 계산 모델부터 달라진다

beamforming 설명에서는 소리가 평면파처럼 들어온다고 말할 때가 많다. 이건 소음원이 충분히 멀리 있을 때 잘 맞는다. 멀리 있는 파도는 작은 구간에서 거의 평평하게 보이는 것과 비슷하다.

하지만 소음원이 배열 가까이에 있으면 파면이 구면에 가깝다. 이때는 방향만으로 부족하고 거리 정보도 같이 봐야 한다. 가까운 물체를 측정하는 음향카메라에서는 스캔 평면을 어느 거리에 둘지 정하는 일이 중요하다.

예를 들어 자동차 엔진룸을 볼 때는 소음원이 카메라에서 $1\text{m}$ 안팎에 있을 수 있다. 이 경우 단순한 원거리 방향 추정보다, 후보 위치마다 각 마이크까지의 거리를 직접 계산하는 near-field beamforming이 더 맞다.

각 마이크까지의 거리는 이렇게 쓸 수 있다.

$$r_m=\Vert \mathbf{x}-{\mathbf{x}}_m\Vert$$

여기서 $r_m$은 후보 소음원 위치 $\mathbf{x}$에서 $m$번째 마이크 위치 ${\mathbf{x}}_m$까지의 거리다. 단위는 $\text{m}$다. 이 거리를 음속 $c$로 나누면 해당 마이크까지의 전파 시간이 된다.

$${\tau }_m=\frac{r_m}{c}$$

이 값으로 각 마이크 신호의 지연을 맞추면 특정 공간 위치에 초점을 맞출 수 있다. 그래서 근거리 음향카메라는 단순히 방향만 보는 장비라기보다, 지정한 거리의 평면이나 3차원 공간을 훑는 장비에 가깝다.

자동차 안에 두면 꽤 쓸모 있을 것처럼 생겼다

음향카메라는 자동차 소음 분석에 실제로 많이 쓰인다. 엔진룸, 타이어, 공조장치, 전기모터, 인버터, 차체 틈새에서 나는 바람소리 같은 것을 찾을 때 유용하다.

차 안에서도 쓸 수 있다. 대시보드 안쪽 떨림, 송풍구 소음, 시트 주변 잡음, 실내 부품 마찰음처럼 귀로는 애매한 소리를 위치로 좁힐 수 있다. 물론 반사음이 많은 실내 공간이라 결과 해석은 더 조심해야 한다. 내 차에서 누가 웨하스를 먹는지 찾는 용도로도 상상은 가능하다.