AI 기계 학습을 위한 오디오 모델이 속지 않도록 하는 방법을 모색하다


AI 모델을 속이도록 설계된 오디오 교란을 사람이 감지할 수 있는지 여부를 감지하는 데 

사용되는 메트릭(Metric)의 신뢰성이 낮다는 경고가 나왔습니다. 

스페인 Basque Country의 UPV/EHU-University의 연구원들은 

오디오 신호의 의도적인 섭동을 감지하는 데 사용되는 왜곡 측정항목이 

인간의 인식을 측정하는 신뢰할 수 있는 방법이 아니라는 것을 보여주고 

일련의 개선 사항을 제안했습니다. 

감지할 수 없도록 설계된 이러한 섭동은 인공 지능에서 잘못된 예측을 일으키는 데 

사용될 수 있습니다. 

이러한 공격을 생성하는 방법이 얼마나 효과적인지 평가하기 위해 

왜곡 메트릭이 적용되었습니다.

인공 지능(AI)은 점점 더 큰 데이터 세트를 사용하여 훈련된 기계 학습 모델을 

기반으로 합니다. 

마찬가지로 인간과 컴퓨터 상호 작용은 주로 음성 인식 작업에서 기계 학습 모델의 

놀라운 성능으로 인해 음성 통신에 점점 더 의존하고 있습니다.


“그러나 이런 모델은 적대적인 예, 달리 말하면 인간이 변화를 모르고 

잘못된 예측을 생성하기 위해 의도적으로 교란된 입력에 속아 넘어갈 수 있습니다. 

오디오를 분류하는 모델(예: 음성 명령어 인식)이 있어 이를 속이려고 하면 

모델이 정상적으로 동작하지 않도록 악의적으로 방해하는 섭동이 발생합니다. 

신호가 적절하게 들리면 예를 들어 신호가 예인지 아닌지를 알 수 있습니다. 

적대적 섭동을 가하면 여전히 네 소리가 들리지만 모델은 왼쪽이나 

다른 실행하고 싶지 않은 명령어가 아니라 아니오 

또는 오른쪽으로 구부러지는 소리가 들리기 시작한다” 라고 

UPV/EHU의 컴퓨터 과학 및 인공지능 부문 연구자인 존 바딜로 씨가 설명했습니다.


존 바딜로는 "이러한 기술을 실제 세계 또는 매우 민감한 문제에 적용하는 수준에서 

매우 심각한 의미를 가질 수 있습니다"라고 덧붙였습니다. 

왜 이런 일이 발생하는지 불분명합니다. 

그렇게 지능적으로 행동하는 모델이 약간 변경된 신호를 수신하더라도 

갑자기 제대로 작동하지 않는 이유는 무엇일까요?


감지할 수 없는 섭동을 사용하여 모델을 기만


정보학부의 연구원은 "모델이나 프로그램에 취약점이 있는지 아는 것이 중요하다" 라고 덧붙였습니다. 

"첫째, 우리는 이러한 취약점을 조사하여 존재하는지 확인합니다. 

그것이 결국 취약점을 수정하는 첫 번째 단계이기 때문입니다." 라고 이야기 했고, 

많은 연구가 적대적 섭동을 생성하기 위한 새로운 기술의 개발에 초점을 맞추었지만 

이러한 섭동이 인간에 의해 감지될 수 있는지 여부와 이러한 측면이 어떤 것인지를 

결정하는 측면에 대해서는 덜 관심을 기울였습니다. 

제안된 적대적 교란 전략은 교란을 인간이 감지할 수 없는 경우에만 

위협이 되기 때문에 이 문제는 중요합니다.


이 연구는 오디오 적대적 사례에 대한 문헌에서 제안된 왜곡 메트릭이 섭동에 대한 

인간의 인식을 안정적으로 측정할 수 있는 정도를 조사했습니다. 

36명이 다양한 요인에 따라 적대적 사례 또는 오디오 섭동을 평가한 실험에서 

연구원들은 "문헌에서 관례적으로 사용되는 메트릭이 완전히 견고하거나 

신뢰할 수 없습니다. 즉, 적절하게 나타내지 않습니다. 

인간의 청각적 인식, 그들은 섭동을 감지할 수 없다고 말할 수 있지만 인간과 함께 평가하면 

감지할 수 있는 것으로 판명됩니다. 

따라서 우리는 이러한 메트릭의 신뢰성 부족으로 인해 경고를 발행하고자 합니다. 

이러한 오디오 공격에 대한 연구가 잘 수행되지 않고 있다" 라고 연구원은 말했다.


또한 연구원들은 감지 가능성을 평가할 때 관련된 오디오의 특정 속성 또는 요소,

예를 들어 섭동이 가장 감지 가능한 부분의 결과인 보다 강력한 평가 방법을 제안했습니다.

그럼에도 불구하고 이 문제는 청각적 지각을 모델링할 수 있는 수학적 메트릭을 

제시하는 것이 매우 어렵기 때문에 여전히 열려 있습니다. 

오디오 신호 유형에 따라 다른 메트릭이 필요하거나 다른 요소를 고려해야 할 것입니다.

“대표적인 일반적인 오디오 메트릭을 달성하는 것은 복잡한 작업입니다."라고 

존 바딜로 교수는 결론지었습니다.

기사원문제공:파워볼사이트 공식 블로그