질문답변

• 목록
• 답변
• 글쓰기

멀티모달 객체 인식 (Audio-Visual Object Recognition)
멀티모달 AI는 단순히 여러 데이터를 나열하는 것이 아니라, 각 정보(모달리티) 간의 연관성을 학습하여 통합적인 이해를 얻는 것을 목표로 합니다.

1. 작동 원리
모달리티별 특징 추출:

영상 (Visual): 비전 트랜스포머(Vision Transformer)나 CNN(합성곱 신경망) 등을 사용하여 이미지 프레임에서 객체의 모양, 움직임, 위치 등의 특징을 추출합니다.

소리 (Audio): 소리 파형이나 스펙트로그램(주파수 분석 그래프)을 통해 음성, 환경 소음, 소리의 특성(음정, 톤 등)을 분석하고 특징을 추출합니다.

특징 융합 (Feature Fusion):

두 가지 모달리티에서 추출된 특징 벡터를 시간적/의미적으로 정렬하고 결합하는 단계입니다. 이 과정에서 크로스 모달 어텐션(Cross-modal Attention) 메커니즘을 사용하여 소리 정보가 영상 정보를 해석하는 데 영향을 주거나 그 반대가 되도록 합니다.

통합적 인식 및 추론:

융합된 정보를 바탕으로 AI는 객체의 정체, 행동, 상황 등을 최종적으로 인식합니다. 예를 들어, 시각적으로는 사람이 드럼을 치는 영상이 보이고, 청각적으로는 드럼 소리가 들린다면, AI는 "드럼 연주"라는 행위를 더 정확하게 인식합니다.