Cochl이 들려주는 AUDIO & AI

저는 서울대학교 음악오디오랩에서 박사 과정을 밟던 중, 오디오 분석 기술이 급격히 변화하는 것을 느꼈습니다. 특히 사운드 데이터를 기반으로 한 딥러닝의 발전 가능성을 발견하면서, 기존의 오디오 분석 기술의 한계를 넘어서고자 창업을 결심했습니다. 같이 연구하던 동료들을 설득해 코클을 창업하게 되었습니다.

Q2. 코클의 머신 리스닝 기술은 기존의 소리 분석과 어떻게 다른가요?

소리 분석은 아주 전에 없던 새로운 것은 아닙니다. 다만 전통적인 음향 분석은 특정 주파수 대역에서의 이상 징후를 감지하거나 갑자기 데시벨이 커지는 구간을 연구하는 규칙 기반 접근 방식을 사용했습니다. 하지만 음향 환경은 매우 복잡합니다. 기기의 종류, 잡음, 배경 소음 등 여러 변수에 따라 기존 기술은 한계에 부딪히곤 했습니다. 코클은 딥러닝과 방대한 실제 오디오 데이터를 활용하여, 복잡한 환경에서도 신뢰할 수 있는 결과를 제공하는 모델을 개발해 기존보다 더 높은 정확도의 결과를 제공한다는 차별점을 가지고 있습니다.

Q3. 현재 가장 많은 관심을 보이는 산업군은 어디인가요?

Fireside Chat at COMEUP 2024

‘소리 인식 기술’이라고 하면 어떤 생각이 드시나요? 아직은 낯선 단어인 것 같아요. 그렇다면 ‘하이 빅스비!’, ‘헤이 구글!’, ‘시리야~’같은 음성 명령어는요? 소리 인식 기술은 낯설지만 우리의 삶과 크게 멀리 있지 않고, 위에 말한것 처럼 여러 디지털 기기와 함께 유용하게 사용되고 있습니다. 가령 저는 오늘 하루만해도 ‘하이 빅스비!’라는 말로 빅스비를 소환해 알람을 끄고, ‘헤이 구글’이라는 말로 구글홈미니를 호출해 음악을 들었어요. 오늘의 이야기를 하기에 앞서 여러분이 조금 더 소리 인식 기술과 친해질 수 있도록 짧게 설명해드릴게요.

•

Speaker Identification (화자 식별)

화자 식별이란 여러 사람 중에서 특정한 화자를 찾아내는 기술입니다. 어떤 음성 데이터가 주어졌을 때, 이 음성이 누구의 것인지, 누가 말하고 있는지를 여러 등록된 화자 중에서 알아내는 것입니다. 예를 들어 A/B/C/D가 대화를 나누고 있을 때 A가 말하고 있는 건지, B가 말하고 있는 건지 알아낼 수 있죠.

•

Speaker Verification (화자 검증)

화자 검증이란 등록된 화자가 본인이 맞는지 아닌지 확인하는 기술입니다. “지금 말하는 사람이 A가 맞나?”라고 진짜 본인이 맞는지를 인증하는 과정이라고 볼 수 있습니다. 위에서 말했던 제 목소리로 빅스비나 구글 등의 음성 비서를 활용하는 데는 Speaker verification 기술이 적용되었다고 볼 수 있습니다. “이 목소리가 우리 주인님의 목소리야!”를 확인해, 주인인 경우만 반응하는 것이죠. 우리가 처음 사용자 목소리를 등록하면서, 음성 비서들이 우리의 음성 특징을 학습하기 때문에 다른 사람들의 무분별한 호출을 거절할 수 있습니다.

이처럼 매우 활용도가 높은 화자 인식 기술이 우리 실생활에 어떻게 사용될 수 있을까요?

Case 1: 팀 미팅 기록하기

모두가 잘 알고 있겠지만, 팀 미팅에서 참석자들이 어떤 내용을 말했는지를 정리해서 앞으로 어떤 일들을 해야할지 액션 아이템을 정하고, 타임라인을 설정하는 것은 중요합니다. 하지만 이는 한 사람이 모두 맡아서 기록하기에는 방대한 양일 수도 있고, 혹은 잘못 작성된 부분이 있을 수도 있습니다. 이 때 화자 인식 기술을 활용한다면 미팅 참석자별 발언을 정확히 정리해 필요한 정보를 쉽게 확인할 수 있습니다.

실생활에서 화자 인식 기술 사용하기

안녕하세요 지난 아티클에서는 Cochl이 어떻게 사용성 평가를 하게 되었는지 그 계기와 일련의 과정들을 소개했습니다. 이번 아티클에서는 실질적으로 우리가 각 문제를 어떻게 깊게 파헤치고, 해결했는지 그 과정을 공유해 드리려고 합니다.

이전 사용성 평가에서 진행한 설문조사에서 “API 연동 시 가장 중요하게 생각하는 점”을 물었을 때 ‘상세하게 작성된 개발 문서’가 58.8%로 1위를 차지했고 뒤를 이어 손쉬운 API 연동, 활성화된 사용자 커뮤니티가 뒤따랐습니다.

위 설문 조사의 결과처럼 개발 문서가 잘 작성되어 있다면 별다른 문제 없이, 마주할 수 있는 대부분의 이슈를 커버할 수 있을 것이라고 생각하며 Cochl의 기술 문서에서 부족한 부분을 찾고 이를 보완하는 데 초점을 맞추기로 했습니다.

가장 먼저 지난 시간 살짝 공개드렸던 피드백을 바탕으로 우리가 마주한 문제를 크게 2가지 파트로 나눴습니다.

- API 설치 에러

사람들이 설치 과정에서 마주했던 문제들은 맥북 버전 호환의 문제를 제외하고는 해결이 가능한 문제들이었습니다. 하지만 설치 과정의 문제 난이도와 별개로 API가 매끄럽게 설치가 되지 않는다면 전체적인 사용자 경험은 부정적으로 바뀔 수 있습니다. 문제가 발생하지 않는 것이 가장 최상의 시나리오이지만 만약 설치 과정에서 장애가 생긴다면 사람들이 손쉽게 대처할 수 있도록 안내돼야 합니다. 물론 한정된 리소스 상 개인 별로 다른 모든 환경 설정을 맞출 수는 없으나, 자주 사람들이 궁금해하는 부분이나 공통된 환경설정 하의 에러 메시지는 충분히 선 대응할 수 있는 영역입니다.

그래서 Cochl은 단순한 API 설치뿐만 아니라, Cochl.Sense 사용과 관련하여 사람들이 궁금해하거나, 도움이 필요한 영역까지 넓게 산정하여 FAQ 페이지를 신설하는 것을 해결 방안으로 선택했습니다.

오만과 편견: 우리 기술 문서는 다를거야 (Part 2)

어렸을 적 ‘크레이지 아케이드'라는 게임을 집에서 하고 싶어 다운 받아본 기억이 있습니다. 게임을 다운로드 하기 위해서는 우리 집 컴퓨터가 다운 받을 수 있는 환경이 되는지 안 되는지를 확인해야 했는데요, 이게 어쩌면 제 일생 가장 처음 컴퓨터와 관련된 기술 문서를 읽어본 경험이라고 말할 수 있겠네요.

여러분도 비슷하게 일생에 한 번쯤은 어떤 프로그램을 다운 받기 위해 누군가의 블로그를 발견해 잘 정리된 순서를 따라 하거나 그 프로그램의 홈페이지에 들어가 관련된 정보를 찾아 헤매본 적이 있을 것입니다. 슬프게도 관련된 정보를 도저히 찾을 수 없어 몇 시간째 구글링을 할 수도 있고요. 그렇기에 헛되이 시간을 보내지 않기 위해서는 잘 정리된 문서가 꼭 필요합니다.

놀랍게도 최근 B2B 비즈니스 분야에서도 사용자(고객사)와 원활하게 의사소통하기 위해서 우리가 흔히 말하는 ‘기술 문서 (혹은 개발 문서)'의 중요성이 대두되고 있습니다. 그렇다면 질문을 하나 던져볼게요.

“기술 문서는 누구의 관점에서 작성돼야 할까요?”

Cochl도 세상의 모든 소리를 이해할 수 있는 Sound AI인 Cochl.Sense를 개발하고 있고, 사용자들은 Cloud API 혹은 Edge SDK 형태로 Cochl.Sense를 사용하고 있습니다. 사용자들이 편리하게 우리의 기술을 이용할 수 있도록 도움을 드리는 차원에서 Cochl도 기술 문서가 작성된 개발자 센터를 운영하고 있습니다. ‘좋아, Cloud API와 Edge SDK에 대한 설명도 있고, 릴리즈 노트도 업데이트 잘하고 있으니 뭐 이 정도면 사람들이 알아서 잘 쓰겠지? 이 정도면 충분할 거야.’라는 우리의 오만과 편견을 최근에야 마주하게 되었습니다.

이번 시리즈는 Cochl이 어떻게 이 문제를 포착했고, 어떠한 방식으로 풀어나가는지에 대한 그 여정을 담고 있습니다. 첫 번째 아티클에서는 우리의 오만과 편견을 직면하게 된 사용성 평가 세팅 과정을 소개합니다.

오만과 편견: 우리 기술 문서는 다를 거야

우리 모두는 그 형태와 기술에 상관없이 하나의 프로덕트(서비스)를 만드는 사람입니다. 프로덕트는 자기 자신이 될 수도 있고, 많은 사람들이 더 편하게 연락을 주고받을 수 있는 메신저가 될 수도 있고, 혹은 세상의 모든 소리를 이해할 수 있는 Sound AI가 될 수도 있습니다.

Cochl에서는 매 분기 팀 회고와 매 반기 전사 회고를 진행하고 있는데요, 회고의 목적은 다음과 같습니다.

•

우리의 과거 경험을 되돌아보고, 잘하고 있는 것이 있다면 그것을 유지하고 발전시켜 나가기 위해

•

더 잘할 수 있는 부분이 있는지 확인해 보기 위해

•

우리의 성장을 막는 부분이 있다면 해결하기 위해

이번 상반기 회고에서 가장 많은 팀원의 공감을 받았던 질문은 다음과 같습니다.

Cochl.Sense라는 프로덕트를 더 잘 만들고 싶어요. 어떻게 하면 우리의 프로덕트를 더 깊이 이해하고, 사용자로서 경험해 볼 수 있을까요?

우리의 프로덕트를 더 잘 알고, 사랑하기 위해 Cochl은 두 가지 형태의 새로운 시도를 해보았습니다.

당신은 당신의 프로덕트를 사랑하십니까?

이 글을 읽고 있는 당신은 얼마나 자주 부모님과 대화를 나누시나요? 만약 같이 살고 있다면 하루에도 몇 번씩 부모님과 말할 기회가 있겠지만, 저와 같이 부모님과 떨어져 사는 사람들은 가끔 통화하거나 얼굴을 뵈러 가는 것 이외에는 딱히 기회가 없을 거예요.

2022년 발표된 한국사회보건연구원의 연구 결과에 따르면 전체 응답자 중 부모와의 접촉 빈도가 중간인 이들의 경우 왕래는 1년 12회, 전화 연락은 52회로, 한 달에 한 번 부모님을 만나고 일주일에 한 번씩 통화합니다. 저도 생각해보니 비슷한 빈도로 연락을 드리고 있네요.

그러다 보니 짧은 시간 내에 부모님의 이번 한 주 기분은 어떤지, 내가 알아야 할 무슨 일이 있는지를 파악해야 합니다. 무슨 일 있냐는 질문에 대부분 부모님은 ‘우린 괜찮아.’ 혹은 ‘여긴 별일 없다.’ 등의 메시지로 축약하는 경우가 많아 혹여나 제가 걱정할까 봐 부모님이 미처 말하지 못한 부분이 있는지 없는지 눈치껏 살펴봐야 합니다. 부모님의 정확한 마음을 알고 싶으신가요? 그렇다면 Sound AI 기술이 도움 드릴게요!

1. 텍스트 변환을 통한 파악 (Speech-to-text)

첫 번째로 부모님과의 전화 내용을 텍스트로 변환(STT, Speech-to-text)하여, 변환된 텍스트 내에서 사용되는 단어의 극성 (긍정적 / 부정적/ 중립적)에 초점을 맞추고, 어느 정도의 빈도로 사용되었는지 정량화하여 발화자의 감성 상태에 대한 파악을 할 수 있습니다. 사용하는 단어의 빈도와 척도에 따라 발화자가 어떤 특정한 감정을 느끼는지나 말하고자 하는 의도, 또는 현재 처한 상황의 긴급도 등을 파악할 수 있습니다.

(이미지 출처: Pixabay)

전화기 너머의 부모님께 📞💬

어렸을 때 자주 하던 장난이 있는데요, 그건 바로 부모님이 집으로 전화했을 때 (제가 어릴 때까진 각 가정에 전화기가 있었거든요) 동생인 척 받고 “누나 바꿔라.” 라고 말씀하시면 “나 동생 아닌데~ 또 속았네!”라고 말하는 것이었습니다. 나중에 대학생이 되어서도 친구의 남자친구에게 전화가 왔을 때 친구인 척 받고 우리끼리 웃은 적도 있습니다. 모두 한 번쯤은 이런 장난 쳐보셨죠?

‘이 목소리는 도대체 누구야? 내가 생각한 사람이 맞는 건가?’ 하고 속아본 적이 있다면, 저와 함께 Sound AI 기술 중 하나인 ‘화자 인식’에 대해 알아볼게요. 화자 인식 기술이 여러분의 궁금증을 어떻게 해결해 줄 수 있는지 보시죠!

음성 인식과 화자 인식

<알리 바바와 40인의 도둑>이라는 이야기에서 알리바바는 도둑들의 보물이 담긴 동굴에 들어갈 수 있는 비밀 암호를 알고 있습니다. 바로 ‘열려라 참깨!’라는 주문인데요, 이 주문을 외쳐야만 동굴에 들어갈 수 있습니다.

무려 스폰지밥에서도 뚱이가 말했죠! <이미지 출처: Reddit>

혹시 해리포터를 보셨다면, 호그와트 마법 지도를 기억하시나요?

<이미지 출처: Pinterest>

누가 기침 소리를 내었는가 - 음성 인식부터 화자 인식까지

(이미지 출처: Lenovo 홈페이지)

Tech Scene을 선도하는 기업 중 하나인 Lenovo에서 개최한 Lenovo Tech Day’24, It’s All About Smarter AI 행사에 Cochl이 함께 발표하게 되었습니다. 행사명에서 알 수 있듯 이번 Lenovo TechDay는 ‘AI’를 주제로 다양한 이야기들이 펼쳐졌습니다. ‘AI for Sound: 머신 리스닝 기술로 만드는 더 안전한 스마트시티’를 주제로 Cochl의 사업 개발 매니저인 수영 님도 세션을 진행하셨는데요, 수영 님의 발표를 통해 빠르게 발전하고 있는 머신 리스닝 기술이 스마트시티의 어떤 부분에 적용 가능한지 또한 우리의 일상생활을 얼마나 효율적으로 더 안전하게 할 수 있는지 알아보겠습니다.

‘AI’라는 단어는 이제 우리 삶에서 떼어놓을 수 없을 만큼 가까워졌습니다. Generative AI, Large Language Model(LLM), Vision AI 등의 용어 또한 대다수 사람에게 이제 어색하지 않습니다만, ‘AI for Sound’는 어떨까요?

왠지 Sound와 AI라는 단어가 합쳐지니 우리의 스마트폰에서 쉽게 만날 수 있는 시리나 빅스비가 생각나시나요? 혹은 요즈음 유행하고 있는 유명 가수들의 목소리를 활용한 AI 커버? 넓게 본다면 말씀하신 모든 것들이 해당합니다. 저희 Cochl은 그중 머신 리스닝이라는 기술을 중점적으로 다루고 있습니다. 머신 리스닝이란 일상 속 도시 소음, 음악, 기계 소음부터 사람 목소리까지, 다양한 소리를 인식하고 분석하는 AI 분야로 신호처리와 머신러닝을 이용해 소리에서 유용한 정보를 얻어내는 기술입니다.

AI for Sound: 머신 리스닝 기술로 만드는 더 안전한 스마트시티