[기업 프로젝트] 수어번역 화상플렛폼

광주 인공지능사관학교 - 수어번역 화상플렛폼

광주기업 (주)라젠과 연계를 하여 기업 프로젝트를 약 1달을 넘는기간동안 실행하였다.

기간: 2020-10-12 ~ 2020-11-20

ppt

hangglider_final.pdf

녹화영상

최종적으로 STTSL(Speech To Text Sign Languages)를 구현을 했다.

[과정]

1. 데이터수집 - 한국수어사전 크롤링, 직접촬영

2. 모델 - 한국어 전처리(komoran), 수어형식에 맞는 형태소변환, 영상과 mapping, 단어간 어휘 유사도비교

3. django연동 - stt api 사용(일부코드 ajax를 사용하여 수정)

4. 영상의 애니메이션화 - 애니메이션을 생성했지만 적용은 아직 미흡한 상태

[프로세스]

이 프로젝트에서 나는 db부분과 자연어 모델쪽에 조금 더 역할의 비중을 두고했다.

자연어 모델부분이 가장 까다로웠던 것 같다.

사람마다 어느정도 형태소 분석에도 차이가 있었고, 동음이의어같은 경우 db에서 데이터를 가져왔을때 알맞은 데이터를 고르는 것이 힘들었다.

단어간 유사도 api를 사용해 앞뒤의 '명사'를 사용해서 비교했지만 낮은 정확도를 보여서 아쉬웠다.

그래도 한 프로젝트에서 stt와 tsl을 둘 다 구현을 해내서 좋았다.

이를 쌍방향 의사소통이 가능한 웹 RTC를 접목시킨다면 한층 더 발전된 프로젝트가 될 거라 생각한다.

' ' '

2달정도 될거라 생각했던 기업플젝이 1달정도로 변경되어 진행됬다.

아쉽긴 했지만 좋은 기업을 만나서 유연하게 진행할 수 있었다.

전일빌딩도 제공해줬는데 멀기도 해서 몇번 안갔던 것 같다ㅋㅋ

기업과 같이 플젝을 한다는 경험이 되게 값지다고 생각한다.

하려고 했던 목표를 이루었고 좋은 팀원들과 끝까지 올 수 있던것에 의의를 둔다.ㅎㅎ

' ' '