Hermes_Project : 프로젝트 개발 일지 (6월~11월 / 회의록)

제 8차 프로젝트 회의

- 회의자 : 팀원 5명 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 6월 5일

- 회의 개요 : 팀원의 건의사항 정리 및 팀장 부탁 사항 전파

 

- 회의 내용

ㆍ팀원 건의 사항

  1. 중요사항은 카톡에 나눠서 보내지 않고 한 번에 정리해서 공지할 것

  2. 의견 수렴에 더 적극적이었으면 함

  3. 기각된 의견에 대해서 이유를 밝혔으면 함

  4. 약속시간에 대해서 시간을 잘 준수 할 것 

 

ㆍ팀장 부탁 사항

  1. 아이디어와 의견이 있다면 프로젝트에 적용할 수 있는 방법까지 알아봐줄 것

  2. 프로젝트에 대해 이해가 안되는 사항에 대해서는 꼭 물어볼 것

  3. 회의때 본인의 파트에 대한 얘기가 아니더라도 집중하고 경청해줄 것

  4. 회의에 관한 모든 사항은 본인의 방법대로 정리해서 본인의 머리로 꼭 이해할 것

  5. 책임감을 가지고 프로젝트에 임할 것

 

 

 

 

 

 

 

제 9차 프로젝트 회의

- 회의자 : 팀원 5명 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 7월 6일

- 회의 개요 : 애플리케이션 아키텍쳐 작성 및 확정된 아키텍쳐 설계

- 회의 전 변경사항 

: 프로젝트 일시중단 (6월 5일 ~ 6월 30일)

: 애플리케이션 개발 프레임워크 변경 (플러터 → 리액트 네이티브)

 

 

 

- 회의 내용

ㆍ애플리케이션 레이아웃 작성을 위한 토의 (애플리케이션 UI 명세서 작성)

 

※ 초기 설치 후 화면

  1. 로고화면

  2. 언어선택 (한글, 지문자)

  3. 권한취득 (블루투스, 와이파이, 저장소 등 필요한 권한 취득) 

  4. 허브, 센서, 웨어러블 검색 (블루투스)

  4-1. 검색된 기기목록 확인 → 기기선택 (애플리케이션에서 선택된 센서 LED 점등) → 연결

        (스마트폰에 연결된 와이파이의 SSID와 비밀번호를 블루투스를 통해 센서로 전송하여 센서의 무선 네트워크 연결)

  4-2. 센서의 이름 설정 → 연결된 센서 목록 표시 → 센서 터치시 해당 센서의 LED 점등 → 별명 설정

        → 와이파이를 통해 별명 정보 및 센서의 정보를 서버로 전송

 

 

※ 메인화면

   1. 실시간 통역 (버튼)

     1-1. 채팅방 형식 (키보드 노출)

     1-1-1. 지문자 키보드

     1-1-2. 한글 키보드

     1-1-3. 키보드 특수키 (키보드 언어 전환키)

 

   2. 환경설정 (버튼)

    2-1. 센서이름 설정 (터치하면 센서의 LED가 점등된다는 안내 표시)

           (연결된 센서들 표시 → 항목 터치하면 해당되는 센서의 LED 점등 → 이름설정)

    2-2. 기기연결 (센서, 허브, 웨어러블을 블루투스로 검색)

 

 

※ 다음 구현 예정 기능

   1. 한글 ↔ 지문자 전환 버튼 (모든 화면에서 출력되는 플로팅 버튼으로 구현)

   2. 푸시알림

     : 센서, 허브에서 감지한 정보를 스마트폰으로 푸시알림 전송

     : 이를 애플리케이션의 로그 파일로 따로 저장

     : 로그는 애플리케이션의 메인화면 버튼을 통해 확인 가능

   3. 구글 로그인

     : 여러 사용자가 사용할 것을 대비한 구글 로그인 기능 탑재

 

 

 

※ 프로젝트 아키텍쳐

 - 하드웨어 

  : 허브 (라즈베리파이, 터치 디스플레이, 마이크 모듈, 라즈비안 OS, Python)

  : 센서 (아두이노, 와이파이&블루투스 모듈, 마이크 모듈)

  : 웨어러블 (소형보드, 진동모터, 마이크)

  : 서버 (AWS EC2 Ubuntu Server)

 

- 소프트웨어

  : 애플리케이션 (리액트 네이티브)

  : 임베디드 (파이썬)

  : 머신러닝 (LSTM)

  : 서버 프로그램 (플라스크) 

 

 

※ 파트별 기능 설명

 - 허브

  : 연결된 개체 (서버, 애플리케이션, 공유기)

  : 연결 방법 (와이파이, 블루투스)

  : 역할 (집 안에서의 소리 수음, 농인과 비농인 간 통역)

 

 - 센서

  : 연결된 개체 (서버, 공유기)

  : 연결 방법 (와이파이, 블루투스)

  : 역할 (집안에서의 소리 수음)

 

 - 웨어러블

  : 연결된 개체 (애플리케이션)

  : 연결 방법 (블루투스)

  : 역할 (야외에서의 소리 수음, 조용한 공간에서 자신이 발생시키는 소음 경고)

 

 - 애플리케이션

  : 연결된 개체 (서버, 웨어러블, 공유기)

  : 연결 방법 (와이파이, 블루투스)

  : 역할 (기기 연결 및 설정, 소리 발생 알림, 농인과 비농인 간 통역)

 

 

※ 애플리케이션의 기능 (중요도 순)

1. 실시간 통역기능

 : 허브와 애플리케이션의 연결 및 텍스트 데이터 교환

 : 애플리케이션 문자 입력 → 애플리케이션에서 허브로 대화 전송 → 허브의 STT 프로그램 호출

 : 전송받은 텍스트 데이터를 허브의 채팅화면에 출력 및 TTS를 통한 스피커 출력

  

2. 지문자 키보드

 : 쿼티 키보드를 기반으로 구현

 

3. User Interface

 : 초기설정 화면 (허브 검색 및 연결 → 센서 검색 및 연결 → 웨어러블 검색 및 연결)

 : 로그인 및 회원가입 화면 (구글)

 : 메인화면

 : 실시간 통역 화면 (채팅방 형식)

 : 기기제어 (연결된 센서의 이름 설정, 연결된 허브의 이름 설정)

 : 웨어러블 제어 (보류)

 

 

※ 서버의 기능

1. 머신러닝

 : LSTM모델을 머신러닝 연산 서버에 설치하여 센서와 허브로 부터 받은 소리 데이터를 딥러닝으로 처리

 : 어떤 소리인지 문자데이터로 반환 후 애플리케이션에 전송

 

 

 

- 기타 공지사항

  : 웨어러블은 아두이노 esp32보드를 이용하여 머신러닝을 탑재하고 테스트 예정

  : 웨어러블 기능 축소 (야외에서 소리만 청음하여 사용자에게 진동과 화면 알림 기능만 구현)

  : 멘토님과의 오프라인 미팅 날짜 (7월 19일 혹은 26일 13시 서울)

 

 

 

 

 

 

 

 

제 3차 멘토 피드백 (오프라인)

- 회의자 : 멘토 1, 팀원 5 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 7월 19일

- 회의 개요 : 현재까지의 진행상황 보고 및 프로젝트 현실화를 위한 조언

 

- 회의 내용 

ㆍ현재까지의 프로젝트 진행상황 보고

: 프로젝트 구성요소 (허브, 센서, 웨어러블, 애플리케이션, 서버) 간 통신 방법 및 데이터 형식에 대한 설명

: 애플리케이션의 기능과 화면 및 버튼 등의 구성요소 및 흐름도 설명

: 팀원별 담당 임무에 대한 계획 및 프로젝트 이해 정도 보고

 

ㆍ프로젝트 현실화를 위한 조언

: 프로젝트 구현에 있어 우선순위를 결정할 것

: 프로젝트 구현시 고려해야할 요소들 파악

: 현재 프로젝트에서 해결해야할 문제점

 → 센서에서 수음한 소리 데이터를 AWS서버에 보낼때의 스트리밍 문제

 → 애플리케이션 내의 지문자 키보드 구현에 대한 문제

 → 시스템 구성요소간 블루투스 페어링 구현에 대한 문제

 

- 앞으로의 계획

 : 9월 초까지 시스템의 최소한의 기능만 구현

 : 구현 우선순위 설정 (허브, 애플리케이션 , 센서 및 허브의 소리 수음, 웨어러블)

 : 프로젝트 완성 계획일인 11월 말까지 직접 청각장애인을 만나 시연 후 추가적인 요구사항 반영

 

 

 

 

 

 

 

 

 

제 9차 프로젝트 회의

- 회의자 : 팀원 5 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 8월 17일

- 회의 개요 : 여름방학 중간점검 (파트별 진행상황 확인, 파트별 개발 계획 브리핑, 공모전 진행 계획)

 

 

 

- 회의 내용 

※ 파트별 진행상황 확인

 - 허브

  : 임베디드 SW UI 완성

  : 라즈베리파이 실사용 적용 실험 중

  : 와이파이 연결 기능 구현

 

 - 센서 및 하드웨어

  : 센서에 사용할 하드웨어 준비 완료

  : 허브 및 센서, 웨어러블에 사용할 케이스 출력을 위한 3D 모델링 진행 중

  : 센서의 경우 하드웨어 구성까지 3일 정도 소요 예상

 

- 서버

 : 서버와의 통신 방법 고민중 (소리 데이터의 전송 방법)

 : 전처리 과정에 대한 고민중 

  → 1안 (스트리밍 서버를 구축하여 센서의 스트리밍 데이터를 머신러닝 서버에서 받고 전처리 후 애플리케이션에 알림)

  → 2안 (FFT방식(굴곡을 통해 데시벨을 나눔)을 통해 센서 자체에서 전처리 후 서버를 거쳐 애플리케이션에 알림)

 

- 머신러닝

 : LSTM 모델 소스파일 확보

 : 데이터셋 확보 방법 고민중

 

- 애플리케이션

 : 리액트 네이티브 언어 튜토리얼 및 자바 스크립트 튜토리얼 완료

 : 애플리케이션 기초 틀 제작 중

 

 

 

※ 파트별 개발 계획 브리핑

 - 허브 

  : 와이파이 재연결(재부팅 후 자동연결 불가) 문제 해결 예정

  : 테스트 앱을 만들어 앱과 허브간 블루투스를 통한 데이터 교환 구현

  : 와이파이 및 블루투스 관련 문제 해결 

  : 8월 21일 이후 임베디드 SW 최적화 시작 (스레드 활용)

  : wifi 연결화면과 함께 터치키보드 출력기능 구현

  : 허브를 구성하는 하드웨어 재료가 도착하는 9월 둘째 주 부터 실제 모듈 구성 후 TTS 및 STT 작동 실험

   (작동확인 후 마이크 모듈에 맞게 성능 최적화)

 

- 센서 

 : 20일 쯤 완성 예정

 : 서버 멏 머신러닝과 연동한 실사용 테스트 예정

 

- 서버 및 머신러닝

 : 데이터 셋 구현 후 모델 학습 

 : 모델을 학습 시키는 동안 LSTM을 이용하는 방법 외 다른 방법에 대해 공부

 : 9월 5일까지 데이터 셋 완성 및 머신러닝 학습 완료

 : 센서 완성 후 서버 구축 예정 (J)

 : 서버 구축 완료 후 머신러닝으로 파트전환 (J)

 

- 애플리케이션

 : 레이아웃 (버튼 및 UI 디자인) 완성

 : 지문자 키보드 구현

 : 블루투스로 연결된 기기확인 구현

 : 블루투스로 데이터 전송 기능 구현 (센서로의 와이파이 SSID 및 PW 전송, 센서 이름 설정)

 : 서버와의 통신 구현 (설정한 센서의 이름을 서버로 전송)

 : 서버로 부터의 푸시알림 구현

 

 

 

※ 공모전 진행 계획

 - 9월 20일까지 전체 기능 테스트 및 실사용 적용을 위한 개발

 - 9월 21일 ~ 27일 사이 실제 청각장애인 사용성 테스트 실시

 - 10월 8일 교내 공모전 제출 (CDP)

 - 11월 30일 전국 공모전 제출 (프로보노)

 - 필요한 재료 추가 신청 

 

 

※ 전체공지

 - 중간점검 (8월 17일) 이후로는 구상한대로 파트별 결과물을 반드시 완성할 것

 

 

 

 

 

 

 

 

 

제 4차 멘토 피드백

- 회의자 : 멘토 1, 팀원 4 (H1, H2, J, S2)

- 회의 일시 : 2020년 9월 11일

- 회의 개요 : 프로젝트 진행 현황 보고, 피드백

 

 

- 회의 내용 

※ 진행현황 보고

 - 허브

  : 임베디드 SW 개발 완료 (STT, TTS, 블루투스 통신 및 연결, 와이파이 연결)

  : 케이스 3D 모델링 진행 중 (보유 중인 3D 프린터의 사이즈 문제로 인해 12일 완료 예정) 

 

 - 센서

  : 임베디드 SW 개발 완료 (블루투스 통신, 와이파이 연결, 마이크)

  : 케이스 3D 모델링 완료 (마이크 모듈 장착 및 작동 확인, 배터리 및 충전 모듈 장착) 

 

 - 애플리케이션

  : 레이아웃 구현 완료

    (메인화면, 실시간 통역화면, 설정화면, 블루투스 연결 화면, 센서이름 설정 화면, 생활 소리 알림 화면)

  : 블루투스 통신 기능 개발 중 (9월 29일까지 완료 예정)

 

 - 서버

  : 우분투 서버 구축 예정 (9월 12일 부터 시작)

  : 애플리케이션 및 센서와의 통신 구현 예정 (9월 29일까지 완료 예정)

 

 - 머신러닝

  : LSTM 모델 학습 예정 (9월 12일 부터 시작)

  : 서버의 통신 기능 구현 후 적용 예정

 

 - 웨어러블

  : 센서 및 머신러닝을 기반으로 임베디드 SW 개발 (9월 29일까지 완료 예정)

  : 케이스 3D 모델링 구현 예정 (9월 중순) 

 

 

※ 멘토님의 조언

 - 지문자 키보드를 중심으로 기능 구현 

 - 시연 동영상에 설명 등 추가

 - 머신러닝 부분에 대한 제약조건 고려 (데이터 품질, 학습도)

 

 

 

- 앞으로의 계획

1. 허브 3D 모델링 완료 후 개발 보고서에 첨부 & 시연 동영상 촬영

2. 애플리케이션 블루투스 및 푸시 알림 기능 구현 (노드JS, 파이어베이스 등.. 정보 검색 필요)

3. AWS를 이용한 우분투 서버 구축

4. LSTM 모델을 이용한 머신러닝 학습 (유튜브 데이터 이용, 학습할 데이터의 품질에 대한 계획 수립) 

 

 

 

 

 

 

 

제 10차 프로젝트 회의

- 회의자 : 멘토 1, 팀원 5 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 10월 29일

- 회의 개요 : 프레젠테이션 모의 발표 및 조언, 프로젝트에 대한 조언, 계획설정

- 회의전 변경사항

: 웨어러블 파트 삭제

: 서버 구현 (파이어베이스, GCP(Flask))

: 머신러닝 구현 (Google-Audio-Set, VGGish)

 

 

- 회의 내용 

ㆍ프레젠테이션 모의발표 및 조언

  : 프로젝트 핵심 주제에 대해 강조할 것

  : 프로젝트에서 공을 들인 부분에 대해 상세적으로 노출

 

ㆍ프로젝트에 대한 조언

  : 센서 및 애플리케이션 간 다중연결 문제 (다대일 관점의 시나리오 준비 필요, 동일한 소리에 대한 대비)

  : 부가기능 (센서의 LED가 지속적으로 꺼지지 않을 경우 가족들에게 위험 알림)

 

 

- 앞으로의 계획

ㆍ허브와 애플리케이션 딜레이 해결을 위한 연구

ㆍ블루투스 대신 서버를 통한 TTS와 STT 실행

ㆍ센서와 애플리케이션의 다대일 연결에 대한 연구

ㆍ애플리케이션에서 센서에 대해 규제

ㆍ지문자에 대한 컨셉 강화

ㆍ키보드 배치 연구

 

 

 

 

 

최종 구현

github.com/YongSiHun/Proj_Hermes

YongSiHun/Proj_Hermes