Hermes_Project : 프로젝트 개발 일지 (4월~5월 / 회의록)

제 1차 멘토 피드백 및 초기 프로젝트 개발 계획 수립

- 회의자 : 멘토 1, 팀원 5 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 4월 18일

- 회의 개요 : 기존에 설계한 프로젝트에 대한 멘토의 조언, 현실적인 프로젝트 설계 및 계획 수립

 

- 프로젝트 개요

: 청각장애인 및 시각장애인, 중증 및 고령 환자가 자택과 객지에서 신체로 인한 불편함이 없도록 보조하는 시스템

 

- 프로젝트 구성 

ㆍ허브

  : 서버와의 매개체 역할로 밖에 가지고 다니면서 숙소에서도 집에서와 똑같이 작동

  : 집안의 소리와 영상을 인식하고 서버에 전송

  : 배터리가 내장되어있어 식당을 가든 가지고 다닐 수 있음

  : 저시력자 혹은 시각장애인을 위한 글자읽어주기 (집 내부 내비게이션보다 구현이나 실용도에서 나을 듯)

  : 화재나 물이 끓는 것을 인식하여 사용자에게 알림

 

ㆍ서버

  : OpenCV와 머신러닝을 구동시키는 환경

  : 허브로부터 영상과 소리 정보를 받으면 이를 분석하여 허브에게 다시 Response

 

ㆍ애플리케이션

  : 보호자와 사용자로 나뉨

  : 보호자에게는 위험상황을 알리며 긴급전화까지 연결해줌

  : 보호자가 없어도 사용자는 앱을 통해서 기기를 조작하고 서비스를 받을 수 있음

  : 문자인식 기능 추가

 

ㆍ천사의 눈 (부가기기)

  : 집안곳곳에 설치하여 집안의 소리와 영상을 인식하고 허브에 전송

  : 허브가 인식할 수 있는 최대 범위를 넘을 정도로 집이 넓거나 방이 많으면 1~2개 설치

 

 

- 회의 내용

ㆍ멘토 피드백

 아이디어는 좋으나, 현실적으로 계획한 퍼포먼스가 나올지 걱정된다. 여러개의 영상처리를 위해서는 카메라와 서버의 스펙을 올려줘야 하는데 정확한 처리를 위해 화질을 높일 경우 전송 딜레이가 발생하게 된다. 이러한 문제에 대한 해결방안을 생각해야한다. 제품에 대해 특정 타겟을 정하고 시나리오를 만들어야 매력적인 작품으로 보일 수 있다. 그리고 구현을 위해서는 무엇부터 시작할것이냐가 중요하다. 시각장애인과 청각장애인을 모두 커버하기는 힘들기 때문에 청각장애인에 대한 솔루션 부터 완성후에 시각장애인에 대한 솔루션을 설계하고 완성하는 것이 좋을 것 같다. 그리고 시각장애인과 청각장애인의 소통에 대해서 도울 수 있는 기능을 추가하면 더 좋을 것 같다. 팀원 모두가 프로젝트에 대해 이해 했을거라고 생각하다 보면 뒤에가면 독이 된다. 서로 다른 생각을 해서 다르게 만들 수 있기 때문이다. 만들어내는 output에 대해서는 팀원 전체의 생각을 일치시키고 영역배정은 정확하게 정해져야 한다. 

 

 

- 계획 수립

큰 계획

- 프로젝트 수행계획서 작성

- 1단계 : 청각장애인 솔루션 구현

- 2단계 : 시각장애인 솔루션 구현 (시각장애인에 해당하는 시나리오 구상)

- 3단계 : 기능 추가 (시청각 장애인 및 기타 노약자를 위한 시나리오 구상)

 

2. 프로보노 공식일정

- 5월 3일까지 팀 구성 완료

- 5월 4일 ~ 5월 10일 = 프로젝트 개설 신청 기간

 

3. 작은 계획

- 전 구성원의 프로젝트에 대한 이해도 조사

- 하드웨어 관련 부분 전 애플리케이션 개발 연습

 

 

- 파트별 구현 계획 수립

1. 천사의 눈 (부가적인 영상)

재료 : 라즈베리파이(카메라 포함), 마이크 모듈, 충전 모듈, 배터리

기능 : 카메라 및 마이크에서 화면과 소리를 와이파이 통신을 통해 실시간으로 허브로 전송

 

2. 허브 (메인 영상)

- 재료 : 라즈베리파이(카메라, 와이파이 포함), 마이크 모듈, 충전 모듈, 배터리

- 기능 :

① 영상처리

 실시간으로 천사의 눈에서 전송받은 영상을 OpenCV로 전처리하여 서버를 거쳐 사용자에게 기능제공

 라즈베리파이의 성능으로 처리하기 어려울 경우 외부서버에 OpenCV 처리와 머신러닝 처리를 하도록 할 것

② 음성처리

천사의 눈에서 전송받은 소리를 받아 서버로 전송하여 서버에서 머신러닝으로 처리

※ OpenCV (사람과 사물을 구별하여 다르게 표시하여 머신러닝에서 처리하기 용이 하도록 전처리)

※ 스트리밍 (영상을 찍는 서버와 웹 서버를 동시에 구동시켜 영상을 웹서버로 제공 / 사용자는 웹서버로 접속)

 

3. 서버

- 재료 : AWS등의 서버

- 기능 : OpenCV(보류), 머신러닝(영상 및 음성처리), 알림 전송, 스트리밍

 

4. 애플리케이션

- 언어 : 파이썬

- 기능 : 알림을 받는 클라이언트 역할

         : 시각장애인 내비게이션(서버로부터 음성안내 신호를 받아 스마트폰에서 음성으로 안내),

 

※ 총정리 : 기능에 대한 처리는 서버에서 처리 (영상과 음성에 대한 머신러닝)

             : 모든 기능의 구현은 서버에서 처리

 

 

 

 

 

 

 

제 1차 프로젝트 회의

- 회의자 : 팀원 5 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 4월 23일

- 회의 개요 : 프로젝트에 대한 시나리오 설정, 시청각 장애인들의 불편사례 탐색

- 회의 전 변동 사항 : 천사의 눈(영상인식) -> 천사의 귀 (소리인식)

- 회의 내용

ㆍ프로젝트 아키텍쳐 설계

※ 청 (청각장애인), 스 (스마트폰), 책 (책상), 허 (허브), 정 (정상인)

 

 

ㆍ청각장애인 파트 (허브)에 대한 명세

- 생활 소리 알림

1. 집안에 설치된 허브와 천사의 귀가 집안 곳곳의 소리를 수음

2. 소리를 수음하면 스마트폰 화면에 아이콘이나 글자로 알림 (소리를 인지한 카메라의 화면을 같이 보여줌)

 

- 실시간 통역 (정상인)

1. 청각장애인이 스마트폰 카메라를 통해 수화를 하면 번역되어 허브에 전송 됨 

2. 정상인은 허브의 디스플레이와 스피커로 출력된 대화 내용을 수신

3. 정상인이 허브의 마이크에 음성으로 대화하면 대화내용이 청각장애인의 스마트폰으로 전송 됨

 

- 청각장애인 / 시각장애인 간 대화 (시나리오1)

 : 청각장애인 집에 손님이 왔을 때 허브를 매개체로 삼아 의사소통

 

 

ㆍ앞으로의 계획

1. 농인들의 IOT 이용 불편사례 뉴스 찾기

2. 청각장애인 관련 IOT 제품 이용 관련 불편사례 검색

3. 청각장애인들의 일상에서의 불편사례 검색

→ 링크와 사진

 

ㆍ변경사항

- 천사의 눈 → 천사의 귀로 변경

 

 

 

 

 

 

제 2차 프로젝트 회의

- 회의자 : 팀원 5 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 4월 27일

- 회의 개요 : 역할 분담 

 

- 회의 내용

ㆍ역할 분담 (가명으로 표기)

H1 : 서버 및 애플리케이션

H2 : 서버 및 애플리케이션

S1 : 소리인식

J : 소리인식, 임베디드 (허브)

S2 : 임베디드 (천사의 귀), 하드웨어

 

ㆍ앞으로의 계획

1. 농인 섭외 (유튜버, 네티즌 등)

 - 농인들이 수화를 배우는 방식에 대해 조사

 - 농인들에게 한글은 어떻게 느껴지는지 조사

 - 농인들의 지문자 사용빈도와 체감 난이도

2. 각자 기본공부

 - 5월 15일까지 각자 맡은 파트에 대한 기본 공부 후 내용 정리

 

 

 

 

 

 

 

 

제 2차 멘토 피드백

- 회의자 : 멘토 1, 팀원 5 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 5월 2일

- 회의 개요 : 현황 보고 및 프로젝트 진행에 대한 멘토의 피드백

 

 

- 회의내용 

ㆍ멘토의 피드백

1. 우리가 하고자 하는 것부터 만들어라

 : 대학생들이 무엇을 만들려고할 때 재료부터 만들려는 강박관념이 있는데 사실 그럴필요는 없고

  기존에 만들어진 것들을 가져다가 잘 만들어내는 것이 중요하다

 

2. 우리가 생각하는 방식대로 시스템을 구현하고 실제 농인들을 대상으로 실험해보고 고쳐나가자

 : 한글키보드, 지문자키보드 & 한글자막부터 구현하고 수정해라

 : 결과에 너무 치중하지마라

 

3. 새로운 접근방법

 : 올해 과제를 어느정도 완성하고 내년에 제대로된 과제로 연계해서 진행하는 방법도 있다.

 : 조금이라도 결과를 만들어서 보람을 느끼고 의기투합하는 것이 중요

 

5. 한 파트를 맡은 사람의 개인사정이 생겨 자리가 비게될 경우 일이 중단되지 않도록 페어링 하는 것이 중요

 : 현장에서는 RFP(고객의 제안 요청서)가 나오면 그걸 뜯어서 공부한뒤 시작함

 

6. 임무부여에 대한 노하우

 : 제일 중요한건 팀장이 확신을 가지는 것.

 : 팀원들과 소통하면서 팀원들의 얘기에 대해서 듣는 것이 중요하다.

 : 의견을 잘 듣고 어떻게 해석하느냐, 얼마나 정확하고 빠르게 결정하느냐가 중요

 

7. 결과에 너무 집착하지 말고 과정에서 보람을 찾아라

 : 변화 해야할 턴이 나오면 그때 변화하면 된다.

 : 일단 실행되게 만들고 거기서 고치면 된다.

 : 쉽게 가는 것이 중요하다.

 : 기능을 만드는것에 일단 집중하라

 

 

- 팀원간 회의 결과

ㆍ팀장

  : 전파사항이나 프로젝트 진행에 있어 팀원들이 인지해야할 사항이 발생시 단톡에 당일 회의가 있음을 알릴 것

  : 팀원들의 공부현황 및 개발현황 종합 후 프로젝트 진행 속도 조절 

  : 프로젝트 수행 계획서를 현실에 맞게 자세하게 수정

   (시각적 -> 한글자막, 이미지 / 애매하게 쓰인 부분을 상세하게 수정)

  : 애플리케이션의 기능 유즈케이스 만들 것

 

ㆍ팀원

  : 팀장의 공지에 대해 반드시 확인 여부를 답할 것

  : 5월 15일까지 개인 공부 진행 후 자신이 공부한 내용에 대해 문서로 정리하여 보낼 것

  [단순한 공부여부를 확인하는게 아니라 한 사람이 개인적인 사유로 인해 프로젝트 개발에 차질이 발생할 때

   다른 팀원이 매꾸기 위해서 팀원 전체가 프로젝트에 관련된 기술 공부 필요]

 

※ 5월 15일 이후에는 각자가 맡은 부분에서 프로젝트에 유관한 공부 필요

    (ex) 애플리케이션의 경우 실제 프로젝트에 쓰일 애플리케이션대로 만들어야함)

 

 

 

 

 

 

제 3차 프로젝트 회의

- 회의자 : 팀원 5명 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 5월 7일

- 회의 개요 : 진행현황 보고 및 팀장의 개인공부 정리내용 전파

 

- 회의 내용

ㆍ허브 파트 진행현황 전파

1. Google Speech to Text를 이용한 음성의 텍스트 변환 기능 구현 성공

2. 허브와 통신하는 서버는 Google Cloud Platform으로 결정

3. 애플리케이션과 서버간 데이터 교환에 대한 연구 진행 예정

4. Text to Speech에 대해서 조사할 예정

5. 임베디드의 경우 파이썬으로 개발 예정

 

ㆍ공지사항 전파

1. 다트언어로 파이썬 파일을 읽는 방법에 대한 연구 필요

2. 프로젝트 진행 중 컴퓨터에 대한 문제나 오류가 있을 경우 팀장에게 지원 요청 바람

 

ㆍ공부내용 전파

프레임워크란? : cafe.naver.com/bagsingood1537/134310 

프레임워크와 라이브러리의 차이 : cafe.naver.com/bagsingood1537/134311

깃과 깃허브의 차이 : cafe.naver.com/bagsingood1537/134531

라즈베리파이와 아두이노의 차이점 : cafe.naver.com/bagsingood1537/134528

AWS란? : cafe.naver.com/bagsingood1537/134549

IaaS별 특징 (AWS EC2, Azure Virtual Machine, Google Cloud Platform) 

: cafe.naver.com/bagsingood1537/134550

클라우드 컴퓨팅의 종류와 특징 : cafe.naver.com/bagsingood1537/134551

 

 

 

 

 

 

 

제 4차 프로젝트 회의

- 회의자 : 팀원 5명 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 5월 15일

- 회의 전 변경사항 : 천사의 귀 -> 센서 (기능 동일), 웨어러블 추가 (야외에서의 소리 수음)

- 회의 개요 : 팀원 별 개인 공부 내용 발표

 

 

- 회의 내용

ㆍ애플리케이션 파트에 대한 팀장의 전파 사항 (S2)

1. 안드로이드 스튜디오 설치 및 구동 성공

 : 에뮬레이터의 경우 블루스택을 활용하면 저사양에서도 구동가능

 : cafe.naver.com/bagsingood1537/134825

2. 애플리케이션에 대하여

 : 다음주까지 어도비 XD를 통해 프로토타입을 만들 것

 : 앱 개발시 인터페이스 부터 만들고 세부 기능에 대해서는 구글링을 하면서 구현할 것

 

 

ㆍ허브 파트 현황 보고 (S2)

1. Google Cloud Platform을 이용한 Text to Speech (TTS)와 Speech to Text (STT) 오픈소스 분석 중

2. TTS와 STT의 활용방법에 대한 연구 필요

 - 방안 1 : 파이썬 프로그램을 애플리케이션에 내장 시키고 애플리케이션과 허브 연동

            : 이 경우 애플리케이션의 개발언어를 코틀린이나 자바로 하거나 파이썬으로 해야함

 - 방안 2 : 소켓통신 등을 이용하여 서버 내의 파이썬 프로그램 실행 후 기능 사용

             : 이 경우 기존에 결정한 플러터로 애플리케이션 개발 진행

3. 허브를 개발하기 위한 임베디드 시스템(라즈베리파이)에 대한 연구는 라즈베리파이가 도착할때 진행 예정

 

 

ㆍ임베디드 파트 현황보고 (J)

1. 허브에 사용할 메인보드 선정

 - 라즈베리파이 4 (발열이 심함)

 - 라즈베리파이 3B+ (적은 발열, 현재로써는 가장 적합)

 - 라즈베리파이 제로w (얇은 개발보드로써, 성능은 낮지만 기능구현에 문제 없음)

 - 3B+와 제로W 구입후 테스트 예정

 

2. 허브에 사용할 기타 하드웨어

 - 디스플레이 (5인치 터치 디스플레이)

 - 배터리 (7000mAh ~ 10000mAh)

 - 마이크센서 (멀리 있는 소리를 듣기 위해 Amplifier를 이용하여 소리 증폭)

 - 충전모듈

 - 스피커

 

3. 센서에 사용할 기타 하드웨어 (천사의 귀 -> 센서로 변경)

 - 메인보드 (WEMOS 보드 <블루투스 및 와이파이 지원> , 아두이노 보드)

 - 마이크 센서

 - 충전모듈

 

4. 웨어러블에 사용할 하드웨어 (웨어러블 = 야외에서 사용할 손목시계 형태의 청각장애인 소리 수음 기기)

 - Seeduino xiao 보드 / beatle bluetooth 내장 보드

 - 진동모터 

 - 0.96인치 olde 디스플레이

 - 배터리 (500mAh)

 - 충전모듈

 

 

ㆍ서버 파트현황 보고 

1. 라즈베리파이(허브)와 애플리케이션 간 통신 (H1)

 - 와이파이 쉴드 라이브러리와 JSON Encoding을 이용한 통신

 - MQTT

  : IOT간 데이터 전송에 쓰이는 프로토콜

  : firebase를 통한 데이터 교환

 

2. 서버 (H2)

 - 도커

  : 도커를 활용하여 플랫폼 상관없는 서버환경 구축

  : 트래픽이 많아 졌을때 컨테이너를 여러개 구축하여 해결

  : 일종의 가상 서버

 

 

ㆍ소리인식 파트 현황 보고 (S1)

1. 전처리를 위한 모델 (소리인식, 음성분해 등)

 - LSTM (그래픽 예측할때 주로 사용하나 활용도에 따라 다르게 활용 가능)

 

 

- 앞으로의 계획

1. 앞으로 팀이 만들어야할 파트

 - 임베디드 프로그램 (허브, 센서, 웨어러블)

 - 애플리케이션

 - 서버 구현

 - 소리인식 머신러닝

 

2. 역할분담

- S2 = 라즈베리파이를 이용한 리눅스 서버 연구, STT와 TTS 코드 분석

- S1 = 소리인식 머신러닝에 대한 조사

- H1, H2 = 애플리케이션 인터페이스 작성 (어도비 XD 활용)

- J = 재료 모두 구입, 소리인식을 위한 데이터 셋 조사

 

 

 

 

 

제 5차 프로젝트 회의

- 회의자 : 팀원 5명 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 5월 18일

- 회의 개요 : 5월 공모전 및 프로젝트 관련 계획 발표

 

- 회의 내용

ㆍ공모전 및 프로젝트 관련 계획

1. 애플리케이션 디자인 및 요구사항에 대한 회의 : 5월 20일 18시 줌 (미완성으로 인해 취소)

2. 협업을 위한 Git 공부 : 5월 25일 14시 오프라인

3. 교내 공모전 중간보고서 제출 : 6월 11일

 

ㆍ전파사항

1. AWS 및 GCP에 대한 서적 조사 강구

2. 공모전 주최측에 대한 문의 후 공지 예정

 

 

 

 

 

제 6차 프로젝트 회의

- 회의자 : 팀원 5명 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 5월 22일

- 회의 개요 : 공지사항 전파 

- 회의 내용 

ㆍ공모전에서 제공하는 학습 사이트 활용법 설명 

  : 블렌디드 러닝, 엘리스 코딩

 

ㆍ허브 파트에 대한 현황 전파

  : 프로보노(공모전) 측에서 제공한 AWS 아이디와 비밀번호 로그인이 안되어 문의 예정

 

ㆍ공지사항

  : 애플리케이션 파트는 5월 24일까지 애플리케이션 UI 완성 바람

    (늦어도 27일 부터는 실제 코드로 구현 시작 해야함)

 

 

 

 

 

 

제 7차 프로젝트 회의

- 회의자 : 팀원 5명 (H1, H2, J, S1, S2)

- 회의 일시 : 2020년 5월 25일

- 회의 개요 : 협업을 위한 Git에 대한 학습, 전반기 프로젝트 진행에 대한 회의

 

 

- 회의 내용 

ㆍGit 학습

  : 유튜브 영상을 통한 Git에 대한 학습 (www.youtube.com/watch?v=FXDjmsiv8fI)

  : H2가 Git에 대해 설명

  : 깃의 개념과 깃의 사용법에 대해 학습 

  : VSCode를 이용한 업로드 방법 및 소스트리를 이용한 업로드 방법 학습

 

ㆍ현 프로젝트에서의 Git 사용 환경 조성

 - Repository 개설

 - Git 플랫폼 : Git Hub

 - Git 클라이언트 : Git bash, 소스트리, VSCode

 - 사용계획

  : 애플리케이션 (Flutter로 작성한 애플리케이션 소스파일 공유 및 버전 관리)

  : 허브 (파이참으로 작성한 허브 임베디드 프로그램 소스파일 업로드 및 버전 관리)

  : 센서 (VSCode로 작성한 센서 임베디드 프로그램 소스파일 업로드 및 버전 관리)

 

 

- 앞으로의 계획

ㆍ기말고사 기간 동안 프로젝트 일시 중단 (6월 11일 ~ 6월 26일)

ㆍH1, H2 = 6월 10일까지 애플리케이션 프로토타입 작성 및 소스코드 구현

ㆍS1, S2 = AWS서버 활용방법 모색 (구글 TTS와 STT의 애플리케이션 연동 방법 연구 및 머신러닝 서버 활용)

ㆍJ = 웨어러블 및 허브 UI 설계 및 임베디드 적용