안녕하세요,
도전을 즐기는 엔지니어 김수경입니다.

1. 포즈별 태깅 데이터 구성을 위한 Custom Repository 구현

• 이슈

  • 복잡한 태그 데이터를 포즈 데이터에 함께 표현해야 했었고 multiple joins를 구현해야했습니다.

• 해결과정

  • 포즈 메타 데이터 구성을 위해 Spring QueryDSL 로 Custom Meta Data를 구성해서 해결했습니다.
  • 태그 데이터를 먼저 생성하고 포즈 데이터를 삽입해야 했는데 해당 과정을 구현하기 위해 JPA 를 이용해 CustomRepository 를 구현하였습니다.
  • 복잡한 태그 데이터를 포즈 데이터에 함께 묶어서 반환시키기 위해 복잡한 데이터들간의 관계를 묶는 모델 구조를 생성했습니다.

2. AWS ALB / Route53으로 배포 서버와 API 서버 분리 작업 수행

• 이슈

  • 도메인을 구매하고 HTTP 연결을 HTTPS 연결로 자동 리다이렉트를 해야했습니다.
  • AWS Certificate Manager 를 통해 인증서를 연결하여 SSL 연결을 수행해야했습니다.

• 해결과정

  • HTTP 8080 과 HTTP 443에 대한 리스너를 설정하고 AWS Certificate Manager 에서 인증서를 생성하였습니다.
  • Route53을 통해 호스팅 영역의 레코드를 생성하였고 AWS ALB 와 연결했습니다.
  • 리스너 규칙을 적용하여 8080 연결을 자동으로 443 연결로 리다이렉트 하도록 적용하였고 'api-' 프리픽스를 붙여서 배포 서버와 백엔드 서버를 분리하였습니다.

3. AWS Lambda로 이미지 업로드 자동화 진행

• 이슈

  • 포즈 데이터 업로드 시 DB에도 데이터를 넣어야 했는데, 해당 과정을 간소화하기 위해 AWS Lambda 로 로직을 분리했습니다.

• 해결과정

  • AWS Lambda 로 이미지 업로드 발생 시, 이미지 태깅이 자동으로 수행되도록 구현하였습니다.
  • AWS Lambda 와 AWS EventBridge 기반 AWS S3 트리거를 연결하여 S3 에 파일 업로드가 발생하면 파일 이름에서 이미지에 대한 정보를 추출하여 자동으로 S3 로 업로드 되도록 구현했습니다.

1. 데스크탑과 모바일 환경 간 비디오 코덱, 디바이스 사양 차이 해결

• 이슈

  • iOS 기기에서 비디오 녹화를 진행하고 녹화된 영상에 대한 작업을 처리할 경우, 코덱 불일치 문제가 발생했습니다. 이는 기존 비디오 코덱의 경우, H264로 처리를 했었으나 iOS(Safari)환경에서는 해당 코덱이 지원되지 않아서 발생했습니다.
  • 모바일 환경에서 서비스 접속 시, 기기 사양의 제한으로 인해 AI 모델 로드가 불가능하여 데스크탑과 동일한 서비스 제공이 어려웠습니다.

• 해결과정

  • FFMPEG 라이브러리에서 H264 코덱을 통한 비디오 변환 작업의 속도가 더 빨랐기에 H264 코덱 지원이 되는 웹 및 안드로이드 녹화 비디오에는 H264 코덱을 통한 비디오 변환을 수행하였고 iOS 비디오에는 VP8 코덱을 이용하여 비디오 변환을 수행하였습니다.
  • 모바일 접속과 데스크탑 접속의 로직을 구분하여 모바일은 WebRTC 로 스트림만 받아오고 감정 인식과 녹화는 기존 웹 기반 서버에서 이루어지도록 구현했습니다.

2. 모델 로드, 비디오 녹화, 감정 정보 갱신의 작업 분할을 통한 동시 작업 처리

• 이슈

  • 실시간으로 사용자의 감정을 읽고 비디오 녹화를 진행해야했습니다.
  • 모델 로드와 비디오 스트림 초기화를 동시에 진행하면서 과도한 부하가 발생해, 녹화 시작 시간 지연 문제가 발생했습니다.

• 해결과정

  • Blocking , LazyLoading , TimerTick 개념 도입
  • Blocking
    • 얼굴 인식, 감정 인식 AI 모델을 먼저 로드하고 비디오 스트림은 1차적으로 중단된 상태로 초기 상태를 설정했습니다.
  • LazyLoading
    • 사용자가 비디오를 킨 이후에, 비디오 스트림을 사용자로부터 받아오고 S3에 저장된 사용자 이미지와 매핑하여 사용자의 감정을 인식했습니다.
  • TimerTick
    • 이전 녹화 시점의 감정 수치에서부터 15초 단위로 감정 갱신 여부를 파악하여, 녹화 연장 여부를 파악했습니다.

3. 비디오 변환 작업 AWS Lambda를 기반으로 한 이벤트 처리로 영상 저장 속도 10배 개선

• 이슈

  • 영상 병합 작업을 서버에서 처리하여 서버의 부하가 커지는 경우가 발생했습니다.
  • 녹화 영상의 크기가 커지면 사용자의 앨범에 저장되기까지 긴 시간이 소요되었습니다.

• 해결과정

  • AWS S3 에 녹화된 비디오가 저장이 되면 AWS EventBridge 에서 이를 감지하고 자동으로 AWS Lambda 에 지정해둔 핸들러 함수를 작동시켰습니다.
  • 이에 별도로 최고 감정 수치가 기록된 시점을 DB로 부터 읽어오고, 해당 시점과 영상의 싱크를 맞추어서 썸네일 이미지를 추출했습니다.

1. 미디어 송수신 구조 Mesh 방식에서 SFU 방식으로 전환

• 이슈

  • 한 채팅방 내에 3명 이상의 유저가 입장하는 경우, 비디오가 중단되는 현상이 발생했습니다.

• 해결과정

  • WebRTC 기본 라이브러리를 이용한 P2P 스트리밍 방식에서 Node.js의 mediasoup 라이브러리를 이용해 SFU 스트리밍 방식으로 전환하였습니다.
  • 방 별 프라이빗 코드는 socket.io 를 이용해 관리 했으며, 방 코드를 mediasoup 서버로 전달하여 사용자들 간의 미디어 연결을 중개하였습니다.
  • 중앙 Router를 이용해 Producer Worker와 Consumer Worker를 관리하고 Router에서 모든 미디어 리소스를 다시 사용자들에게 스트리밍하는 형태로 구현하였습니다.

2. GitLab Pipelines DinD 방식을 이용한 배포 자동화 플로우 구현

• 이슈

  • 프로젝트를 AWS EC2에 배포 할 때, 변경 사항이 생길 때마다 리포지토리 pull을 받고 PM2 를 다시 돌리는 작업을 반복했습니다.
  • PM2 의 프로세스가 재시작하는 과정에서 dump 파일이 덮어씌워지며 프로젝트 빌드가 실패했습니다.

• 해결과정

  • 개발 리포지토리에서 GitHub 과 GitLab Sync를 동시에 관리하며 GitHub Actions 가 무한정으로 돌아가는 문제가 발생해, 배포 리포지토리에서 업데이트 사항 로그 남기고 커밋과 태그로 관리하는 방식으로 변경했습니다.
  • 배포 리포지토리에 변경사항이 발생하면 GitLab Pipelines 가 돌아가도록 구성하였고 build / deploy 스테이지를 구성하여 작업을 분리하였습니다.
  • AWS EC2 인스턴스에 미리 설정해둔 GitLab Runner 내부에서 클라이언트 컨테이너와 서버 컨테이너가 돌아갈 수 있도록 GitLab Pipelines 를 구축하였습니다.

3. 프로젝트 배포를 위한 프로덕션 환경 구성

• 이슈

  • 프로덕션 배포 후 이슈 발생 시, 시스템 로그를 빠르게 파악하기가 어려웠습니다.
  • 실제 서비스 배포 환경과 동일하게 구현하려면 사용자의 비밀번호를 암호화하여 저장해야 했습니다.

• 해결과정

  • Node.js 의 winston 과 morgan 라이브러리를 이용하여 배포용 로거와 개발용 로거를 만들었습니다.
  • 개발 로깅 파일은 로컬에 파일로 저장되게끔, 프로덕션 로깅 파일은 AWS S3 에 저장해 이슈를 모니터링하였습니다.
  • Node.js 의 crypto 라이브러리를 이용해 암호화 / 복호화를 진행해 사용자 인증 로직을 구현하였습니다.

1. 리뷰 및 프로필 이미지 업로드를 위한 이미지 전용 서버 구축

• 이슈

  • 맛집 리뷰 등록 시, 이미지 업로드 단계에서 반복적인 에러가 발생했습니다. 이에 맛집 정보 업로드에서 이슈가 발생하는 건지, 이미지 업로드 시에 문제가 발생하는 건지 이슈 파악이 어려웠습니다.

• 해결과정

  • Spring Cloud Eureka 를 도입하여 서버 애플리케이션 내에 MSA 로 메인 서버와 이미지 업로드 서버를 분리했습니다.
  • 메인 서버에서 최초 요청을 처리하고 이미지 관련 요청이 들어올 경우 Spring Cloud Eureka 를 통해 내부적으로 이미지 서버로 연결하여 별도로 로깅과 비즈니스 로직을 분리하였습니다.