ai 모델 서비스 설계 고찰

개의 종을 학습시킨 모델을 생성하여 웹서비스를 하고자 한다고 하면,
아래와 같이 접속때 마다 Flask의 Rest API Request 처리 안에서 대응하고자 한다면
매번 모델을 로딩하는 결과를 초래한다. 

대안으로써는 별도 추론 쓰레드를 생성하여 모델을 한번만 로딩하고 브로커(redis)를 사용하여 Rest API Request 와 추론쓰레드간의 중계역할을 해주도록 한다.

 

다음 칼럼에서는 위의 설계를 코드로 실현해 보도록 하자.