들어가며

삽질을 안 하려면 삽을 잘 써야 하듯, AI도 어디에 쓸지를 알아야 제대로 써먹을 수 있다. 몇 달 간 써보면서 나름의 원칙이 생겼다.

GPU 모델을 서빙하는 서버를 짤 때 가장 자주 하는 실수가 하나 있다. 바로.. 메인 프로세스에서 torch 모델을 로드하는 것. FastAPI 앱을 띄우고, startup 이벤트에서 model = load_model() 하고, endpoint에서 바로 model(input) 부르는 구조. 작은 규모에서는 돌아가지만, 문제가 쌓인다.