Infrastructure

GPU Serving and MLOps Operations

Azure, Kubernetes, GPU serving, MLOps 도구를 조합해 모델 개발과 운영을 연결한 인프라 사례입니다.

An infrastructure case connecting model development and operations across Azure, Kubernetes, GPU serving, and MLOps tooling.

AzureKubernetesGPU servingMLOps
GPU serving and MLOps architecture

문제

Problem

AI 서비스는 모델 성능뿐 아니라 GPU 리소스, 배포, 모니터링, 실험 추적, 협업 환경까지 함께 안정화되어야 합니다.

AI services require stability across GPU resources, deployment, monitoring, experiment tracking, and collaboration, not just model quality.

실행 범위

Execution Scope

  • Azure, AWS, NCP, 온프레미스 환경에서 AI 인프라를 운영했습니다.
  • Operated AI infrastructure across Azure, AWS, NCP, and on-premise environments.
  • WandB, MLflow, Azure ML 등 MLOps 도구를 실험과 운영 흐름에 맞게 적용했습니다.
  • Applied MLOps tools such as WandB, MLflow, and Azure ML to experiment and operation workflows.
  • GPU 서버, 컨테이너, 배포 환경에서 발생하는 런타임 이슈를 추적했습니다.
  • Tracked runtime issues across GPU servers, containers, and deployment environments.

기여

Contribution

모델 개발자가 실험을 반복하고 서비스팀이 안정적으로 배포할 수 있는 실행 환경을 정리했습니다.

Shaped execution environments where model developers could iterate and service teams could deploy reliably.