Azure AI Foundry를 활용해 모델과 비용이 바뀌어도 흔들리지 않는 AI 시스템 만들기

2026년 6월 Bulid의 Build smarter AI systems in Foundry as models and costs evolve(BRK230) 세션의 내용을 기반으로  

AI 모델의 성능과 비용이 빠르게 변화하는 환경에서, 특정 모델에 종속되지 않고 유연하게 운영할 수 있는 AI 시스템을 만드는 방법에 대한 발표를 진행했습니다.

 

발표에서는 Azure AI Foundry를 중심으로 다양한 AI 모델을 비교·선택하고, 실제 업무 시나리오를 기반으로 모델의 품질, 비용, 응답 속도, 안전성 등을 평가하는 방법을 살펴봅니다. 또한 Model Router를 활용해 상황에 따라 적합한 모델을 자동으로 선택하고, 지속적인 Evaluation(Eval)을 통해 새로운 모델이 등장할 때마다 기존 모델과 비교하여 시스템을 개선하는 방법을 소개합니다.

나아가 모델 선택과 평가에 그치지 않고 비용 최적화, 거버넌스, 관찰성(Observability), 지속적인 평가와 개선 등 실제 운영 환경에서 AI 애플리케이션을 관리하는 ModelOps 관점까지 다룹니다.

이를 통해 단순히 “어떤 AI 모델이 가장 좋은가?”를 찾는 것을 넘어, 모델이 계속 변화하는 시대에 AI 시스템을 어떻게 평가하고, 교체하고, 지속적으로 운영할 것인가​에 대한 실무적인 접근 방법에 대해 거론했습니다.

 

발표 자료의 핵심은 “최고의 모델을 선택하는 것이 아니라, 더 좋은 모델을 지속적으로 선택하고 운영할 수 있는 시스템을 만드는 것”이라고 정리할 수 있습니다.

 

발표 내용은 첨부된 파일을 참고해 주세요.

 

모델과 비용 변화에 대응하는 스마트한 AI 시스템 만들기.pdf

0.78MB