[나는리뷰어다2026] LLMOps 완벽가이드

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다."

 

개요

Macbook Pro에 ollama를 올리고 이것저것 테스트해보면서 사용중이다. 최근엔 수집된 뉴스 기사를 요약하고 이를 기반으로 보고서를 추출하는 형태의 애플리케이션을 만드는 과정에서 ollama를 사용했다.

 

Ollama를 통해 ollama3:8b, qwen:2.5b, gemma3와 같은 모델을 사용했고 이 과정에서 궁금증은 다음과 같았다.

• 입력 프롬프트가 길어지니 응답 시간도 길어지는건가
• Macbook Pro에서 돌리자니 발열이 너무 심한데 발열을 줄이는 방법은 없는가
• Ollama에서 어떤 파라미터를 조정해야 최적의 성능을 낼 수 있는가

이런저런 고민을 하다보니 문득 이런 생각이 머리에 스쳤다.

LLM을 상용화하는 서비스들은 어떻게 운영하는걸까?

 

Local LLM을 돌리자니 그만한 성능이 뒷받침되어야하는데 이 방법은 비효율적일 것 같고, ChatGPT나 Gemini와 같은 LLM 서비스를 사용하자니 세밀한 제어가 되지 않으면 할당량과 비용이라는 벽에 부딪힐 것 같은데 ?

 

최근 개발 경험으로부터 많이 멀어지고 있어서 그런지 생각보다 위에 대한 질문의 답을 연상하고 쫒아가기 어렵다는 생각이 들 때쯤 “LLMOps”라는 책을 한빛미디어로부터 제공받아 읽을 수 있게됬다.

독후 사유(思惟)

책의 구성은 크게 ‘LLMOps 소개 → LLMOps를 통한 애플리케이션과 데이터 엔지니어링 → LLMOps의 인프라적 요소 → LLMOps의 확장(거버넌스, 스케일링)’의 순서로 진행된다.

 

책을 읽으면서 가장 어려웠던 점은 LLM과 관련된 용어와 개념들이 매우 생소하게 느껴졌다는 것이다. 그동안은 ChatGPT나 Gemini와 같은 서비스를 막연히 LLM이라고만 이해하고 있었는데, 책에서는 LLM 역시 종류와 범주에 따라 구분되며 각각의 특징을 세세하게 설명하고 있었다. 이러한 내용은 처음 접하는 입장에서는 다소 어렵게 느껴졌다.

• 키워드
◦ 트랜스포머 모델
◦ RNN
◦ 역전파
◦ 기울기 소실 문제
◦ 셀프 어텐션
◦ SLM
◦ 인코더
◦ 디코더 전용 LLM
◦ 지식검색

하지만 책을 계속 읽어나가다 보면 LLMOps라는 개념이 무엇이며, 이를 실제로 어떻게 구성해야 하는지를 자연스럽게 따라갈 수 있다는 점이 가장 큰 장점으로 느껴졌다. 특히 LLM이 등장하기 이전 머신러닝 운영 방식인 MLOps와 LLMOps의 차이점을 비교하며 내용을 시작하기 때문에, 책의 제목에 걸맞게 LLMOps에 대한 개념적 정의를 확실히 이해할 수 있다는 점이 인상적이었다.

• LLMOps는 LLM 애플리케이션을 실제 환경에 배포하기 위한 운영 프레임워크입니다. (Chapter 2)
• LLMOps는 훨씬 더 세밀하고 복합적인 접근을 요구합니다. 이 프레임워크는 기업이 기술 부채를 줄이고 규정을 준수하며, LLM의 동적이고 실험적인 특성에 효과적으로 대응하도록 돕습니다. 또한 일반적으로 발생하는 운영 실수를 방지함으로써 기술적 위험과 평판상의 위험을 최소화할 수 있습니다.

가장 흥미롭게 읽었던 부분은 Chapter 3의 LLM 기반 애플리케이션을 다루는 장이었다. 아직까지 LLM을 백엔드 애플리케이션으로 활용하는 방식이 익숙하지 않았고, 실제 상용 서비스에서 LLM을 어떤 형태로 운영하는지 접할 기회가 많지 않았기 때문인 것 같다. 서두의 ‘개요’에서 가졌던 궁금증도 이 장을 읽으며 대부분 해소할 수 있었다. 특히 다음과 같은 내용이 인상 깊었다.

• AI 모델을 제공하는 기업은 다른 기업들과 협력하여 해당 모델을 클라우드 서비스 형태로 제공하는 경우가 많습니다. 예를 들어 오픈AI는 마이크로소프트와 파트너십을 맺었으며, 마이크로소프트는 API로 접근 가능한 클라우드 서비스에 오픈AI 모델을 호스팅하는 인프라를 제공합니다. (Chapter 3)
• 초기 LLM 애플리케이션이 글쓰기나 요약과 같은 사용자 지향 작업에 집중되었다면, 현재의 LLM 기반 애플리케이션은 LLM을 더욱 빠르고, 프로그래밍 가능하며, 모듈화된 형태로 활용하기 위한 인프라 애플리케이션에 집중되고 있습니다.

개요에서 품었던 궁금증은 어느 정도 해소되었지만, 근본적인 호기심은 여전히 남아 있다. Ollama와 같은 오픈소스 LLM을 활용하는 상용 서비스들은 실제로 어떤 방식으로 애플리케이션과 인프라를 구성하고 운영하는지에 대한 부분은 앞으로도 더 찾아보고 싶은 주제다.

 

결론적으로 이 책은 생소한 용어와 개념들이 많이 등장해 처음에는 다소 혼란스럽게 느껴질 수 있다. 하지만 읽어나갈수록 LLMOps의 전체적인 구조와 운영 방식에 익숙해질 수 있으며, 앞으로 직접 LLM 기반 애플리케이션을 만들어보고 운영 환경까지 고민하게 되는 시점에 다시 한번 꺼내 읽어볼 가치가 있는 책이라는 생각이 들었다.

마치며

기술 서적은 이미 알고 있는 분야를 읽을 때는 기존 지식을 정리하고 다듬어 간다는 느낌을 받을 때가 많다. 반면 처음 접하는 분야나 생소한 기술을 공부할 때는 학습 곡선이 매우 가파르다는 것을 새삼 실감하게 된다. 특히 AI 기술이 빠르게 발전하고 있는 요즘에는 그 변화의 속도를 따라가는 것만으로도 쉽지 않다는 생각이 들었다.

 

LLMOps 역시 나에게는 아직 익숙하지 않은 분야였다. 책을 모두 읽고 난 지금도 머릿속에는 낯선 개념과 용어들이 뒤섞여 있는 느낌이 남아 있다. 하지만 오히려 그렇기 때문에 이 책은 한 번 읽고 끝낼 책이라기보다는, 책에서 소개한 예제와 키워드를 직접 실습해 보고 다시 한번 회독했을 때 비로소 LLM과 LLMOps의 흐름이 자연스럽게 이어질 책이라는 생각이 든다. 언젠가 LLM 기반 애플리케이션을 직접 구축하고 운영하는 시점이 온다면, 가장 먼저 다시 펼쳐보고 싶은 책으로 기억에 남을 것 같다.