한빛미디어 <주니어 AI 엔지니어가 반드시 알아야 할 실무 지식> 리뷰 - 모델이 더 좋아지더라도 오류가 더 많아지는 것에 관하여

“한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다.”

총평

- 책의 난이도  : ★★★☆☆
- 추천 별점     : ★★★★★
- 추천 독자     : AI를 다루는 엔지니어 분들 모두
- 지은이         : 김태헌
- 출판사         : 한빛미디어

---

 

이 책 오랜만에 정말 마음에 드는 책이다.

난 사실 단순한 AI 용어 정리에 그치는 책인줄 알았다.

그런데 아니다. 다르다. 이 책은 실무자로써 반드시 고민해야하는 굉장히 철학적이고도 폭넓은 내용을 제시하고 있다.

저자의 말 중

 

이 책의 저자 김태헌님은 유행을 좆는 책이 되지 않고자 신경을 많이 썼다고 한다. 난 이 말이 책에도 잘 반영되었고 얼마나 고심해서 책을 썼는지 느낄 수 있었다. 이 책은 단순히 AI 기술을 말하는게 아니라 우리가 업무를 함에 있어서 고민해야할 방향을 만들어준다는데 그 의미가 있다. 

책 제목은 주니어 AI 엔지니어가 반드시 알아야할 실무 지식이라고 하지만 주니어 엔지니어 뿐아니라 AI를 사용하는 모든 사람들이 고민해야할 부분을 다루고 있다.

 

좋았던 내용들을 몇 개 선발해서 적어본다.

 

결국 이 책은 우리가 AI를 활용하면서 어떤 부분에 대해서 집중하고 잘 설계해야하는지 현실적인 이야기를 많이해준다.

가장 중요한건 비용과 좋은 퀄리티의 답변을 받기 위한 내용이지 않나 싶다.

 

RAG를 운영하면서

 

8장에서는 모델에게 올바른 맥락을 제공하는 기술을 다루고 있다.

8.3에서 물어본다. 단일 검색으로 답할 수 없는 질문들은 어떻게 해결하는가?

 

만약 누군가 사내 정책에서 "우리 회사 환불 기한은 몇일까지야?"라고 물어본다고하면 우리는 쉽게 RAG를 써야한다는건 이제 누구나 아는 사실이다. 그런데 누가 "우리 회사 환불 기한이 2023년과 2025년의 차이가 어떻게되?"라고 물어본다면 양상이 달라진다.

우리는 이러한 문제를 멀티홉 추론이라고 부른다.

 

기본적으로 RAG는 가장 비슷한 단락 하나를 찾는 구조이기 때문에 단순히 실무적으로 기능을 구현한다면

2023년 정책을 찾고, 2025년 정책을 찾고, 이 둘을 비교하는 3가지의 질문과 추론이 발생한다. 

 

이 문제는 어떻게 해결할 수 있을까?

 

기본적으로 RAG의 벡터 검색은 구조적 한계가 있다. 개별 청크의 유사도는 계산할 수 있지만 2023년 버전과 2025년의 버전이 어떻게 다른지는 벡터 유사도로 표현해내기 어렵다. 그래서 그래프 기반 접근을 사용하여 관계를 표현한다. 이 접근 방식은 문서나 개념을 노드로 그들 사이의 관계를 엣지로 연결하는 것으로 그래프 검색은 시작 노드에서 관계를 따라 N-홉 이내의 연결 노드들을 반환하는 방식이다. 이를 통해서 환불 정책을 시작 노드로 잡고 관계를 타고 가며 연관된 정보를 수집하면서 쿼리 분해 없이 함께 찾아 비교가 가능하다.

 

뿐만아니고 여기서 실무적 인사이트를 제공해주는 것은 문서가 자주 바뀌지 않는 도메인에서는 미리 지식을 구조화해두고 질의 시점에 구조화된 지식을 참조하는것이 더 빠르고 안정적일수 있다는 것이다.

 

에이전트 루프가 무조건적으로 좋다고 할 수 없다.

 

SRE팀에서 에이전트를 통해서 인프라 원인을 분석하고 문제점을 진단하고 해결하는 에이전트를 만든다고 했을 때 무조건적으로 에이전트를 그냥 적용하면 오히려 잘못된 진단, 토큰만 낭비 등의 문제가 발생할 수 있다. 같은 작업을 반복하면서도 매번 다른 방식으로 접근하고, 매번 새로운 계획을 세우며, 이전에 했던 단계를 다시 반복하는 일들이 비일비재했다고 한다. 

결국 이를 해결하기 위해서는 각 문제에 대한 단계를 리스트업하여 매트릭스화 해야한다. 일종의 체크리스트를 task 별로 나누고 각 단계별로 status를 두고 done 표시 등을 통해 같은 단계를 반복하지 않도록 유도할 수 있고, 컨텍스트가 길어져도 계획자체는 외부 데이터에 저장되어 있기 때문에 계획자체는 일관성이 유지된다.

 

또한 단계가 늘어나면 신뢰도는 떨어진다고 한다. 에이전트의 단계 수를 줄이는 것이 가장 효과적인 신뢰성 향상 전략이다. 

 

 

비용에 대한 내용도 우리 꼭 챙기자.

 

 

$47,000 생각보다 비일비재한 금액이다. 한때 토큰을 최대한 많이 쓰라고 했지만 지금은 토큰이 곧 비용이기 때문에 어떻게 최소화할 수 있는지 고민하고 있다. 토큰을 많이 투입한다고 해서 더 좋은 결과가 나오는 것도 아니기 때문에 우리는 이러한 꿀팁들을 잘 기억해 놓을 필요가 있다. 평상시에 에이전트나 AI를 설정할때도 이런 안전장치들은 필수가 아닐까 싶다.

 

이 책은 여러가지 의미로 배우고 생각할 내용이 많은 책이었다. AI에 관련되서 커리어를 생각하고 있다면 꼭 일어둘 책이라고 생각한다.