[LLM 핵심 이론] 환각을 잡는 두 기술: RAG와 파인튜닝

Note: 인프런 [LLM 핵심 이론, 구조로 이해하기] 강의를 듣고 정리한 내돈내산 🫡 학습 기록입니다.
 
LLM의 고질적인 문제인 '환각(Hallucination)'을 해결하고 우리 회사만의 전문 지식을 가르치는 두 가지 방법입니다.

1. 파인튜닝(Fine-Tuning): 뇌 구조 자체를 바꾸기

모델의 파라미터를 직접 재학습시켜 말투나 전문 지식을 내재화하는 과정입니다.

• LoRA(Low-Rank Adaptation): 요즘 실무 표준입니다. 전체 모델을 다 건드리는 대신, 일부 가중치만 효율적으로 학습시켜서 비용은 줄이고 성능은 챙기는 경량화 기법입니다.

2. RAG(Retrieval-Augmented Generation): 옆에 백과사전 두기

모델이 지식을 새로 배우는 게 아니라, 외부 DB에서 관련 정보를 실시간으로 찾아와서 답변하는 '오픈북 테스트' 방식입니다.

• 장점: 기업 데이터처럼 수시로 변하는 정보는 RAG가 훨씬 유리합니다. 매번 모델을 다시 학습시킬 필요 없이 DB의 문서만 교체하면 되니까요. 환각 현상을 줄이는 데도 매우 효과적입니다.

 

---

🧐 공부하다 보니 궁금했던 점들 (Q&A)
 
 

• RAG를 쓰면 환각이 아예 사라지나요? 아쉽게도 0%는 아닙니다. 하지만 모델의 내부 기억이 아니라 **'검색해온 문서'**를 근거로 대답하라고 제약을 걸기 때문에 헛소리를 할 확률이 획기적으로 줄어들긴 합니다. "근거가 확실한 답변"을 만들고 싶을 때 RAG가 필수인 이유죠.
• 전체 재학습 vs LoRA, 뭘 써야 할까요? 가성비와 자원 효율을 생각하면 LoRA가 압도적입니다. 전체 모델을 다시 학습시키는 건 돈도 너무 많이 들고 비효율적이에요. LoRA는 아주 일부만 건드리면서도 거의 비슷한 효과를 내서 요즘 실무에선 거의 이 방식을 씁니다.
• 우리 회사 데이터를 가르칠 땐 어떤 게 유리할까요? 데이터가 자주 바뀐다면 무조건 RAG입니다. 사내 데이터는 수시로 업데이트되는데, 그때마다 모델을 다시 구울 수는 없잖아요. RAG는 그냥 DB에 있는 문서만 바꿔주면 즉각 반영되니까 유지보수 면에서 훨씬 유리합니다.