LLM(Large Language Model)
대규모 매개변수(parameter)를 가진 언어 모델
대표 모델
- GPT-4, Claude, Gemini, LLaMA 등..
특징
- 방대한 파라미터 수
- 범용성 높음 (코딩, 글쓰기, 분석 등)
- 대용량 학습 데이터 기반
SLM(Small Language Model)
경량화된 언어 모델
목적
- Edge device 또는 로컬 환경에서의 경량 추론
특징
- 파라미터 수가 상대적으로 적음
- 특정 도메인 특화 가능성
- 속도와 메모리 최적화
SLM vs LLM 비교
항목 | SLM (Small Language Model) | LLM (Large Language Model) |
파라미터 수 | 수천만~수억 | 수십억~수천억 이상 |
성능 | 경량 특화, 빠른 응답 | 고성능, 복잡한 작업 수행 가능 |
메모리/속도 | 낮은 메모리, 빠른 속도 | 고메모리 요구, 느릴 수 있음 |
학습 비용 | 낮음 | 매우 높음 |
배포 환경 | 로컬, 모바일, IoT 등 | 클라우드, 서버 중심 |
활용
SLM이 유리한 경우
- 엣지 디바이스 기반 AI (스마트폰, IoT)
- 개인화된 오프라인 서비스
- 빠른 응답이 중요한 앱 (실시간 보조 등)
- 프라이버시가 중요한 환경
- 예시 : MLC-LLM, GGUF 포맷 기반의 로컬 추론, LoRA 기반의 튜닝 모델
LLM이 유리한 경우
- 범용 챗봇 서비스
- 코드 자동완성/리팩토링 도구
- 리서치 보조 도구
- 복합 Reasoning 및 문서 생성 / 요약
결론
SLM과 LLM은 경쟁 구도가 아닌, 상호보완적이다.
개발자는 상황에 따라 적절한 모델을 선택해야 하며, 성능/자원/응답속도/배포환경 등을 종합적으로 고려하는 것이 중요하다.
참고 자료
- OpenAI GPT-4
- Meta LLaMA
- MLC-LLM 프로젝트
- Hugging Face SLM 관련 모델