avatar
kirise

생성형 AI 개요 및 LLM과 SLM 차이

데일리 회고 24.12.06
GenAILLMSLM
18 days ago
·
5 min read

오늘의 회고를 쓰기 전, 금방 구운 군고구마같이 어제 발표된 아주 따끈따끈한 AI 소식을 살펴보자.

Google DeepMind에서 새롭게 발표한 Genie2를 확인해보겠나?! 😙 이게 뭐야? 정말 어메이징하다.

이 모델을 통해 단 1장의 이미지로 3D 환경을 생성할 수 있는 기술이 탄생했다. 이렇게 생성된 환경은 사람이 직접 게임처럼 플레이하거나, AI 에이전트를 훈련하고 평가하는 데 활용될 수 있다고 한다.

오늘의 회고를 시작한다. 최근 패스트캠퍼스에서 1+1 블프 할인을 하길래 LLM과 MLOps 강의를 결제했다 💰 열심히 해보자구 -!

생성형 AI란?

AI가 일을 하려면, 일을 시켜야한다! > 명령을 줘야한다 > 텍스트 형태로! [입력]

출력은 텍스트, 이미지, 오디오, 의사결정 등으로 가능하다.

  • 텍스트 ex) 번역, 요약, Q&A, 맞춤법 교정, 코드 리뷰

  • 의사결정

    1. Prediction ex) 주식 예측

    2. Anomaly Detection ex) 튀는 값이 있다면, 정상인지 아닌지 / 게임에서 플레이어가 공격을 해야하는지 공격하지 말아야하는지

  • 오디오 ex) Text To Speech, Speech To Text : Whisper / AI 상담원, 수업 녹음을 텍스트로 변환

참고 💬

  • LLM ex) ChatGPT은 생성형 AI의 하위에 속해있음

  • Anomaly Detection은 별도의 모델이 있어서 추후에 생성형 AI를 쓰는게 좋을지, 별도의 모델을 쓰는게 좋을지 비교해볼 예정

LLM vs SLM

LLM(Large Language Model)과 SLM(Small Language Model)

  • 파라미터 크기

    • SLM(1,500만개 이하: 적음), LLM(수천억 개 이상: 많음)

  • 하드웨어 요구사항

    • SLM(Mobile 장치 프로세스 사용 가능), LLM(방대한 데이터로 학습, GPU 필요)

    • LLM API를 서비스화하는 기업에서도 GPU를 씀

  • 배포

    • SLM(자원이 제한된 환경에서 배포 가능), LLM(상당한 인프라 요구, 클라우드 사용)

  • 훈련 시간

    • SLM(일주일), LLM(수개월)

  • 소유권

    • SLM(누구나, 대부분 오픈소스), LLM(제조사)

  • 라이선스

    • SLM(오픈소스, 코드 투명O), LLM(필요, 코드 투명X)

  • 비용

    • SLM(대부분 무료), LLM(유료)

  • 유연성

    • SLM(특정 도메인에 집중), LLM(다목적 사용가능)

참고 💬

현재 기업추세는 어떨까? LLM에서 SLM으로 옮겨가는 추세 : 우리 기업만의 특화된 모델을 가지고 싶어! SLM을 가지고 파인튜닝을 할거야! SLM 관련 모델 많이 나오고 있음

  • 장단점

    • SLM

      1. 장점 : 적은 하드웨어 자원 사용, 속도 빠름, 수월한 커스터마이징

      2. 단점 : 상대적으로 낮은 수준의 문맥 이해, 결과에 대한 낮은 품질

    • LLM

      1. 장점 : 높은 수준의 문맥 이해, 결과에 대한 높은 품질 보장, 상대적으로 낮은 편향 문제

      2. 단점 : 많은 하드웨어 자원 필요, 사용에 대한 비용 발생, 속도 느림

어떤 기준으로 선택해야할까?

  • 높은 수준의 품질, 사람과 대화하는 것과 같은 수준의 서비스가 필요한가? 예 : LLM, 아니오 : SLM

  • SLM같은 경우, API만 가져다가 쓰는 것이 아니라 추가 데이터로 학습시켜 도메인에 더 특화된 모델을 만드는 것이 일반적

  • LLM같은 경우, RAG를 이용한 LLM을 도입해야함


- 컬렉션 아티클






할 수 이떠