오늘의 회고를 쓰기 전, 금방 구운 군고구마같이 어제 발표된 아주 따끈따끈한 AI 소식을 살펴보자.
Google DeepMind에서 새롭게 발표한 Genie2를 확인해보겠나?! 😙 이게 뭐야? 정말 어메이징하다.
이 모델을 통해 단 1장의 이미지로 3D 환경을 생성할 수 있는 기술이 탄생했다. 이렇게 생성된 환경은 사람이 직접 게임처럼 플레이하거나, AI 에이전트를 훈련하고 평가하는 데 활용될 수 있다고 한다.
오늘의 회고를 시작한다. 최근 패스트캠퍼스에서 1+1 블프 할인을 하길래 LLM과 MLOps 강의를 결제했다 💰 열심히 해보자구 -!
생성형 AI란?
AI가 일을 하려면, 일을 시켜야한다! > 명령을 줘야한다 > 텍스트 형태로! [입력]
출력은 텍스트, 이미지, 오디오, 의사결정 등으로 가능하다.
텍스트 ex) 번역, 요약, Q&A, 맞춤법 교정, 코드 리뷰
의사결정
Prediction ex) 주식 예측
Anomaly Detection ex) 튀는 값이 있다면, 정상인지 아닌지 / 게임에서 플레이어가 공격을 해야하는지 공격하지 말아야하는지
오디오 ex) Text To Speech, Speech To Text : Whisper / AI 상담원, 수업 녹음을 텍스트로 변환
참고 💬
LLM ex) ChatGPT은 생성형 AI의 하위에 속해있음
Anomaly Detection은 별도의 모델이 있어서 추후에 생성형 AI를 쓰는게 좋을지, 별도의 모델을 쓰는게 좋을지 비교해볼 예정
LLM vs SLM
LLM(Large Language Model)과 SLM(Small Language Model)
파라미터 크기
SLM(1,500만개 이하: 적음), LLM(수천억 개 이상: 많음)
하드웨어 요구사항
SLM(Mobile 장치 프로세스 사용 가능), LLM(방대한 데이터로 학습, GPU 필요)
LLM API를 서비스화하는 기업에서도 GPU를 씀
배포
SLM(자원이 제한된 환경에서 배포 가능), LLM(상당한 인프라 요구, 클라우드 사용)
훈련 시간
SLM(일주일), LLM(수개월)
소유권
SLM(누구나, 대부분 오픈소스), LLM(제조사)
라이선스
SLM(오픈소스, 코드 투명O), LLM(필요, 코드 투명X)
비용
SLM(대부분 무료), LLM(유료)
유연성
SLM(특정 도메인에 집중), LLM(다목적 사용가능)
참고 💬
현재 기업추세는 어떨까? LLM에서 SLM으로 옮겨가는 추세 : 우리 기업만의 특화된 모델을 가지고 싶어! SLM을 가지고 파인튜닝을 할거야! SLM 관련 모델 많이 나오고 있음
장단점
SLM
장점 : 적은 하드웨어 자원 사용, 속도 빠름, 수월한 커스터마이징
단점 : 상대적으로 낮은 수준의 문맥 이해, 결과에 대한 낮은 품질
LLM
장점 : 높은 수준의 문맥 이해, 결과에 대한 높은 품질 보장, 상대적으로 낮은 편향 문제
단점 : 많은 하드웨어 자원 필요, 사용에 대한 비용 발생, 속도 느림
어떤 기준으로 선택해야할까?
높은 수준의 품질, 사람과 대화하는 것과 같은 수준의 서비스가 필요한가? 예 : LLM, 아니오 : SLM
SLM같은 경우, API만 가져다가 쓰는 것이 아니라 추가 데이터로 학습시켜 도메인에 더 특화된 모델을 만드는 것이 일반적
LLM같은 경우, RAG를 이용한 LLM을 도입해야함