💡AI uzlnee

/

💡AI

4

AI와 머신러닝 및 딥러닝 관련 학습 내용 기록

[NLP] Sparse Passage Retrieval Passage Retrieval (문서 검색)Passage Retrieval은 질의(Query)에 맞는 문서(Passage)를 찾는 과정을 의미한다.위의 그림을 간단하게 설명하면, Query와 Passage를 각각 임베딩하여 유사도를 측정하고, 유사도가 가장 높은 Passage를 선택하는 방식이다.Sparse EmbeddingPassage를 임베딩하는 방식

0

0

a month ago

6 min read

article-thumbnail

[DL] 모델 경량화: Pruning ② Pruning 방법을 4가지 관점으로 분류해서 알아보자!StructureStructure는 Pruning 단위의 granularity에 따른 구분 방식이다. 여기서 granualarity는 조그마한 edge 단위로 없앨지 혹은 뉴런 단위나 레이어 단위로 제거할지를 의미한다.Structure 관점으로 봤을 때, Pruning은 2가지의 세부 기법으로 분류할

0

0

a month ago

8 min read

article-thumbnail

[DL] 모델 경량화: Pruning 1️⃣Pruning이란?노드(뉴런)과 연결(시냅스)로 구성되어 있는 신경망 모델에서 노드 또는 시냅스를 제거하여 모델의 크기와 계산비용을 줄이는 기법Pruning frameworks아래의 그림은 Pruning의 과정을 도식화한 것이다. 초기 모델에서 불필요한 파라미터들을 판별하여 파라미터를 제거하는 Pruning을 진행한다. 이때 제거는 원래 가지고 있던 값들을

0

0

a month ago

7 min read

article-thumbnail

[AI/DL] AI 기초이론 및 딥러닝 심화 내용 간단 정리 머신러닝 vs 딥러닝머신러닝은 데이터를 이용해 명시적인 프로그래밍 없이 학습하는 기술로, SVM, 의사결정트리, 랜덤포레스트 등이 있음딥러닝은 인공신경망을 기반으로 하는 머신러닝의 한 분야로, 다층 구조를 통해 이미지, 음성, 자연어 같은 비정형 데이터를 효율적으로 처리과적합을 방지하는 방법과적합: 모델이 학습 데이터에 너무 잘맞아서, 새로운 데이터에 일반

0

0

a month ago

13 min read

article-thumbnail

·

코딩코딩

태그

AIDL경량화NLPMRCODQA

최근 댓글

아직 댓글이 없어요