[BERT] BERT학습기

1.  BERT : 양방향으로 학습해 문맥상 단어 파악 능력이 뛰어나 챗봇구현, 단어 의미 파악하는데 훌륭한 모델이라고 한다.

 

BERT 의 INPUT에 맞게 토큰임베딩, segment임베딩, 위치 임베딩을 진행하고 나온 인풋값으로 attention mask 작업을 진행한다. 

 

# bert 의 input 값에 맞게 문장 처음에 [CLS] , 문장 끝에 [SEP]를 넣어서 문장 구분을 진행하며, [CLS] 토큰은 문장 전체의 의미를 가지고 있다 

# BERT에 활용한 사전학습 모델을 BertTokenizer.from_pretrianed함수로 불러와서 토큰화를  진행

# 토큰화된 값의 고유한 인덱스값으로 변경 , 모든 문장 길이 맞춤 

#마스킹 작업 진행 

# train,test,validation 데이터 셋으로 나눈다음, 파이토치 텐서로 변환

 

#파인 튜닝 과정 : 원하는 작업을 수행하기 위해 목적에 맞게 튜닝

#모델 학습 후 모델 테스트 

-> 위에 버트 수행하는 과정은 어느정도 흐름파악도 됬고 이해도 됬는데 

모델학습과 모델 테스트 부분은 계속 봐도 잘 모르겠다 ㅠㅠ