hyunjungscoding hyunjungscoding

1. BERT : 양방향으로 학습해 문맥상 단어 파악 능력이 뛰어나 챗봇구현, 단어 의미 파악하는데 훌륭한 모델이라고 한다. BERT 의 INPUT에 맞게 토큰임베딩, segment임베딩, 위치 임베딩을 진행하고 나온 인풋값으로 attention mask 작업을 진행한다. # bert 의 input 값에 맞게 문장 처음에 [CLS] , 문장 끝에 [SEP]를 넣어서 문장 구분을 진행하며, [CLS] 토큰은 문장 전체의 의미를 가지고 있다 # BERT에 활용한 사전학습 모델을 BertTokenizer.from_pretrianed함수로 불러와서 토큰화를 진행 # 토큰화된 값의 고유한 인덱스값으로 변경 , 모든 문장 길이 맞춤 #마스킹 작업 진행 # train,test,validation 데이터 셋으로 나눈다..