AI (DeepLearning)/NLP8 [자연어 처리 입문 NLP] #11 BERT를 다양한 자연어처리 Task에 응용해보자 SQuAD (Stanford Question Answering Dataset)100K(10만개) 질답으로 구성된 데이터 셋https://rajpurkar.github.io/SQuAD-explorer/v1.1 vs v2.01.1: 100K(10만개) 질답v2.0: 기존 1.1에서 50K(5만개)의 답을 할 수 없는 데이터를 추가 성능 평가 방식EM (Exact Match): 정확히 일치하는지 체크F1 Score: 정답과 일치하는 비율실습bert_squad_v1.1_exampleKorQuAD (Korean Question Answering Dataset)SQuAD 한국어 버전, LG CNS에서 구축1,560 개의 Wikipedia article에 대해 10,645 건의 문단과 66,181 개의 질의응답 쌍으.. 2024. 8. 30. [자연어 처리 입문 NLP] #10 BERT(Bidirectional Encoder Represnetations from Transformers) 모델 소개 Inflearn에서 NLP 강좌인 "예제로 배우는 딥러닝 자연어 처리 입문 NLP with TensorFlow - RNN부터 BERT까지" 강좌를 들으며 정리한 글입니다. 섹션3까지는 사전 준비 과정이라 별도로 정리하지 않았습니다.BERTBidirectional Encoder Representations from Transfomers2018년 공개된 논문(이 논문 이후로) NLP Task에서도 빅 모델의 시대를 연 모델전이 학습 (Transfer Learning)Transfer Learning(= Fine-Tuning)는 이미 학습된 NN 파라메터를 새로운 Task에 맞게 다시 미세 조정하는 것을 의미컴퓨터 비전 문제에서는 ImageNet 등의 데이터 셋에서 미리 Pre-Traning => 풀고자 하는 .. 2024. 8. 30. [자연어 처리 입문 NLP] #9 Transformer - 최신 NLP의 기술의 기반이 되는 핵심 모델을 학습해보자 Inflearn에서 NLP 강좌인 "예제로 배우는 딥러닝 자연어 처리 입문 NLP with TensorFlow - RNN부터 BERT까지" 강좌를 들으며 정리한 글입니다. 섹션3까지는 사전 준비 과정이라 별도로 정리하지 않았습니다.TransformerBERT 등 기본 모델이 됨ANN (1950s) => CNN / LSTM (1980s) => Transformer(2017)딥러닝 구조 중 하나seq2seq 모델 기반 + (RNN이 아닌) Attention 기법을 적용장점특징들의 시간적, 공간적 연관관계에 대한 선행을 가정하지 않음RNN처럼 순차적인 형태가 아닌 병렬적 계산 가능멀리 떨어진 정보들에 대한 연관관계를 학습시계열 처리에서도 도전적인 문제Attention Vector를 길게 잡아서 멀리 있는 정보.. 2024. 8. 30. [자연어 처리 입문 NLP] #8 기계번역(Neural Machine Translation) - 딥러닝을 이용해 번역을 수행해보자 Inflearn에서 NLP 강좌인 "예제로 배우는 딥러닝 자연어 처리 입문 NLP with TensorFlow - RNN부터 BERT까지" 강좌를 들으며 정리한 글입니다. 섹션3까지는 사전 준비 과정이라 별도로 정리하지 않았습니다.기계 번역(Machine Translation) 방법론 변화규칙 기반 기계번역 (Rule Based Machine Translation)규칙을 벗어난 번역은 대응이 어려움새로운 언어를 추가할 때마다 규칙을 새로 규정 필요통계 기반 기계번역 (Statistical Machine Translation)통계적인 특징을 기반규칙 기반에 비해 성능은 나으나 일반화 성능이 떨어지는 문제점이 있음신경망 기계번역 (Neural Machine Translation)딥러닝 이용예외 상황에서 안정.. 2024. 8. 30. 이전 1 2 다음
