본문 바로가기

Total220

[자연어 처리 입문 NLP] #6 언어모델(Language Modelling) - 다음에 올 단어를 예측해보자 Inflearn에서 NLP 강좌인 "예제로 배우는 딥러닝 자연어 처리 입문 NLP with TensorFlow - RNN부터 BERT까지" 강좌를 들으며 정리한 글입니다. 섹션3까지는 사전 준비 과정이라 별도로 정리하지 않았습니다. N-gram 언어모델(강의에 기본적인 설명이 있는데, 정리에서는 skip)...N-gram 언어모델의 문제점특정 단어 조합의 경우 데이터셋에 한번도 존재하지 않아서 계산식의 분모나 분자가 0이 될 수 있음이를 방지하기 위해 Laplacian Smoothing 을 하기도 함.최근에는 딥러닝에 기반한 언어 모델이 주로 사용ANN (인공신경망) => 1950년 ML순환 신경망(RNN)CNN - 이미지 구분용RNN - NLP에서 주로 활용하는 신경망 Unfold RNN(좌측) Hid.. 2024. 8. 30.
[자연어 처리 입문 NLP] #5 자연어 처리를 위한 기초 지식 Inflearn에서 NLP 강좌인 "예제로 배우는 딥러닝 자연어 처리 입문 NLP with TensorFlow - RNN부터 BERT까지" 강좌를 들으며 정리한 글입니다. 섹션3까지는 사전 준비 과정이라 별도로 정리하지 않았습니다.Tokenizing & One-hot EncodingTokenizing전체 테스트를 원하는 구분 단위로 나누는 것 One-hot Encoding범주형 값(Categorical Value)을 이진화된 값(Binary Value)으로 바꿔서 표현하는 것Integer Encoding 문제점은 정수 값으로부터 잘못된 경향성을 학습하게 될 수도 있음“개”(=1) 와 “말”(=3)의 평균(1+3/2=2)은 “고양이”(=2)이다. => 명백히 잘못된 학습(전통적으로) 단어 하나를 One-h.. 2024. 8. 30.
[자연어 처리 입문 NLP] #4 자연어 처리란? Inflearn에서 NLP 강좌인 "예제로 배우는 딥러닝 자연어 처리 입문 NLP with TensorFlow - RNN부터 BERT까지" 강좌를 들으며 정리한 글입니다. 섹션3까지는 사전 준비 과정이라 별도로 정리하지 않았습니다.NLP 문제영역Machine Translation: 기계 번역, 파파고 같은 언어 번역Sentiment Analysis: 문장의 감정상태를 분석영화 리뷰 코메트를 보고 긍정/부정 구분Spam Filtering스패머도 고도화 되어 창과 방패의 싸움에 NLP가 활용Image CaptioningText Summarization: 내용 요약🌟 Question Answering고객상담 봇에 활용Dialogue Generation 딥러닝 모델로 진화(2020년 기준)이때 BERT와 GP.. 2024. 8. 30.
Lambda Architecture Yes24 에서 Lambda Architecture 검색 해 보니 가장 최근 책이 2018년 04월 책그 만큼 오래전에 나온 개념이며, 대세로 MVC 처럼 많이 사용되는 구조 Ingestion LayerStreaming Layer (Real-Time Layer or Speed Layer)Batch LayerServing Layer각 Layer에 따라 활용되는 기술 스텍도 많이 다르다. 아래 Youtube 사례를 참고하면 그 특징을 참고할 수 있다. Youtube 사례https://www.youtube.com/watch?v=mJsLK-iPagc⏱ Chapter Timestamps ==================== 00:00 - Intro 00:30 - Agenda 01:08 - Batch vs Stre.. 2024. 6. 15.