Programming/Deep Learning (3) 썸네일형 리스트형 Activation Function의 종류와 특징 1. Sigmoid 장점 단점 미분이 가능하다. 0과 1 사이의 값을 갖는다. 1. 0에서 많이 벗어날수록 gradient가 0이 된다. > saturated neurons 'kill' the gradients. 2. sigmoid outputs are not zero centered. > 학습 속도가 떨어진다. 3. 지수함수는 계산이 힘들다. 2. tanh 장점 단점 음수를 값으로 가질 수 있다. kill gradients when saturated 3. ReLU < The BEST option 장점 단점 계산이 빠르다 미분이 쉽다 Does not saturate in + region Converges much faster than sigmoid or tanh in practice biologicall.. GPT 모델에 대한 이모저모 Korean GPT 모델 github.com/SKT-AI/KoGPT2#kogpt2-%ED%95%9C%EA%B5%AD%EC%96%B4-gpt-2 SKT-AI/KoGPT2 Korean GPT-2 pretrained cased (KoGPT2). Contribute to SKT-AI/KoGPT2 development by creating an account on GitHub. github.com GPT를 이미지로 설명 jalammar.github.io/illustrated-gpt2/?fbclid=IwAR2-9C2kKU-mObfA89Th47SqsA2kniJUkdXvjwtzK14DvnwB_iApYaIwsP0 The Illustrated GPT-2 (Visualizing Transformer Language Mode.. 소설 쓰는 딥러닝 발표를 듣고 https://www.youtube.com/watch?v=03mEWRC2hyA 발표 하시는 분이 발표를 잘 하셔서 재밌게 들었다. Challenges 1. 한국어의 특징 : 교착어 > 여러 형태소가 이어져서 한 단어를 이루는 언어 2. 장기 의존성 > 문맥이 자연스러운 소설을 쓰기 어려움 3. 학습이 오래 걸림 해결법 1. Tokenizing : KoNLPy soynlp Pycon 2014 Pycon Pycon2017 꼬꼬마, MeCab, twitter 등 이미 학습된 형태소 분석기를 Python으로 wrapping How it works 자신이 가진 데이터셋으로 비지도 학습 모델을 직접 학습시켜서 사용 JVM, JPype1 등 설치 필요 installation 순수 파이썬 패키지 동일한 결과 제공 Pe.. 이전 1 다음
