https://huggingface.co/microsoft/speecht5_tts microsoft/speecht5_tts · Hugging Face 👩‍🎤 Matthijs/speecht5-tts-demo 🚀 Zhenhong/text-to-speech-SpeechT5-demo 🏆 course-demos/speech-to-speech-translation 🚀 Sandiago21/speech-to-speech-translation-german 🚀 Sandiago21/speech-to-speech-translation-italian 🚀 Sandiago21/text-t huggingface.co 급하게 리서치 할 것이 생겨서 잠시 강의 듣기는 보류 SpeechT5 model : - 음성 합성을 위해서 파인튜닝됨..

https://arxiv.org/abs/1502.03167 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful param arxiv.org ▲ bat..

1. Regularization for Neural Networks - 학습 데이터의 일반적인 패턴 뿐만 아니라 노이즈까지 적합이 된다면? - 과적합 시 학습 데이터셋에 대해서는 loss가 계속 낮아지지만 평가 데이터셋에 대해서는 loss가 다시 높아지기 시작 - 고차원 데이터나 노이즈가 많은 데이터일수록 과적합에 유의해야 함 - 모델이 불필요하게 복잡할수록 과적합될 가능성이 높아짐 - adding an additional penalty term in the objective function (loss function) - 모델이 너무 복잡하기 않도록 regularize하는 작업 - weight가 작아지는 방향으로, 아예 필요하지 않다면 아예..

https://tutorials.pytorch.kr/recipes/recipes/tensorboard_with_pytorch.html 텐서보드 - 학습에 사용되는 각종 파라미터 값이 어떻게 변화하는지 시각화하여 살펴볼 수 있음 - 성능(loss/accuracy) 추적, 시각화 or 평가 용도 (1) SummaryWriter 인스턴스 생성 import torch from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter() 모니터링 값들이 출력되는 디렉토리를 ()에 설정해줄 수 있음 (2) 스칼라(scalar) 기록하기 - 스칼라는 각 학습 단계에서 손실 값이나 각 에폭 이후의 정확도를 저장하는데 도움을 줌 - 스칼라 값을 기록하려면 ..

1. 파이토치 : GPU에서 텐서 조작 및 동적 신경망 구축이 가능한 프레임워크 GPU : 빠른 연산속도 Tensor : 파이토치의 데이터 형태 동적 신경망 : 훈련 반복 때마다 네트워크 변경이 가능한 신경망 2. 파이토치의 아키텍쳐 파이토치 API : 가장 상위 계층 파이토치 엔진 : 다차원 텐서 및 자동 미분(autograd) 처리 연산처리 : 텐서에 대한 연산 처리, 텐서의 실질적인 계산을 위한 C, CUDA등 라이브러리가 위치함 2.1 파이토치 API 사용자가 이해하기 쉬운 API를 제공하여 텐서에 대한 처리와 신경망을 구축하고 훈련할 수 있도록 도움. (실제 계산은 수행하지 않고, 파이토치 엔진으로 그 작업을 전달하는 역할만!) torch : GPU를 지원하는, 텐서 생성 라이브러리 다차원 텐서..

We have seen how to construct a Neural Network architecture, and how to preprocess the data. Before we can begin to train the network we have to initialize its parameters. data가 well-normalized 되었다는 가정하에 학습되는 (최종) weight 또한 0을 중심으로 절반은 양수값, 절반은 음수값으로 정해질 것이라고 예측할 수 있을텐데, 그렇다면 다 동일하게 그냥 w=0으로 초기화하면 안되는가?의 질문이다. 모든 w가 동일하다면 ouput = wx로 모든 뉴런이 동일한 parameter update 과정을 겪게 될 것이고 이러면 뉴런을 여러 개 쌓아준 의미가 ..

[ Zero-Centering & Normalization ] * why zero-centering? - recall how gradient was oriented inefficiently when all the inputs were positive either negative - classification becomes less sensitive to small changes in weights * zero-centering : substract the data by global mean * normalizing : divide the data by standard deviation [ PCA & Whitening ] * PCA : data becomes zero-centered AND axis-ali..

# activation function의 역할 : 비선형성 구현 linear한 hidden layer 백만개 쌓아봤자 linear 백만개 합성하면 그대로 linear이기에... activation funciton을 이용하여 non-linearity가 가능하게, 모델이 더 복잡하게 만들어질 수 있도록 해준다. 활성화 함수의 종류로 여러 가지 (sigmoid / tanh / ReLU)등이 있는데 이들 중 어떤 function을 neural network model로 이용할지 결정해야 한다. Sigmoid Function σ(x) = 1/(1+exp(-x)) 위 그림에서 보이는것처럼 σ(x) 의 output은 (0,1)의 범위내로 출력된다. 초기 간단한 Neural Network 구현에서는 σ(x)의 outp..

Fully - Connected Layer - 모든 input 값과 output 값이 1:1로 연결됨 - Fully-Connected layer models relationships from every input value to every output value - 따라서, it is assumed that any output value can be affected by any input value 지금까지 배운 MLP(다층신경망)가, 가중치 W를 input X에 행렬곱 해주고 이를 활성화함수에 통과시키는 fully connected 구조였다. Convolution 연산 - fully connected 구조와 다르게 kernel을 input vector에서 움직이면서 linear model이 적용되는 연..