전체 글24 [learning rate scheduler] ReduceOnPlateau 핵심만 확인하기 주요한 파라미터는 아래와 같다.patience: 성능 향상 없는 몇 개의 epoch까지 참아줄거냐. ex) patience = 5로 설정, 130 epoch에서 최종 업데이트 되고 계속 성능 향상이 없다면 131~135까지 채우고 136번째에서 성능향상이 없다면 learning rate을 스케줄링한다.5번째까지 참고, 6번째마저 노답이면 그때 내려서 7번째에 적용하게 되니,떨어진 learning rate는 137번째에 적용된다.cooldown: learning rate 내리고 몇 epoch까지 쿨다운을 인정해줄거냐.ex) 위에서 136번째에서 learning rate가 떨어졌을 때 137번째 epoch부터 떨어진 learning rate를 적용시켜서cooldown=3이라면 137~139까지 coold.. 2026. 1. 15. Back propagation 과정 진짜 쉽게 이해하기 우선 back propagation 한줄 요약을 갈기고 가본다.weight 업데이트는 chain rule을 통해 이루어지고 chain rule에서 수식이 확장되는 대상은 "직전 feature들의 조합"들 어떤 간단한 mlp layer에 대해서 back propagation 하는 과정을 살펴보자.우선 forward pass는 "직전 feature"와 "사용되는 weight"의 조합으로 나타내본다.여기서 직전 feature라 함은 어떠한 input과 weight로 인해 발생한 중간 feature을 이야기하고,현 그림에서는 Z와 모델의 실질 output y hat을 말한다. 좀더 나아진, 보다 최적의 weight 업데이트를 위해서는 gradient의 반대 방향으로 업데이트 해줘야 한다.그러기 위해서는 아래에서.. 2025. 12. 28. Linear Prediction과 vocal tract filter 이해하기 (1) Linear prediction음성 신호는 시간에 따라 변하는 신호이지만 아주 짧은 구간에 있어서는 변하지 않는다는 quasi periodic 가정을 두고 분석한다. Linear prediction은 적은 길이의 이전 sample들의 weighted sum으로 현재 sample을 예측한다. 얼마나 짧냐 하면 8000 Hz의 음성 신호에서는 10 sample 만을 가지고한다. Linear prediction은 음성 신호의 생성 원리와 연관성이 깊다. 아주 간단하게 말하자면 voiced speech에 있어서는 pitch period를 주기로 impulse train이 생성되고 이를 vocal tract parameter로 음성의 spectral shape이 입히어 실제 음성 신호로 나오게 된다. 이때 lin.. 2025. 3. 18. Segmentation fault (core dumped) - pytorch 쓰는 와중에 에러가 생겼을 때 코드 돌릴 때 중간에 "죽었음"과 "Segmentation fault (core dumped)"는 너무 무서운 에러다.이유를 종잡을 수 없기 때문이다. 그런 내가 "Segmentation fault (core dumped)"를 마주해버렸다. 이 에러가 나오는 이유에 대해서는 여러 사람들이 install된 torch 버전 문제를 논하는 것 같았다. 우선 내가 해결한 방법은 아래와 같다. 1. 우선 nvcc -V를 통해 버전을 확인한다.12.1임을 확인했다. 2. https://pytorch.kr/get-started/previous-versions/ 링크를 통해 CUDA 12.1에 해당하는 것을 설치해본다.나는 최신 버전부터 하나하나 CUDA 12.1에 해당하는 것을 설치하며 에러가 뜨는지 안뜨는지 .. 2025. 1. 14. 이전 1 2 3 4 ··· 6 다음
