Medium – How To Make Your PyTorch Code Run Faster
https://betterprogramming.pub/how-to-make-your-pytorch-code-run-faster-93079f3c1f7b
- num_workers=0 보다는 숫자를 지정해준다. 1로만 만 해줘도 1.2배 빨라짐
- pin_memory = True 설정
- 입력 이미지 크기가 고정이면 torch.backends.cudnn.benchmark = True를 사용한다. (관련 내용: https://go-hard.tistory.com/83)
- AMP (Automatic Mixed Precision) 사용
- Disable Bias for Convolutions Directly Followed by Normalization Layer
- Set Your Gradients to Zero the Efficient Way: zero_grad를 사용하지 말고 수동으로 하라는 뜻이다. 0으로 할당하는 연산을 없애고 그냥 변수를 날려버리는 것인데, 의미가 있는지 잘 모르겠음.
|
1 2 3 |
for param in model.parameters(): param.grad = None |