미분류

Medium – How To Make Your PyTorch Code Run Faster

3월 19th, 2022 Posted by 룬룬

num_workers=0 보다는 숫자를 지정해준다. 1로만 만 해줘도 1.2배 빨라짐
pin_memory = True 설정
입력 이미지 크기가 고정이면 torch.backends.cudnn.benchmark = True를 사용한다. (관련 내용: https://go-hard.tistory.com/83)
AMP (Automatic Mixed Precision) 사용
Disable Bias for Convolutions Directly Followed by Normalization Layer
Set Your Gradients to Zero the Efficient Way: zero_grad를 사용하지 말고 수동으로 하라는 뜻이다. 0으로 할당하는 연산을 없애고 그냥 변수를 날려버리는 것인데, 의미가 있는지 잘 모르겠음.

for param in model.parameters():
    param.grad = None

for param in model.parameters():

param.grad = None