Conv1D와 Linear layer
논문을 구현할 때 linear layer을 nn.linear이 아닌 conv1d의 kernel = 1으로 사용하라고 선배가 알려주셨다. 문제를 간단히 정의하자면 아래와 같다. time index은 유지한 채 feature dimension을 바꿨어야 했다. \( Input : [4, 10]\) \( Output : [2, 10]\) 우선 conv1d를 살펴보자. torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, ...) Conv1d의 input과 output을 보면 각각 \( (B,~C_{in},~L)\), \( (B,~C_{out},~L_{out})\) 이다. \( C_{out}\)은 사용자가 지정한 채널 개수로, \( L_{out}\..
2023. 3. 1.
