14.10.1。基本操作

現(xiàn)在忽略通道，讓我們從步幅為 1 且無填充的基本轉(zhuǎn)置卷積運算開始。假設(shè)我們有一個nh×nw輸入張量和 kh×kw核心。以 1 的步幅滑動內(nèi)核窗口nw每行的次數(shù)和nh每列中的次數(shù)總共產(chǎn)生nhnw中間結(jié)果。每個中間結(jié)果是一個(nh+kh?1)×(nw+kw?1) 初始化為零的張量。為了計算每個中間張量，輸入張量中的每個元素都乘以內(nèi)核，從而得到kh×kw張量替換每個中間張量中的一部分。請注意，每個中間張量中替換部分的位置對應(yīng)于用于計算的輸入張量中元素的位置。最后，將所有中間結(jié)果相加以產(chǎn)生輸出。

例如，圖 14.10.1說明了轉(zhuǎn)置卷積如何與2×2內(nèi)核是為a計算的 2×2輸入張量。

圖 14.10.1轉(zhuǎn)置卷積2×2核心。陰影部分是中間張量的一部分以及用于計算的輸入和內(nèi)核張量元素。

trans_conv我們可以為輸入矩陣X和核矩陣實現(xiàn)這種基本的轉(zhuǎn)置卷積運算 K。

def trans_conv(X, K):
  h, w = K.shape
  Y = torch.zeros((X.shape[0] + h - 1, X.shape[1] + w - 1))
  for i in range(X.shape[0]):
    for j in range(X.shape[1]):
      Y[i: i + h, j: j + w] += X[i, j] * K
  return Y

def trans_conv(X, K):
  h, w = K.shape
  Y = np.zeros((X.shape[0] + h - 1, X.shape[1] + w - 1))
  for i in range(X.shape[0]):
    for j in range(X.shape[1]):
      Y[i: i + h, j: j + w] += X[i, j] * K
  return Y

與通過內(nèi)核 減少輸入元素的常規(guī)卷積（在第 7.2 節(jié)中）相反，轉(zhuǎn)置卷積通過內(nèi)核廣播輸入元素，從而產(chǎn)生大于輸入的輸出。我們可以從圖 14.10.1構(gòu)造輸入張量 和核張量來驗證上述基本二維轉(zhuǎn)置卷積運算的實現(xiàn)的輸出。XK

X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
trans_conv(X, K)

tensor([[ 0., 0., 1.],
    [ 0., 4., 6.],
    [ 4., 12., 9.]])

X = np.array([[0.0, 1.0], [2.0, 3.0]])
K = np.array([[0.0, 1.0], [2.0, 3.0]])
trans_conv(X, K)

array([[ 0., 0., 1.],
    [ 0., 4., 6.],
    [ 4., 12., 9.]])

或者，當輸入X和內(nèi)核K都是四維張量時，我們可以使用高級 API 來獲得相同的結(jié)果。

X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, bias=False)
tconv.weight.data = K
tconv(X)

tensor([[[[ 0., 0., 1.],
     [ 0., 4., 6.],
     [ 4., 12., 9.]]]], grad_fn=<ConvolutionBackward0>)

X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.Conv2DTranspose(1, kernel_size=2)
tconv.initialize(init.Constant(K))
tconv(X)

array([[[[ 0., 0., 1.],
     [ 0., 4., 6.],
     [ 4., 12., 9.]]]])

14.10.2。填充、步幅和多通道

與填充應(yīng)用于輸入的常規(guī)卷積不同，它應(yīng)用于轉(zhuǎn)置卷積中的輸出。例如，當指定高度和寬度任一側(cè)的填充數(shù)為 1 時，第一行和最后一行和列將從轉(zhuǎn)置卷積輸出中移除。

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)

tensor([[[[4.]]]], grad_fn=<ConvolutionBackward0>)

tconv = nn.Conv2DTranspose(1, kernel_size=2, padding=1)
tconv.initialize(init.Constant(K))
tconv(X)

array([[[[4.]]]])

在轉(zhuǎn)置卷積中，步長是為中間結(jié)果（即輸出）指定的，而不是為輸入指定的。