高效使用多个 Numpy 切片进行随机图像裁剪

问题描述：

我有一个 4 维 numpy 数组，第一维表示数据集中的图像数量，第二维和第三维表示（相等的）宽度和高度，第四维表示通道数量 (3)。例如，假设我有 4 张 28*28 的彩色图像，那么我的图像数据如下所示：

X = np.reshape(np.arange(4*28*28*3), (4,28,28,3))

我想从 4 幅图像中随机选取 16*16 宽 x 高的裁剪图。关键是，我希望每幅图像的裁剪图都不同，即我想要生成 4 个随机 (x_offset, y_offset) 对。最后我想要访问一个形状为 (4, 16, 16, 3) 的数组。

如果我在 for 循环中写入它，它看起来会像这样：

x = np.random.randint(0,12,4)
y = np.random.randint(0,12,4)
for i in range(X.shape[0]):
    cropped_image = X[i, x[i]:x[i]+16, y[i]:y[i]+16, :]
    #Add cropped image to a list or something

但我希望尽可能高效地完成这项工作，我想知道是否有办法使用步幅和花哨的索引来完成这项工作。我已经看到了这个问题的答案，但还不能完全理解如何将类似 stride_tricks 的东西与第二和第三（宽度和高度）轴上的步幅的随机起点结合起来。

解决方案 1：

利用杠杆strided-based方法高效提取补丁

我们可以利用np.lib.stride_tricks.as_strided基于的scikit-image's view_as_windows来获取滑动窗口，这些窗口将仅views进入输入数组，因此不会产生额外的内存开销，而且几乎是免费的！我们当然可以np.lib.stride_tricks.as_strided直接使用，但所需的设置工作很难管理，尤其是在维度较高的数组上。如果scikit-image没有，我们可以直接使用source code独立工作的。

使用说明view_as_windows

的想法view_as_windows是，我们将输入参数window_shape作为一个长度与需要滑动窗口的输入数组的维数相同的元组。我们需要滑动的轴被输入相应的窗口长度，其余的轴被输入1s。这将创建一个数组，views即singleton dims/axes对应lengths=1于参数1s中的轴。因此，对于那些情况，我们可能希望索引到对应于作为滑动窗口长度window_shape输入的轴的第零个元素，以获得滑动窗口的压缩版本。1

因此，我们会有一个解决方案，就像这样 -

# Get sliding windows
from skimage.util.shape import view_as_windows
w = view_as_windows(X, (1,16,16,1))[...,0,:,:,0]

# Index and get our specific windows
out = w[np.arange(X.shape[0]),x,y]

# If you need those in the same format as in the posted loopy code
out = out.transpose(0,2,3,1)