Changes number of channels in volumes.

Instead of choosing filter size, use em all.

28x28x192

Try 1×1 ⇒ 28x28x64 Try 3×3 ⇒ 28x28x128 Try 5×5 ⇒ 28x28x32 Try MaxPool ⇒ 28x28x32

Output: 28 x 28 x 256

Problem: Computational cost

28x28x192 ⇒ Conv 5×5, same 32 ⇒ 28x28x32

28x28x32 x 5x5x192 = 120 M

Using 1×1 convolution as bottleneck layer:

28x28x192 ⇒ Conv 1×1, 16 ⇒ 28x28x16 ⇒ Conv 5×5, 32 ⇒ 28x28x32

• 28x28x16 x 1x1x192 = 2,4 M
• 28x28x32 x 5x5x16 = 10 M
• Total: 12,4 M multiplications (1/10)