萬聖節快樂，ResNet 請客！

一點萬聖節小禮物🎃，我剛剛上傳了一些小型的 ResNet，它們經過了前所未有的訓練。應使用者要求，我將最近的一組超引數（MobileNet-v4 Conv Small x ResNet Strikes Back / timm，表格中的 ra4）應用於 'Basic Block' ResNet-18 和 34，包括 V2（預啟用）變體。

結果非常好！ResNet-18 的準確率達到 73-74%，ResNet-34 達到 77-78%，哇哦！

請參閱下表以瞭解更多背景資訊。我列出了一些過去的“最佳”ResNet 結果：

• ResNet Strikes Back (a1, a1h)
• torchvision “自帶電池” ResNets (tv2)，它們是 RSB 的後續版本
• O.G. torchvision (tv) ResNets，範圍在 18-50

實際上，我確實用類似的 ra4 超引數訓練了一個 D 變體的 ResNet50，但它們的改進不如過去那麼多，可能需要進一步的超引數調整和更多的增廣。

所有新權重在推理時都能很好地擴充套件到更高解析度。這裡有一些值得注意的地方。tv2 和 a1h ResNet50 是在 176x176 解析度下訓練的，透過在 224x224 下評估，它們試圖達到訓練-測試解析度差異的“峰值”（https://arxiv.org/abs/1906.06423）。當我研究 RSB 方法時，我不想為了在 224x224 評估時獲得峰值而犧牲高解析度擴充套件，只有在較低解析度下訓練的低成本 a3 才這樣。你可以在這個 288x288 表格中看到，a1 RSB 還有更多的潛力，tv2 已經處於下降趨勢，而 a1h 剛剛越過峰值。這些新的 ra4 是解析度縮放的佼佼者，還有一些提升空間。