PyTorch一周年戰(zhàn)績總結(jié)：是否比TensorFlow來勢兇猛？

ymyang 發(fā)布于2019-04-25 18:23 / 3717人閱讀

摘要：截止到今天，已公開發(fā)行一周年。一年以來，社區(qū)中的用戶不斷做出貢獻(xiàn)和優(yōu)化，在此深表感謝。所以與衡量它的指標(biāo)包括在機(jī)器學(xué)習(xí)研究論文中的使用。來自香港科技大學(xué)的在上推出了面向普通觀眾的在線課程。

Yann LeCun Twitter

截止到今天，PyTorch 已公開發(fā)行一周年。一年以來，我們致力于打造一個靈活的深度學(xué)習(xí)研究平臺。一年以來，PyTorch 社區(qū)中的用戶不斷做出貢獻(xiàn)和優(yōu)化，在此深表感謝。

通過此文，我們打算對 PyTorch 一年的發(fā)展歷程做一個總結(jié)：PyTorch 的進(jìn)展、新聞以及社區(qū)亮點。

社區(qū)

我們很幸運，PyTorch 團(tuán)隊有一批強大、飽含熱情的研究者和工程師，核心團(tuán)隊的工程師和研究者來自不同的國家、公司和大學(xué)，沒有他們的付出就不會有今天的 PyTorch。

研究論文、工具包、GitHub

PyTorch 才發(fā)行幾天，社區(qū)用戶已經(jīng)開始借助 PyTorch 實現(xiàn)其最喜愛的研究論文，并把代碼公布在 GitHub 上。開源代碼對當(dāng)今的研究者來說是一個主要而核心的工具。

人們一起創(chuàng)建了 torchtext、torchvision 和 torchaudio，以便利化平民化不同領(lǐng)域的研究。

較早的 PyTorch 社區(qū)工具包（被命名為 Block）來自 Brandon Amo，有助于更輕松地處理塊矩陣（block matrix）。來自 CMU 的 Locus 實驗室后來繼續(xù)公布 PyTorch 工具包及其大部分研究的實現(xiàn)。較早的研究論文代碼來自 Sergey Zagoruyko，論文名稱為《Paying more attention to attention》。

來自 U.C.Berkeley 的 Jun-Yan Zhu、Taesung Park、Phillip Isola、Alyosha Efros 及團(tuán)隊發(fā)布了非常流行的 Cycle-GAN 和 pix2pix，用于圖像轉(zhuǎn)換。

參見論文：學(xué)界 | 讓莫奈畫作變成照片：伯克利圖像到圖像翻譯新研究

HarvardNLP 和 Systran 的研究者開始使用 PyTorch 開發(fā)和提升 OpenNMT，它最初開始于 Facebook Adam Lerer 的 [Lua]Torch 代碼最初的再實現(xiàn)。

參見：開源 | 哈佛大學(xué) NLP 組開源神經(jīng)機(jī)器翻譯工具包 OpenNMT：已達(dá)到生產(chǎn)可用水平

來自 Twitter 的 MagicPony 團(tuán)隊貢獻(xiàn)了其超分辨率研究示例的 PyTorch 實現(xiàn)。

Salesforce 發(fā)布了若干個工具包，包括其亮點成果 PyTorch-QRNN，這是一種新型 RNN，相比于 CuDNN 優(yōu)化的標(biāo)準(zhǔn) LSTM 可提速 2 到 17 倍。James Bradbury 及其團(tuán)隊是 PyTorch 社區(qū)中最活躍和最有吸引力的團(tuán)隊之一。

來自 Uber、Northeaster、Stanford 的研究者圍繞著其工具包 Pyro 和 ProbTorch，形成了一個活躍的概率編程社區(qū)。他們正在積極開發(fā) torch.distributions 核心工具包。該社區(qū)非?；钴S，快速發(fā)展，我們聯(lián)合 Fritz Obermeyer、Noah Goodman、Jan-Willem van de Meent、Brooks Paige、Dustin Tran 及其他 22 名參會者在 NIPS 2017 上舉辦了首次 PyTorch 概率編程會議，共同探討如何使世界貝葉斯化。

參見：Uber 與斯坦福大學(xué)開源深度概率編程語言 Pyro：基于 PyTorch

英偉達(dá)研究者發(fā)布了三個高質(zhì)量 repo，實現(xiàn)了 pix2pix-HD、Sentiment Neuron 和 FlowNet2。對 PyTorch 中不同數(shù)據(jù)并行模型的擴(kuò)展性分析對整個社區(qū)都很有益。

艾倫人工智能研究所發(fā)布 AllenNLP，包括多個 NLP 先進(jìn)模型：標(biāo)準(zhǔn) NLP 任務(wù)的參考實現(xiàn)和易用 web demo。

六月份，我們還首次取得了 Kaggle 競賽冠軍（團(tuán)隊 grt123）。他們獲得了 2017 數(shù)據(jù)科學(xué)杯（關(guān)于肺癌檢測）的冠軍，后來公開了其 PyTorch 實現(xiàn)。

在可視化方面，Tzu-Wei Huang 實現(xiàn)了 TensorBoard-PyTorch 插件，F(xiàn)acebook AI Research 發(fā)布了與 PyTorch 兼容的 visdom 可視化包。

最后，F(xiàn)acebook AI Research 發(fā)布了多個項目，如 ParlAI、fairseq-py、VoiceLoop 和 FaderNetworks，在多個領(lǐng)域中實現(xiàn)了先進(jìn)的模型和接口數(shù)據(jù)集。由于空間有限，這里就不將優(yōu)秀項目一一列出，詳細(xì)列表可參閱：https://github.com/soumith?tab=stars。

我們還要感謝那些在論壇中積極幫助別人的用戶。你們提供了無比珍貴的服務(wù)，非常感謝！

指標(biāo)

從數(shù)字上來看：

在 Github 上有 87769 行代碼引入 Torch。

在 Github 上有 3983 個 repository 在名字或者描述中提到了 PyTorch。

PyTorch binary 下載量超過 50 萬，具體數(shù)字是 651916。

在論壇上，有 5400 名用戶發(fā)表了 21500 條討論，涉及 5200 個主題。

自發(fā)布以來，在 Reddit 上的/r/machinelearning 主題中有 131 條討論提到了 PyTorch。同期，TensorFlow 被提及的次數(shù)為 255。

參見：

PyTorch 和 TensorFlow 到底哪個更好？看看一線開發(fā)者怎么說

TensorFlow 開源一周年：這可能是一份最完整的盤點

研究指標(biāo)

PyTorch 是一個專注于研究的框架。所以與衡量它的指標(biāo)包括 PyTorch 在機(jī)器學(xué)習(xí)研究論文中的使用。

在 ICLR 2018 學(xué)術(shù)會議提交的論文中，有 87 篇提到了 PyTorch，相比之下 TensorFlow 228 篇，Keras 42 篇，Theano 和 Matlab 是 32 篇。

按照月度來看，arXiv 論文提到 PyTorch 框架的有 72 篇，TensorFlow 是 273 篇，Keras 100 篇，Caffe 94 篇，Theano 53 篇。

課程、教程與書籍

我們在發(fā)布 PyTorch 的時候，已經(jīng)準(zhǔn)備了很好的 API 文檔，但教程有限，只有幾個 ipython notebook，雖然有用但還不夠。

Sasank Chilamkurthy 承擔(dān)了改進(jìn)教程的任務(wù)，教程詳見：http://pytorch.org/tutorials/。

Sean Robertson 和 Justin Johnson 編寫了 NLP 領(lǐng)域的全新教程，還有通過示例學(xué)習(xí)的教程。Yunjey Choi 寫了用 30 行或者更少的代碼部署大多數(shù)模型的教程。每個新教程都幫助用戶用不同的學(xué)習(xí)方法更快地找到適合自己的學(xué)習(xí)路徑。

Goku Mohandas 和 Delip Rao 把正在寫的書中的代碼做了改變，使用了 PyTorch。

我們看到，一些大學(xué)的機(jī)器學(xué)習(xí)課程是使用 PyTorch 作為主要工具講授的，例如哈佛 CS 287。為了更進(jìn)一步方便大眾學(xué)習(xí)，我們還看到三個在線課程使用 PyTorch 講授。

Fast.ai 的「Deep Learning for Coders」是個流行的在線課程。9 月份，Jeremy 和 Rachel 宣布下一個 fast.ai 的課程將幾乎全部基于 PyTorch。

Ritchie Ng，在清華、新加坡國立大學(xué)都學(xué)習(xí)過的研究者，推出了名為「Practical Deep Learning with PyTorch」的 Udemy 課程。

來自香港科技大學(xué)的 Sung Kim 在 Yotube 上推出了面向普通觀眾的在線課程「PyTorch Zero to All」。

參見：四天速成！香港科技大學(xué) PyTorch 課件分享

工程

去年 PyTorch 實現(xiàn)了多個功能，包括 board 上的性能、修復(fù)大量 bug 等。去年完成的任務(wù)清單詳見：https://github.com/pytorch/pytorch/releases。下面是其中的幾個亮點：

高階梯度

隨著多篇關(guān)于實現(xiàn)梯度罰項的論文的發(fā)表，以及二階梯度法的不斷研究發(fā)展，高階梯度成為必需的熱門功能。去年 8 月，我們實現(xiàn)了一個通用接口，可使用 n 階導(dǎo)數(shù)，加快支持高階梯度函數(shù)的收斂，截至寫作本文時，幾乎所有 ops 都支持此界面。

分布式 PyTorch

去年 8 月，我們發(fā)布了一個小型分布式包，該包使用非常流行的 MPI 集合（MPI-collective）方法。它有多個后端，如 TCP、MPI、Gloo 和 NCCL2，以支持多種 CPU/GPU 集合操作和用例，這個包整合了 Infiniband 和 RoCE 等分布式技術(shù)。分布很難，我們在初始迭代時也有一些 bug。在后續(xù)版本中，我們作出了一些改進(jìn)，使這個包更加穩(wěn)定，性能也更強。

更接近 NumPy

用戶較大的一個需求是他們熟悉的 NumPy 功能。Broadcasting 和 Advanced Indexing 等功能方便、簡潔，節(jié)約用戶的時間。我們實現(xiàn)了這些功能，開始使我們的 API 更接近 NumPy。隨著時間的進(jìn)展，我們希望在合適的地方越來越接近 NumPy 的 API。

性能

性能是一場仍在進(jìn)行中的戰(zhàn)斗，尤其對于想要較大化靈活性的動態(tài)框架 PyTorch 而言。去年，從核心 Tensor 庫到神經(jīng)網(wǎng)絡(luò)算子，我們改善了 PyTorch 在 board 上的性能，能在 board 上更快的編寫微優(yōu)化。

我們添加了專門的 AVX 和 AVX2 內(nèi)部函數(shù)，用于 Tensor 運算；

寫更快的 GPU kernel，用于常用的工作負(fù)載，如級聯(lián)和 Softmax；

為多個神經(jīng)網(wǎng)絡(luò)算子重寫代碼，如 nn.Embedding 和組卷積。

PyTorch 在 board 上的開銷降低 10x

由于 PyTorch 是動態(tài)圖框架，我們在訓(xùn)練循環(huán)的每次迭代時都要創(chuàng)建一個新圖。因此，框架開銷必須很低，或者工作負(fù)載必須足夠大來隱藏框架開銷。去年 8 月，DyNet 的作者（Graham Neubig 及其團(tuán)隊）展示了 DyNet 在一些小型 NLP 模型上的速度快于 PyTorch。這是很有意思的一個挑戰(zhàn)，我們開始重寫 PyTorch 內(nèi)部構(gòu)件，將框架開銷從 10 微妙／算子降低到 1 微妙。

ATen

重新設(shè)計 PyTorch 內(nèi)部構(gòu)件的同時，我們也構(gòu)建了 ATen C++11 庫，該庫現(xiàn)在主導(dǎo) PyTorch 所有后端。ATen 具備一個類似 PyTorch Python API 的 API，使之成為便于 Tensor 計算的 C++庫。ATen 可由 PyTorch 獨立構(gòu)建和使用。

輸出模型用于生產(chǎn)：支持 ONNX 和 JIT 編譯器

我們收到的一個普遍請求是將 PyTorch 模型輸出到另一個框架。用戶使用 PyTorch 進(jìn)行快速研究，模型完成后，他們想將模型搭載到更大的項目中，而該項目只要求使用 C++。

因此我們構(gòu)建了 tracer，可將 PyTorch 模型輸出為中間表示。用戶可使用后續(xù)的 tracer 更高效地運行當(dāng)前的 PyTorch 模型，或?qū)⑵滢D(zhuǎn)換成 ONNX 格式以輸出至 Caffe2、MXNet、TensorFlow 等其他框架，或直接搭載至硬件加速庫，如 CoreML 或 TensorRT。今年，我們將更多地利用 JIT 編譯器提升性能。