不过虽然 teslat4 K80 这种古董级的 GPU teslat4 也能提供可观的算力，但我们发现用于试验模型越来越不够用了。 尤其最近的 Transformer 或 GPT-2 等复杂模型，不是训练迭代时间长，就是被警告显存已满。 在这个市场上，作为老牌巨头，英特尔凭借的，是其在服务器市场的先发优势。 而低成本、低功耗的推理加速器，如 Tesla T4，将对其发起每瓦特性能的巨大挑战。 与此同时，英特尔也声称，世界上大多数的推理工作负载，仍将运行在基于至强处理器的平台上。 深度学习技术以及其他机器学习技术已经大大提高了AI的声音识别和图片分类能力，并应用在越来越多的领域。
再加上现在提供 Tesla T4，Colab 也许会越来越好用，在上面开源的实现、项目、教程也会越来越多。 与此同时，Colab 也开始支持 TensorBoard，只需要使用魔术命令符「%」就能可视化训练过程。 看到这条信息，小编也是挺激动的，终于有了更强大的免费算力，我们马上在 Colab 上查看 GPU 的使用情况。 如下我们看到 Colab 现在确实使用的是 Tesla T4 GPU，而且显存也达到了 16 GB，比以前 K80 12GB 的显存又要大了一圈。
teslat4: 机器之心
在众多 teslat4 GPU 中，T4 是运行推理工作的很好选择，尽管我们在 Colab 中大多都用于训练。 T4 在 FP16、INT8 和 INT4 的高性能特性让你能实现灵活的准确率/性能权衡，并运行大规模模型推理过程，而这些在其它 GPU 上很难做到的。 T4 的 16GB 显存支持大型机器学习模型，在图像生成或机器翻译等耗显存的任务中，Colab 能运行地更流畅了。 T4 GPU 适用于许多机器学习、可视化和其它 GPU 加速工作负载。 V100 GPU 凭借其高性能计算、Tensor Core 技术和 16GB 大显存，能支持较大的机器学习模型，已成为在云端训练机器学习模型的主要 GPU。
近日，英伟达CEO黄仁勋在东京发布最新一代专用于机器学习和数据推理的CPU Tesla T4。 同时，英伟达表示，谷歌将率先将新款T4 GPU推向其云平台。 同年 10 月份，Colab 免费提供 TPU 算力了，它提供 8 个核心的免费算力，即 4 块 TPU 芯片。 T4 提供革命性的多精度推理性能，以加速现代人工智能的各种应用。 T4 封装在节能的小型 70 瓦 PCIe 中，而 K80 当时的能耗达到了 300W，所以 T4 的效率高了很多。
teslat4: Colab 免费提供 Tesla T4 GPU，是时候薅羊毛了
据悉，AMD 也即将推出用于深度学习的 7nmRadeon Instinct GPU，谷歌也在积极开发自研的定制芯片，如 TPU。 然而，令人诧异的是，Tesla T4的功耗低的不可思议，整卡仅75W，无需辅助供电。 而核心规模更小、计算性能更低的RTX 2070还要 W，显然这块卡在计算、功耗方面都做了特殊的优化！ 而决定T4算力增长的重中之重在于其图灵架构里的张量核心（Tensor Core）。 T4内置了320个张量核心，这就让其数据吞吐量疾速增长，峰值达到260 TOPS（精度INT4) 。
作为全球三大芯片巨头之一，推理对于英伟达而言，一点也不陌生。 其第一款基于GPU的推理引擎是Tesla M4和Tesla M40，它们发布于2015年。 比如，在语音识别模型DeepSpeech 2上，T4比P4的5倍还要快；在神经网络翻译模型GNMT上，T4的速度接近P4的4倍；在图像识别模型ResNet-50上，T4也接近P4的3倍。 但，现阶段，深度学习技术更擅长做的是从大数据中找到线索，而不是理解这些数据，并得出结论。 就好像深度学习能够识别出照片中的一只猫，但它不能“说出”猫的胡须、眼睛等具体信息，只能给出模棱两可的答案，甚至有可能将印有小猫图案的毛毯误认为一只猫。
teslat4: 推理工作负载将成为芯片厂商争夺的热门市场
而 T4 以更低的成本支持所有这些，这使得它成为扩展分布式训练或低功率试验的绝佳选择。 T4 拥有 2560 个 CUDA 核心，对于我们在 Colab 试验模型已经足够了。 谷歌计算引擎上的机器学习推理性能高达 4267 张图像/秒，而延迟低至 1.1 毫秒。 但考虑到 teslat4 T4 的价格、性能、全球可用性和高速的谷歌网络，在计算引擎上用 T4 GPU 运行产品工作负载也是一个很好的解决方案。 除了芯片以外，英伟达还将提供围绕T4的一系列技术，如用于优化深度学习模型的 TensorRT 软件，包括 TensorRT 推理服务器。
如下展示了 T4 和 V100 之间的差别，T4 支持多精度加速，确实非常适合做推理，以后将预训练模型放在 Colab 上也是极好的。 鉴于当前英特尔占有全球约96%的服务器市场，这种说法还是相当可信的。 并且，最近，英特尔还宣布在2017年为AI工作负载销售了10亿美元的处理器。 ※ 本服務提供之商品價格 、漲跌紀錄等資訊皆為自動化程式蒐集，可能因各種不可預期之狀況而影響正確性或完整性， 僅供使用者參考之用，本服務不負任何擔保責任。 例如与 GitHub 私有库连接、提供交互式 TF 教程、以及文本图像预览等等。
teslat4: 功耗更低，速度更快的Tesla T4
購買前請以購買當時銷售頁面資料為準自行判斷，該等資訊亦不得作為向第三人為任何主張之依據，包括但不限於：主張市場上有其他更優惠價格之補償或其他請求。 很多时候甚至不看文档与教程，感觉和 Jupyter Notebook 一样简单，因此就直接上手了。 但是随着该项目的不断发展，很多问题都解决了，很多新特性都完善了，至少现在我们用起来真的很爽。 据悉，Tesla T4搭配TensorR T软件组成的新平台，主要面向AI应用，包括智能语音、翻译、视频、图像、推荐等应用领域，号称处理查询的速度比仅采用CPU时快了40倍，同时延迟更低。
TensorRT 是一个高度集成化的数据中心推理微服务，可以无缝插入现有的 Kubernetes 设施中。 现在，快来试试 Colab 吧，这种免费算力不用岂不可惜？ 其实自从一年多前谷歌发布 Colab，它就已经吸引了非常多研究者与开发者的目光。 可能最常见的方法就是薅谷歌的羊毛，不论是 Colab 和 Kaggle Kernel，它们都提供免费的 K80 GPU 算力。
teslat4: 功耗更低，速度更快的Tesla T4
由香港SEO公司 featured.com.hk 提供SEO服務
- 購買前請以購買當時銷售頁面資料為準自行判斷，該等資訊亦不得作為向第三人為任何主張之依據，包括但不限於：主張市場上有其他更優惠價格之補償或其他請求。
- T4 拥有 2560 个 CUDA 核心，对于我们在 Colab 试验模型已经足够了。
- 例如与 GitHub 私有库连接、提供交互式 TF 教程、以及文本图像预览等等。
- 与此同时，Colab 也开始支持 TensorBoard，只需要使用魔术命令符「%」就能可视化训练过程。
- T4 的 16GB 显存支持大型机器学习模型，在图像生成或机器翻译等耗显存的任务中，Colab 能运行地更流畅了。
- 而核心规模更小、计算性能更低的RTX 2070还要 W，显然这块卡在计算、功耗方面都做了特殊的优化！
