这时不得不感叹 BERT 作者 Devlin 这个技术老司机直觉的厉害。 首先作者们先对预训练模型中的多种模型架构（Transformer）进行了比对，最主要的模型架构可以分成下面三种。 通过这样的方式就能将 NLP 任务都转换成 Text-to-Text 形式，也就可以用同样的模型，同样的损失函数，同样的训练过程，同样的解码过程来完成所有 NLP 任务。 其实这个思想之前 GPT2 论文里有提，上斯坦福 cs224n 时 Socher 讲的 The Natural Language Decathlon 也有提。 最神奇的是，对于需要输出连续值的 STS-B（文本语义相似度任务），居然也是直接输出文本，而不是加个连续值输出头。 以每 0.2 为间隔，从 1 到 5 分之间分成 21 个值作为输出分类任务。
除了傳統日光燈管，近年也流行做成 T8、T5 燈管規格的 LED 燈管，可以免換燈具改用更省電的 LED。 比如说 GLUE，到 3B 时效果还并不是 SOTA，大概和 RoBERTa 评分差不多都是 88.5，而把模型加到 11B 才打破 ALBERT 的记录。 然后其他实验结果也都差不多，3B 时还都不是 SOTA，而是靠 11B 硬拉上去的。 除了 WMT 翻译任务，可能感觉差距太大，要拿 SOTA 代价过大，所以就没有再往上提。 根据这几个模型的对比，可以发现即使是容量提到 11B，性能提升的间隔还是没有变缓，因此我认为再往上加容量还是有提升空间。 第三方面，到底该对文本百分之多少进行破坏呢，挑了 4 个值，10%，15%，25%，50%，最后发现 BERT t5 的 15% 就很 ok了。
t5: 【JOYA LED】T5 LED 層板燈 燈管 一體化支架燈 串接燈 3尺 13W – 10入(間接照明 優選晶片 保固二年)
Transfer 来自 t5 Transfer Learning，预训练模型大体在这范畴，Transformer 也不必多说，那么 Text-to-Text 是什么呢。 那就是作者在这提出的一个统一框架，靠着大力出奇迹，将所有 NLP 任务都转化成 Text-to-Text （文本到文本）任务。 正因为如此多实验，所以才对预训练模型中的大量技巧获得了一个较公平的比对和分析，但这也使得整篇论文长度巨长，读起来头晕。 不是 idea 的冲击，而都是些琐碎细节，看了几大段后发现，还是看图表一目了然。
当然，最大的冲击还是财大气粗，bigger and bigger，但翻完它长达 34 页的论文，发现其中的分析无疑是诚意满满（都是钱）。 类似这样的大型实验探索论文也有一些，首先提出一个通用框架，接着进行了各种比对实验，获得一套建议参数，最后得到一个很强的 baseline。 近年來 T8 漸漸被更省電且更環保(改用固態汞合金且含量只有 T8 20%)的 T5 取代。
t5: 「T5手錶」商品搜尋結果共 2,385 筆
110V 交流電有分火線(下圖標示 1 的黃線)跟中性線(或稱水線，下圖標 2 處為白線)，接線插座有標示，雖然裝反照樣可用，為確保漏電保護機制有效，安裝前最好還是用驗電筆確認一下。 T8 LED 燈管價格愈來愈便宜，但不同廠牌的價差不小，4 尺一枝從 t5 90 元到 400 元都有。 ※ 本服務提供之商品價格 、漲跌紀錄等資訊皆為自動化程式蒐集，可能因各種不可預期之狀況而影響正確性或完整性， 僅供使用者參考之用，本服務不負任何擔保責任。 接着进入更细节，第四方面，因为 Replace Span 需要决定对大概多长的小段进行破坏，于是对不同长度进行探索，2，3，5，10 这四个值，最后发现 3 结果最好。 “依照日光燈管粗細，有 T9、T8、T5 三種規格，數字與管徑有關，分別是 9/8、8/8、8/5 …
T5 燈具都已使用電子式安定器，燈管的耗電效應與壽命，也與安定器息息相關。 依照日光燈管粗細，有 T9、T8、T5 三種規格，數字與管徑有關，分別是 9/8、8/8、5/8 吋。 岳父大人通知日光燈壞了，連忙切換成水電工模式，趕赴現場現場勘察。 狀況為陽台天花板的四尺雙管日光燈壞了一枝，原因為燈管一端的固定燈腳脆化碎裂(如下圖)，理論上可以只換燈腳就好，但該燈座用了幾十年，其他三個燈腳也老化可能得一併汰換，加上座身已多處鏽蝕，還是整個日光燈器換新比較省事。 購買前請以購買當時銷售頁面資料為準自行判斷，該等資訊亦不得作為向第三人為任何主張之依據，包括但不限於：主張市場上有其他更優惠價格之補償或其他請求。
t5: Volkswagen T5 2009款
接着作者们拿着 C4 数据集做了各种实验，比如说从里面分出各种类型的数据集，单独训练 T5 t5 模型，之后看在下游任务的表现，发现一些情况领域内的预训练数据可以增强下游任务（想当然的）。 而 C4 完整数据集因为数据太多太杂，可能反而不如这种领域内较少数据集。 之后未来做 NLP 实验时，可能就不再是自己怎么调一些模型了，而是无论什么任务，直接拿来一个超大预训练模型，然后主要工作就变成了怎么把任务转换成合适的文本输入输出，于是我们就成了带引号的”数据科学家“。 还有从 C4 中抽出不同量数据做实验，发现数据少时，模型会记住数据所以之后表现会比较差（这个也是想当然）。
- T5 燈具都已使用電子式安定器，燈管的耗電效應與壽命，也與安定器息息相關。
- “依照日光燈管粗細，有 T9、T8、T5 三種規格，數字與管徑有關，分別是 9/8、8/8、8/5 …
- 除了傳統日光燈管，近年也流行做成 T8、T5 燈管規格的 LED 燈管，可以免換燈具改用更省電的 LED。
- 类似这样的大型实验探索论文也有一些，首先提出一个通用框架，接着进行了各种比对实验，获得一套建议参数，最后得到一个很强的 baseline。
- 除了 WMT 翻译任务，可能感觉差距太大，要拿 SOTA 代价过大，所以就没有再往上提。
比如上图中，输出 3.8 t5 其实不是数值，而是一串文本，之所以能进行这样的操作，应该完全赖于 T5 模型强大的容量。 由於燈具老舊需汰換，我最後選擇改裝 T5 燈座，主要考量對照明亮度仍有一定要求。 換燈具不難，卸掉山形板，拆開原接線，新版燈具都內附接線插座，銅線剝皮插進去就會卡住，壓上方的開關鬆脫抽出，比起過去得自己纏線包絕緣膠帶方便一百倍。
t5: 「t5 led燈管」商品搜尋結果共 9,724 筆
大哥,T5 LED t5 兩尺燈管 已經進化到7W每瓦130流明,四尺14W,5直接安裝於舊日光燈具或AC… 若 T8 燈具仍堪用，將 T8 傳統燈管換成 T8 LED 燈管是最省事的做法，使用壽命及省電效率瞬間提升。 傳統 T8 需要啟動器(插在燈具上的小圓桶，亮燈前會先閃一下，三不五時要換)與電磁式安定器，改用電子式安定器有不需起動器、啟動不閃爍無噪音、省電效率較好、延長燈管壽命等優點。
由香港SEO公司 https://featured.com.hk/ 提供SEO服務
