降低AI大模型的碳排放
AI模型的训练和运营过程需要消耗大量能源，但关键问题是，如何知道及测算单个机器学习实验正在产生多少温室气体排放，以及可以减少多少？
目前数据科学家们仍无法简单可靠地获取该领域的测量结果，这也妨碍着进一步制定可行的应对策略。
针对这一问题，谷歌发表了一项研究，详细介绍了最先进的语言模型的能源成本，包括早期和更大版本的LaMDA。
研究结果表明，将高效的模型、处理器和数据中心与
清洁能源相结合，可以将机器学习系统的
碳足迹减少1000倍。
该团队提出了四种基本方法，可显着减少机器学习工作负载的碳（和能源）足迹，这些方法目前在Google中使用，任何使用Google Cloud服务的人都可以使用。
Google能源和碳足迹减少最佳实践（4Ms）如下：
模型：研究人员表示，选择高效的ML模型架构至关重要，因为它有可能提高ML质量，同时将计算时间缩短一半。
机器：与通用处理器相比，使用专门用于ML训练的处理器和系统可以将性能和能效提高2倍至5倍。
机械化：大多数情况下，本地数据中心更老、更小。 因此，新的节能冷却和配电系统的费用无法摊销。
基于云的数据中心是全新的、定制设计的仓库，具有可容纳50000台服务器的能效特性。 它们提供异常高效的电源利用率 (PUE)。
因此，在云端而不是在本地进行计算，可以节省1.4-2倍的能源并减少污染。
优化：云允许客户选择具有最清洁能源的区域，从而将总碳足迹减少5到10倍。
基于4Ms改进的模型、特定于机器学习的硬件和高效的数据中心，大大抵消了这种负载增加。
谷歌的数据表明，机器学习训练和推理在过去三年中仅占谷歌整体能源使用量的10%至15%，其中每年有35%用于推理，25%用于训练。
为了找到改进的机器学习模型，谷歌采用了神经架构搜索 (NAS)。
每个问题域/搜索空间组合通常只执行一次NAS，然后可以将生成的模型重复用于数百个应用程序，NAS的一次性成本通常被持续使用的减排量所抵消。
研究人员进行了一项研究来训练Transformer模型。
为此，他们在典型的数据中心中使用了Nvidia P100 GPU，其能源组合与全球平均水平相似，而使用TPUv4等新一代ML硬件，性能比P100提升了14倍。
同时，高效的云数据中心比普通数据中心节省1.4倍的能源，从而使总能耗降低83倍。
此外，由低碳能源驱动的数据中心可以将碳排放量再减少9倍，从而在四年内总共减少747倍。
谷歌团队认为，在信息技术领域，制造各种类型和规模的计算设备的生命周期成本，比机器学习的运营成本要高得多。
排放估算的制造成本包括制造所有相关组件（从芯片到数据中心建筑）所排放的嵌入碳。
当然，除了使用4Ms方法，服务提供商和用户还可以采取简单的措施来提高他们的碳足迹绩效，例如：
客户应通过让数据中心提供商报告数据中心效率和每个位置的能源供应清洁度，来分析和减少他们的能源使用和碳足迹。
工程师应该在最环保的数据中心中最快的处理器上训练模型，这些数据中心越来越多地在云上。
机器学习的研究人员应该专注于设计更有效的模型，如：利用稀疏性或包括检索来减少模型。
此外，他们应该报告他们的能源消耗和碳影响。这不仅会鼓励超越模型质量的竞争，而且还可以确保对他们的工作进行正确的核算。 本`文@内-容-来-自；中^国_碳0排0放^交-易=网 ta n pa i fa ng . co m
【版权声明】本网为公益类网站，本网站刊载的所有内容，均已署名来源和作者，仅供访问者个人学习、研究或欣赏之用，如有侵权请权利人予以告知，本站将立即做删除处理（QQ：51999076）。
国家工信部备案/许可证编号
