100 項 it 人 不可 不知 的 ai 發展

AI 算力提升的背后:能耗剧增

过去,人工智能经常被比作石油行业:一旦对(数据 / 石油)进行开采、精炼,就可以变为高利润的商品。现在看来,人工智能在能耗层面的表现也可与石油行业一较高下。根据最新的论文结果,训练一个 AI 模型产生的能耗多达五辆汽车一生排放的碳总量。

这篇 新论文 是马萨诸塞大学阿默斯特校区的研究人员公布的,以常见的几种大型 AI 模型的训练周期为例,发现该过程可排放超过 626,000 磅二氧化碳,几乎是普通汽车寿命周期排放量的五倍(其中包括汽车本身的制造过程)。

100 項 it 人 不可 不知 的 ai 發展

这一结果也是很多 AI 研究人员没有想到的。西班牙拉科鲁尼亚大学的一位计算机科学家表示:“虽然我们中的很多人对此(能耗)有一个抽象的、模糊的概念,但这些数字表明事实比我们想象得要严重。我或者是其他 AI 研究人员可能都没想过这对环境的影响如此之大。”

以自然语言处理为例,研究人员研究了该领域中性能取得最大进步的四种模型:Transformer、ELMo、BERT 和 GPT-2。研究人员在单个 GPU 上训练了至少一天,以测量其功耗。然后,使用模型原始论文中列出的几项指标来计算整个过程消耗的总能量。

结果显示,训练的计算环境成本与模型大小成正比,然后在使用附加的调整步骤以提高模型的最终精度时呈爆炸式增长,尤其是调整神经网络体系结构以尽可能完成详尽的试验,并优化模型的过程,相关成本非常高,几乎没有性能收益。BERT 模型的碳足迹约为 1400 磅二氧化碳,这与一个人来回坐飞机穿越美洲的排放量相当。

100 項 it 人 不可 不知 的 ai 發展

此外,研究人员指出,这些数字仅仅是基础,因为培训单一模型所需要的工作还是比较少的,大部分研究人员实践中会从头开发新模型或者为现有模型更改数据集,这都需要更多时间培训和调整,换言之,这会产生更高的能耗。根据测算,构建和测试最终具有价值的模型至少需要在六个月的时间内训练 4,789 个模型,换算成碳排放量,超过 78,000 磅。

随着 AI 算力的提升,这一问题会更加严重。

人工智能趋向私有化:成本高昂

这些结果也凸显了 AI 另一个日益严重的问题:产生结果所需的大量资源使学术界工作人员很难继续研究。显然,这种通过大量数据训练庞大模型的趋势对学者尤其是研究生来说并不可行,因为没有资源,这让学术界和工业界的研究人员之间出现公平访问的问题。

抛开环保和能耗本身,人工智能的训练过程同样成本高昂。以机器学习为例,数据、算法、算力成本同样“触目惊心”。

数据成本

与数据相关的机器学习成本主要表现在数据集方面,包括数据集的获得、数据的标注等。Dimensional Research 代表 Alegion 所做的一项 最新研究 表明,所有组织中的 96%都遇到了与训练数据质量和数量相关的问题。同一项研究表明,大多数项目需要超过 100,000 个数据样本才能表现良好。

100 項 it 人 不可 不知 的 ai 發展

Dimensional Research 研究的图表说明了公司在数据方面面临的最常见问题

如果还没有数据,可以假设能够在大约一个小时内收集 5–10 个样本并对它们进行标注。利用 亚马逊的 Mechanical Turk 之类的服务来实验整个过程,生成 100,000 个样本数据集的话,花费大约为 70,000 美元。

如果已经收集了大量数据,则可以使用 Scale 之类的服务来对其进行标注。在这种情况下,获得 100,000 个带有标签的数据样本,则可能需要花费 8,000 到 80,000 美元的费用,具体的需要取决于标注的复杂程度。

此外,检查和校正数据样本与生成和注释数据样本一样耗时。Dimensional Research 研究报告中提到,66%的公司在其数据集中遇到偏差和错误问题。有些公司选择采用完整的内部方法(自己做所有标注),也有一些公司会选择外包和内部混合使用。第二种常见的情况是将大部分工作外包,然后由个别人员负责验证和清理。外包 10 万个数据样本的初始成本可能会增加大约 2500 至 5,000 美元。

算法成本

Dimensional Research 报告指出,大多数企业 AI 团队的成员不足 10 名。假设每个技术团队有 5 名成员,其中 3 个是外包。在这种配置下,团队可能足以并行处理两个项目,平均每 1.5 个月研究一个项目。基于此的成本是 2 名员工(2 x 5,000 美元),3 名自由职业者(3 x 3,000 美元),每月的总成本是 19,000 美元。如果团队可以同时处理两个项目,并且研究时间为 1.5 个月,则意味着该阶段的成本约为每个项目 14,250 美元。

算力成本

与算力相关的机器学习成本主要表现在基础架构、集成、维护以及各种处理器的功耗方面。

生产成本包括基础架构成本(云计算,数据存储),集成成本(数据管道开发,API 开发,文档)和维护成本。

其中,云计算的支出取决于部署算法的复杂性。如果模型不是很深,并且是在低维表格数据上进行训练,则将获得 4 个虚拟 CPU 运行在 1 到 3 个节点上的服务,每月费用为 100 到 300 美元,即每年 1200 到 3600 美元。另一方面,对于无延迟的深度学习推理,价格从 10,000 美元到 30,000 美元不等。

集成可能比较棘手。在大多数情况下,只需要将 API 端点放在云中并记录下来,供系统的其余部分使用即可,准备要使用的机器学习模型并编写 API 脚手架最多需要 20 到 30 个开发小时,其中包括测试,成本约为 1,500 美元,加上修改系统的其余部分以使用新 API 所需的成本。稳定的数据管道将花费更多的时间,大概需要 80 个小时左右。

附加项:落地成本

迄今为止,实施 AI 的最大成本是落地。太多人着迷于 ML 和 AI,并将其开发预算投入到追求该技术而不是解决实际问题上。我们正处于机器学习仍然是一项高度实验性技术的阶段,其成功率差异很大。Garter 预测,到 2022 年,将有 85%的 AI 项目交付错误的结果。

玩不起系列:成本总和

除去附加项成本和一系列功耗所带来的成本,机器学习项目可能会使公司花费 51,750 美元至 136,750 美元(不包括难以确定的其他成本)。高差异是由数据的性质决定的。这是一个非常乐观的估计。如果企业位于美国,并且使用的是明智的数据(自由职业者不会这样做),则与人才相关的费用将激增,使 ML 项目的费用超过 108,500 美元。

这样高昂的价格使想要解决新问题或自动化其流程和决策的个人、小型团队和初创企业无法使承担。最艰难的步骤是第一步:获取数据。没有数据,几乎不可能在研究阶段验证机器学习解决方案,从而导致几乎死锁。

综上,这些因素都可能会导致人工智能研究的私有化。对此,一位大数据和人工智能领域的技术专家在接受 InfoQ 采访时表示,BERT 模型其实可以解决一部分数据问题,因为要达到同样的效果,它需要的数据量相对较小,但算力确实是很难攻破的问题,这也就意味着 硬件成本很难下降。目前,一种可行的解决方式是通过租用云端 TPU 的方式来降低成本,但人工智能逐渐趋于私有化确是事实,未来学术界将在非强依赖算力的领域有更多创新,工业界由于尚可承担算力提升带来的各种成本,会在强依赖算力的领域有更多突破,这将实现学术界与工业界的合理分工。(AI前线)

印度的互联网用户群增长速度是世界上最快的。印度的人工智能(AI)和自动化也提上日程。 印度正通过“数字印度”计划提升电信公司的互联网和电话服务,加快数字化进程。

随着越来越多的人使用网络,很多商业行为也都倾向于数字平台上。

这些交易过程中会生成大量数据,企业可以利用这些数据来提高业绩。

企业通过人工智能(AI)、自动化软件和机器学习等互联网技术分析大量在线生成的原始数据,进而做出最正确的决策,简化工作流程,提高效率,实现创新。

然而,在进一步发展之前,首先需要了解这些新技术是什么以及它们如何影响各行各业的。 最后,再讨论和相关技术对印度未来经济增长的影响。

人工智能(AI)及其对行业的影响

人工智能(AI)是实现人类感知的计算机软件应用。

通过教授人工智能(AI)视听感知和推理,实现机器的智能化。人工智能 (AI)可以像人一样合理化地处理问题,甚至更高效。 人工智能在研究过程中创造了新的领域,如“数据分析”和“机器学习”(ML)。

人工智能(AI)系统可以在各个业务流程中应用,包括客户服务、营销、物流和数据分析。

例如,编程后可以完成重复性的任务,提高效率,加快时间。

印度经济中的人工智能(AI)

印度的企业和工厂渐渐意识到人工智能(AI)应用的益处,并且越来越多的企业投资人工智能(AI)和自动化技术。

最近,印度顶尖的工程教育与研究机构,印度理工学院(IIT)、德里和自动化工业协会(AIA),正一起合作开发人工智能(AI)相关的技术。

在信息技术(IT)领域,威普罗(Wipro),印孚瑟斯(Infosys)和塔塔(TCS)咨询服务公司等顶尖的印度技术公司致力于研发新产品,以满足企业不断变化的需求。

那些为外国客户提供传统的后端服务的公司(业务流程管理或BPM),现在旨在提供更多样的服务,例如通过内部开发软件来提供人工智能(AI)服务。

在零售、汽车、制造、物流和农业等劳动密集型的行业中,自动化机器可以增加生产力,提高效率。

例如,汽车行业中,现代汽车、福特汽车和大众汽车等制造商在印度的工厂,将整个车身和涂装车间都实现了自动化。

除了提高效率,自动化还可以提高汽车生产的质量,拓展制造规模化,让制造商有效应对急剧的市场变化。

印度的初创公司正在积极地针对不同的业务场景研发创造。

例如,位于班加罗尔的初创公司GreyOrange已经发明了可以服务供应链的机器人(针对电子商务领域等)。 这个机器人每小时可以处理600件,而一个人只能处理100件。

同样,服务行业正在使用人工智能(AI)系统来完成重复性的、日常的任务。 在印度,印度工业信贷投资银行(ICICI)约40%的后台工作由机器人完成,如与银行、农业综合企业、客户服务等相关的业务。 机器人或搜索引擎机器人是一种可以自主完成任务的应用程序。

人工智能(AI)在另一个行业的应用是“物联网”(IoT)。 物联网是在互联网基础上延伸和扩展的物理设备,包括汽车(自动驾驶汽车)、建筑物和电子设备。

通常来说,这些设备是“相连的”和“智能的”,因为它们是互联网的延伸,它们能够收集和交换数据,从而自主运行。

后台设备生成的数据反过来也促使了数据分析行业,企业用这些数据进行分析,了解客户喜好并预测市场趋势。 人类无法分析大量数据,但人工智能和业务自动化流程可以处理巨大量的数据。

印度的信息技术(IT)、金融和银行、市场调研行业都在使用数据挖掘技术,进而做出做正确的决策。

例如,威普罗(Wipro)公司用名叫福尔摩斯(HOLMES)的人工智能(AI)系统为电信行业的客户提供服务。 另一家信息技术公司印孚瑟斯(Infosys)正在为金融行业提供名叫Nia的人工智能系统,以便处理大量数据 – 有些甚至在100个节点集群上进行了5.96亿次交易。

人工智能系统Nia的数据处理速率打破记录,每秒处理130,000条数据或18.22 MB的数据。

印度的人工智能(AI)系统能否能同样在非制造业和非信息技术(IT)行业中应用,仍在探索中。

在医疗保健领域,人工智能(AI)系统可以弥补医疗人员和医疗设备的短缺,诊断、治疗疾病。

总部位于班加罗尔的初创公司Tricog Health Services发明了一个机器,在几分钟内可以检测出心电图。 Tricog公司把使用网络的感知装置安装到心电图(ECG)设备中,从而即时诊断。

人工智能(AI)对印度劳动力的挑战

印度同样担忧人工智能(AI)对劳动力产生的冲击。 2016年,世界银行预测当前印度69%的工作岗位将有被自动化取代的风险。

人工智能(AI)系统将完成类似客户支持和软件测试等常规、重复性的工作。因此 企业将会以更快的速度创造新的产品和服务。

企业同时会增加中高级的管理层来管理人工智能(AI)系统。 未来的工作需要批判性思维、合作精神、创造力结合起来完成。

另一方面,印度劳动力目前受到的传统培训更多 – 如做常规的工作和服务,复制流程和产品。 因此埃森哲、英特尔、威普罗、微软和谷歌等大型技术公司对员工在机器学习和自动化领域着重培训,满足未来的需求。

然而,虽然印度的服务业正在因人工智能改变,但制造业的变化才是最重要的。 印度依靠不断扩大的制造业解决年轻人的失业问题(例如,“印度制造”项目)。 制造业的自动化将改变技术行业,促使员工接受技术培训,以适应新的就业机会。

与此同时,自动化可以帮助印度的制造业保持成本竞争力 –从而吸引更多的外国投资者。

人工智能(AI)是下一个颠覆者

目前,人工智能(AI)仍处于初期阶段,主要用于处理大量数据。

然而,为什么它被视为下一个伟大的颠覆者呢?因为它有可能改变核心业务流程,行业流程和工作的性质,就像以前的颠覆者 – 计算机、互联网和智能手机。

随着基础设施的现代化加速和数字连接的增加,印度有望成为人工智能(AI)业务的枢纽。 人工智能(AI)系统的有效应用可以缩小和其他国家生产率的差距,提高经济效率。


协力管理咨询是一家在亚洲范围内,为中国及国际企业投资者提供境外投资市场,法律,税务,人力资源的多领域专业咨询公司。我们在全球有28个分支机构300名员工,并与全球100个国家的620家律所,会计师事务所联盟。境外投资部为中国境外投资企业提供一站式咨询,包含:境外投资政策咨询, 境外市场调研,商业机会匹配,尽职调查,海外公司注册及财税服务。更多问询,请联系: