在小型设备运行Machine Learning,通常面临着三大挑战 -
功耗(power consumption)
延时(latency)
精度(Accuracy)
人们通常比较了解Machine Learning,因为它与神经网络相关(pertain to neural networks),那么TinyMNL又是什么呢?
Surging Interest in TinyML
TinyML指的是运行在非常小的微处理器上的,消耗极小功耗(通常是mW级别甚至更低),提供最大化成果的(maximized results)的机器学习技术。
随着IoT设备的扩散激增(proliferation),一些巨型公司如Renesas和ARM投入TinyML的研发,如Renesas发布其TinyML平台, Qeexo AutoML, 无需任何代码和专业的ML能力就可以使用。
其他公司集中力量(zeroed in)与其他公司建立伙伴关系以便扩大其TinyML的应用(exaggerate the utility of TinyML)。Eta Compute最近与Edge Impulse最近宣布合作,结合Eta Compute的Neural Sensor Processor - ECM3532和Edge Impulse的TinyML平台,将加速机器学习在低功耗IoT产品的Time-to-market。
另一个快速了解和评估(assess)TinyML进展的方式是每年一度的TinyuML Summit(https://www.tinyml.org/summit),会议期间的内容会阐明(illustrate)在最小水平(smallest level)运行机器学习的主要概念和进展。
Reflections on the TinyML Summit
今年的TinyML Summit从硬件(Dedicated integrated circuits),系统,算法,软件和应用多方展示了TinyML的诸多进展。
以下为与设计相关的几项关键内容 -
Model Compression
典型的可运行机器学习的设备比如说智能手机,通常具备高达8GB的RAM,对比一些微控制器(Microcontrollers)仅有大概100KB到1MB的RAM,因此对模型压缩成为了必要(necessitate model compression)。
概念是缩小(shrink)预训练的大模型到小模型的同时不要损失精度,可以通过裁剪(pruning)和深度压缩(deep compression)实现。
Deep Reinforcement Learning
如何在DNN网络中实线DRL(deep reinforcement learning)。
DNN for Aleays-on AI for Battery-Powered Devices
Syntiant展示其NDP100 NDP(neural decision processor)。
如下为视频连接 -
本文分享自微信公众号 - VoiceVista语音智能(AIndustrialRock)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。