行走在田园和山间,欣赏美好景色和呼吸新鲜空气时,常常能见到用于灌溉的机井。你可能除了小心,并没有更多留意它们。然而你可曾想到,它们与
虽然人工智能早已在身边,但是在“原味”的微控制器应用场景中如何落地深度学习技术,人们还一直还在摸索。这次,小编就给还在上下求索的小伙伴们讲一个让“微控制器+AI”成功落地的小故事。
故事的主角是由北京市水务局和北京鸿成鑫鼎有限公司联合开发的“边缘抄表器”模块,这个模块将率先用于机械水表的智能抄表。我们先上靓照——
左边那个戴在水表上面浅蓝色的“帽子”就是它了,右边的图则是它的“裸照”。这个边缘智能抄表模块采用恩智浦i.MX RT1020跨界单片机读取摄像头并运行基于深度学习的“SlimSSD,直接扣在水表表盘上就可以拍照并且识别表盘的读数。
这个模块很强大,可以用在很多场合,除了安装在家里,还可以“落地”到主干水管上——
“边缘AI抄表器通讯畅通率达95%以上,平均识别准确率为83.42%,其中8块表识别准确率在98%以上,在性能方面取得了不错的成绩;自动辅助数据矫正和人工审核矫正率100%,数据线条数据功耗折算,可平均工作4425.6天(约12.1年),已大大超过了8年的设计寿命。”
下图是使用边缘AI抄表器检测出识别区域,识别出读数,并把识别结果和原始图片中检测区域一并上传的效果,一次无线传输的数据量仅几百字节(而发送全图要几万字节)。
北京水务局还计划在北京市东水西调管理处、门头沟区70多处机井、甘家口大大厦等地进行应用推广试点。实现乡村水井、耕地和林区机井、供水管道网络处无人值守的用水计量,实现了无需替换原有水表,就实现了自动抄表的功能。
更加可喜的是,这个边缘AI抄表器的设计经过多次反复设计、打版,边缘AI抄表器的适用性越来越强,并且得到了含金量很高的发明专利。
最让小编赞叹的是,这个抄表模块使用了比图像分类更先进的物体检测(Object Detection, OD)技术,实现了无需调整参数就能自动适应新的各种表盘。而直到最近,我们正真看到其他一些厂商才刚刚提出类似的基于深度学习技术,但使用手写数字分类的参考模型——注意,是刚刚才提出——而且还是使用深度学习计算机视觉中最基础的“图像分类”技术。
图像分类和物体检测的关键区别是啥呢,小编画了一个草图来说明(原谅小编的美术是数学老师教的)。
最重要的是分类模型把图像当作整体,给出一个类别(确切地说是预测各类别的概率并选最大的那一类);而检测模型要干两个事,既要找出图像中各个物体的位置,也要判断找出的物体是什么类别。不过,虽然看起来检测比分类强大得太多了,但神奇的是他们共享的技术却高度相似——特别地,在检测模型的组成部分中,最重要的被称为“骨干”(backbone)的关键部分,就是来自于分类模型的卷积神经网络部分,它用来提取出抽象概括的图像特征。
可以认为分类模型在卷积神经网络的基础上追加分类器(常常是单层全连接层,又叫感知机,就够了);而检测模型抽取卷积神经网络的多处中间结果和最终输出,并添加检测颈和检测头的相关结构,只是比分类器要复杂得多。骨干网络的训练一般也是借助分类模型来实现。
回到AI抄表的应用,如果用分类模型,就要为每种规格的表盘人工设定分类区域,每个数字一个,麻烦得很;但是检测模型就能自动找出在哪里读数,读几个数,显然是方便多了。而在这个具体的专利中,使用了一种单发多框检测器(Single Shot Multibox Detector, SSD)模型的优化版本——发明人称为 “SlimSSD”,从名字上能够准确的看出它是一种更“苗条(Slim)”的SSD——发明人还使用注意力机制来更准确地帮助裁剪模型。
有关SSD的详情后面咱们再接着聊,这里不妨先给出某一个高度精简后类SSD模型的“长相”。
图中那个醒目的三段显示的竖长条就是这一个模型的骨干,来自一个简洁的分类模型中卷积子网络的部分。下部的几支“并联”的结构用于各自检测和分类输入图片中不同大小的物体,最终汇总成左、右两支,分别给出检测出的物体坐标信息和物体类别信息。(查看有关SSD模型的论文,请点击这里>
)。
在物体检验测试领域,最近的Yolo系列模型也非常有生命力,还有别的的一些超轻量级物体检测模型,如NanoDet,YoloX-nano, PP-PicoDet等正如同雨后春笋般的涌现。物体检测技术因为实用、方便,它们的超轻量化研究十分活跃。
SSD和很多其它深度神经网络一样,都非常的灵活,它的构成能够准确的通过应用要求的不同像搭积木一样魔改和优化,对算力要求还可以有上百倍的优化,使得微控制器也可以承载。小编通过查阅专利号“CN113255650B”,发现客户优化的这个SlimSSD,把官方的SSD模型瘦身到仅有原版SSD模型的0.5%大小,而仍就保持99%的精度!这是什么概念?形象地说,就是原来一个200斤的壮汉能背200斤的麻袋,现在是一个1斤的小人能背198斤的麻袋!嗯,差不多就是葫芦娃中的大红娃。
这个成功的故事也深深地震撼了小编,感觉自己对深度学习和实际应用的认知不足,限制了自己的想象力。
有感于很多人觉得“算力小于0.5TOPS都干不了啥事”,而这个智能边缘抄表方案是在理论上有效算力仅有0.0003TOPS的i.MX RT1020平台上完成的,这可是1600多倍啊!并且是无人值守的环境下仅靠电池就能一天抄一次持续工作12年以上!
除了模型本身的先进性,更难能可贵的是这个模块的主要开发团队北京鸿成鑫鼎科技公司在两年前就开始了项目,而NXP用于微控制器的eIQ机器学习套件是半年前才发布,他们仅凭我们的技术上的支持就独自完成了这样一个看似不可能,甚至我们也没敢想的奇迹!
其中,令小编印象最深的,就是北京鸿成鑫鼎的总裁廉永康先生,三年前小编与他在一次MCU+AI研讨会中相识,当时小编对该项目的想法是——能够正常的使用基础的图像分类“试一试”,而廉永康先生却毅然启动了这一个项目,以极大的胆识采用了更先进的物体检测的新方法。要知道,3年前别说是基础的图像分类,就算是深度学习在微控制器上的基础软件也几乎还是空白,ArmCMSIS-NN也才发布几个月。
上面的小故事告一段落,但完整的故事还在继续。小编了解到,北京鸿成鑫鼎科技公司没有就此止步,而是在此基础上,进一步开发出了可以用在水表以外的像灭火器压力计、液晶显示仪表上的改版,让微控制器和人工智能的结合给人民的安居乐业保驾护航!在这其中,恩智浦的高品质长寿命微控制器也将继续履行承担计算平台的光荣使命。
最后,小编想说,深度学习的抻缩性远比我们想象要大得多,只要根据应用的实际要求和硬件平台的特点合理优化和化简模型,有很多想都不敢想的应用都可以变成现实。尤其是不要小看了微控制器的潜力。
微控制器虽然算力比PC或应用处理器弱得多,但是它上面的负担开销轻得更多,再加上深度学习模型这种极大的伸缩性,有太多的“不可能”其实就是可能的,就等您延续奇迹的故事。奇迹多了,也就变得平凡了。
▲本文作者为恩智浦半导体系统工程师宋岩。感谢北京鸿成鑫鼎智能科技有限公司为本文提供的相关图片,文中部分数据和信息参考自以下这篇文章>
免责声明:本文为转载文章,转载此文目的是传递更加多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理
硬件创业也是如此,从最初的idea到demo,从路演到资金成功注入,从起初供应链搭建直至完善,太多的“
发现”,实际感受一下,原来那么好玩。不管是CPU还是啥东西,只要是处理器之类的东西,一般工作都是需要晶振来保证工作的,但CPLD内部神奇的UFM,原来那么好玩,
你好,我使用PSoC3来实现一些模拟滤波器和其他子电路。这些滤波器,当然,包括OAS和无源元件,如电阻器和电容器。据我所知,在PSoC Creator
。这些成果的影响不再只孤立于一个狭窄的垂直市场,它渗透进了各行各业,对现有
算法的进步超越硬件的进步,你如何确保算法明天是一个很好的适合现有的人工
我们应当张开双臂拥抱快节奏的技术变革,它推动科学技术的进步,让人们更加紧密相连并感到安全自信,它改变了我们此前认为的
。这些成果的影响不再只孤立于一个狭窄的垂直市场,它渗透进了各行各业,对现有的从业企业既具有破坏性又带来增长的潜力。
的,但是想要实现一致性、可用性、分区容错性,三个属性中的两个是可行的。在异步通信系统中,当没有锁提供时,假如慢慢的出现消息丢失,即使允许过时的数据返回,提供一致性数据也是
突破 /
三角”一词,最早来自金融经济领域,指的是资本自由流动、汇率稳定和货币政策独立性三者
GRANULE算法是一个超轻量分组密码算法,有着较好的软硬件实现性能,但目前尚没有该算法在
差分分析下的安全性评估结果。为此,利用中间相错技术,找到 GRANULE64算法多条5轮
网卡是目前国内唯一的基于SoC架构的成熟DPU(Data Processing Unit,数据处理单元)完整解决方案,并拥有自主知识产权,已成
鸿蒙开发接口Ability框架:【ServiceExtensionContext】
1024 CSDN 程序员节-基于存内计算WTM2101芯片开发板验证语音识别
5G智能物联网课程之Aidlux下人工智能开发(SC171开发套件V2)
第一次启动StarFive VisionFive 2, U-Boot总是报错,为什么?
行走在田园和山间,欣赏美好景色和呼吸新鲜空气时,常常能见到用于灌溉的机井。你可能除了小心,并没有更多留意它们。然而你可曾想到,它们与
虽然人工智能早已在身边,但是在“原味”的微控制器应用场景中如何落地深度学习技术,人们还一直还在摸索。这次,小编就给还在上下求索的小伙伴们讲一个让“微控制器+AI”成功落地的小故事。
故事的主角是由北京市水务局和北京鸿成鑫鼎有限公司联合开发的“边缘抄表器”模块,这个模块将率先用于机械水表的智能抄表。我们先上靓照——
左边那个戴在水表上面浅蓝色的“帽子”就是它了,右边的图则是它的“裸照”。这个边缘智能抄表模块采用恩智浦i.MX RT1020跨界单片机读取摄像头并运行基于深度学习的“SlimSSD,直接扣在水表表盘上就可以拍照并且识别表盘的读数。
这个模块很强大,可以用在很多场合,除了安装在家里,还可以“落地”到主干水管上——
“边缘AI抄表器通讯畅通率达95%以上,平均识别准确率为83.42%,其中8块表识别准确率在98%以上,在性能方面取得了不错的成绩;自动辅助数据矫正和人工审核矫正率100%,数据线条数据功耗折算,可平均工作4425.6天(约12.1年),已大大超过了8年的设计寿命。”
下图是使用边缘AI抄表器检测出识别区域,识别出读数,并把识别结果和原始图片中检测区域一并上传的效果,一次无线传输的数据量仅几百字节(而发送全图要几万字节)。
北京水务局还计划在北京市东水西调管理处、门头沟区70多处机井、甘家口大大厦等地进行应用推广试点。实现乡村水井、耕地和林区机井、供水管道网络处无人值守的用水计量,实现了无需替换原有水表,就实现了自动抄表的功能。
更加可喜的是,这个边缘AI抄表器的设计经过多次反复设计、打版,边缘AI抄表器的适用性越来越强,并且得到了含金量很高的发明专利。
最让小编赞叹的是,这个抄表模块使用了比图像分类更先进的物体检测(Object Detection, OD)技术,实现了无需调整参数就能自动适应新的各种表盘。而直到最近,我们正真看到其他一些厂商才刚刚提出类似的基于深度学习技术,但使用手写数字分类的参考模型——注意,是刚刚才提出——而且还是使用深度学习计算机视觉中最基础的“图像分类”技术。
图像分类和物体检测的关键区别是啥呢,小编画了一个草图来说明(原谅小编的美术是数学老师教的)。
最重要的是分类模型把图像当作整体,给出一个类别(确切地说是预测各类别的概率并选最大的那一类);而检测模型要干两个事,既要找出图像中各个物体的位置,也要判断找出的物体是什么类别。不过,虽然看起来检测比分类强大得太多了,但神奇的是他们共享的技术却高度相似——特别地,在检测模型的组成部分中,最重要的被称为“骨干”(backbone)的关键部分,就是来自于分类模型的卷积神经网络部分,它用来提取出抽象概括的图像特征。
可以认为分类模型在卷积神经网络的基础上追加分类器(常常是单层全连接层,又叫感知机,就够了);而检测模型抽取卷积神经网络的多处中间结果和最终输出,并添加检测颈和检测头的相关结构,只是比分类器要复杂得多。骨干网络的训练一般也是借助分类模型来实现。
回到AI抄表的应用,如果用分类模型,就要为每种规格的表盘人工设定分类区域,每个数字一个,麻烦得很;但是检测模型就能自动找出在哪里读数,读几个数,显然是方便多了。而在这个具体的专利中,使用了一种单发多框检测器(Single Shot Multibox Detector, SSD)模型的优化版本——发明人称为 “SlimSSD”,从名字上能够准确的看出它是一种更“苗条(Slim)”的SSD——发明人还使用注意力机制来更准确地帮助裁剪模型。
有关SSD的详情后面咱们再接着聊,这里不妨先给出某一个高度精简后类SSD模型的“长相”。
图中那个醒目的三段显示的竖长条就是这一个模型的骨干,来自一个简洁的分类模型中卷积子网络的部分。下部的几支“并联”的结构用于各自检测和分类输入图片中不同大小的物体,最终汇总成左、右两支,分别给出检测出的物体坐标信息和物体类别信息。(查看有关SSD模型的论文,请点击这里>
)。
在物体检验测试领域,最近的Yolo系列模型也非常有生命力,还有别的的一些超轻量级物体检测模型,如NanoDet,YoloX-nano, PP-PicoDet等正如同雨后春笋般的涌现。物体检测技术因为实用、方便,它们的超轻量化研究十分活跃。
SSD和很多其它深度神经网络一样,都非常的灵活,它的构成能够准确的通过应用要求的不同像搭积木一样魔改和优化,对算力要求还可以有上百倍的优化,使得微控制器也可以承载。小编通过查阅专利号“CN113255650B”,发现客户优化的这个SlimSSD,把官方的SSD模型瘦身到仅有原版SSD模型的0.5%大小,而仍就保持99%的精度!这是什么概念?形象地说,就是原来一个200斤的壮汉能背200斤的麻袋,现在是一个1斤的小人能背198斤的麻袋!嗯,差不多就是葫芦娃中的大红娃。
这个成功的故事也深深地震撼了小编,感觉自己对深度学习和实际应用的认知不足,限制了自己的想象力。
有感于很多人觉得“算力小于0.5TOPS都干不了啥事”,而这个智能边缘抄表方案是在理论上有效算力仅有0.0003TOPS的i.MX RT1020平台上完成的,这可是1600多倍啊!并且是无人值守的环境下仅靠电池就能一天抄一次持续工作12年以上!
除了模型本身的先进性,更难能可贵的是这个模块的主要开发团队北京鸿成鑫鼎科技公司在两年前就开始了项目,而NXP用于微控制器的eIQ机器学习套件是半年前才发布,他们仅凭我们的技术上的支持就独自完成了这样一个看似不可能,甚至我们也没敢想的奇迹!
其中,令小编印象最深的,就是北京鸿成鑫鼎的总裁廉永康先生,三年前小编与他在一次MCU+AI研讨会中相识,当时小编对该项目的想法是——能够正常的使用基础的图像分类“试一试”,而廉永康先生却毅然启动了这一个项目,以极大的胆识采用了更先进的物体检测的新方法。要知道,3年前别说是基础的图像分类,就算是深度学习在微控制器上的基础软件也几乎还是空白,ArmCMSIS-NN也才发布几个月。
上面的小故事告一段落,但完整的故事还在继续。小编了解到,北京鸿成鑫鼎科技公司没有就此止步,而是在此基础上,进一步开发出了可以用在水表以外的像灭火器压力计、液晶显示仪表上的改版,让微控制器和人工智能的结合给人民的安居乐业保驾护航!在这其中,恩智浦的高品质长寿命微控制器也将继续履行承担计算平台的光荣使命。
最后,小编想说,深度学习的抻缩性远比我们想象要大得多,只要根据应用的实际要求和硬件平台的特点合理优化和化简模型,有很多想都不敢想的应用都可以变成现实。尤其是不要小看了微控制器的潜力。
微控制器虽然算力比PC或应用处理器弱得多,但是它上面的负担开销轻得更多,再加上深度学习模型这种极大的伸缩性,有太多的“不可能”其实就是可能的,就等您延续奇迹的故事。奇迹多了,也就变得平凡了。
▲本文作者为恩智浦半导体系统工程师宋岩。感谢北京鸿成鑫鼎智能科技有限公司为本文提供的相关图片,文中部分数据和信息参考自以下这篇文章>
免责声明:本文为转载文章,转载此文目的是传递更加多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理
硬件创业也是如此,从最初的idea到demo,从路演到资金成功注入,从起初供应链搭建直至完善,太多的“
发现”,实际感受一下,原来那么好玩。不管是CPU还是啥东西,只要是处理器之类的东西,一般工作都是需要晶振来保证工作的,但CPLD内部神奇的UFM,原来那么好玩,
你好,我使用PSoC3来实现一些模拟滤波器和其他子电路。这些滤波器,当然,包括OAS和无源元件,如电阻器和电容器。据我所知,在PSoC Creator
。这些成果的影响不再只孤立于一个狭窄的垂直市场,它渗透进了各行各业,对现有
算法的进步超越硬件的进步,你如何确保算法明天是一个很好的适合现有的人工
我们应当张开双臂拥抱快节奏的技术变革,它推动科学技术的进步,让人们更加紧密相连并感到安全自信,它改变了我们此前认为的
。这些成果的影响不再只孤立于一个狭窄的垂直市场,它渗透进了各行各业,对现有的从业企业既具有破坏性又带来增长的潜力。
的,但是想要实现一致性、可用性、分区容错性,三个属性中的两个是可行的。在异步通信系统中,当没有锁提供时,假如慢慢的出现消息丢失,即使允许过时的数据返回,提供一致性数据也是
突破 /
三角”一词,最早来自金融经济领域,指的是资本自由流动、汇率稳定和货币政策独立性三者
GRANULE算法是一个超轻量分组密码算法,有着较好的软硬件实现性能,但目前尚没有该算法在
差分分析下的安全性评估结果。为此,利用中间相错技术,找到 GRANULE64算法多条5轮
网卡是目前国内唯一的基于SoC架构的成熟DPU(Data Processing Unit,数据处理单元)完整解决方案,并拥有自主知识产权,已成
鸿蒙开发接口Ability框架:【ServiceExtensionContext】
1024 CSDN 程序员节-基于存内计算WTM2101芯片开发板验证语音识别
5G智能物联网课程之Aidlux下人工智能开发(SC171开发套件V2)
第一次启动StarFive VisionFive 2, U-Boot总是报错,为什么?