和视觉感知系统的比拼了,谁能在新时代把握AI算力的红利,就非常有可能率先抢下这一蓝海市场的第一块蛋糕。而赋予这一红利的前提,恰恰就是机器人AI芯片和相关的软件开发平台。
作为AI芯片领域的龙头,英伟达的Jetson AGXOrin在去年一经发布,就获得了机器人行业生态的追捧。200TOPS@INT8的算力相比上一代的Jetson Nano、Jetson Xavier都有了数倍的提升。而上一代产品仍是当时乃至现在的主流产品,Jetson的开发生态拥有100万开发者和6000多家公司,小米的Cyberone、宇树的B1等产品都在使用Jetson硬件作为感知计算平台。
不过Jetson AGX Orin面向的依然是行业级的市场,面对消费级的产品,仍需要入门级与中端级的产品来替代原先的Nano和Xavier。因此英伟达随即又发布了全新的Jetson Orin Nano和Jetson Orin NX,根据配置不同,最高算力分别可至40TOPS和100TOPS。
与Jetson AGX Orin一同更新的Metropolis、Omniverse Isaac和TAO的工具套件,进一步减少了AI部署所需的时间成本,又能解决感知、自然语言理解等机器人开发过程中的挑战。自去年第四季度英伟达开始供货以来,今年新发布的一众机器人产品纷纷用上了这颗芯片,而其作用也不再只是用于感知计算。
以国产机器人厂商宇树为例,他们发布的Unitree Go2 EDU版本可以选配英伟达Jetson Orin高算力模组,以提供额外的40到100TOPS算力,结合来看选配的最低是8GB的Jetson Orin Nano,以及16GB的Jetson Orin NX。Unitree Go2也接入了GPT,在与人进行问答交互时也更加智能,并非程序式的反应。
这对于陪伴型机器人来说,或许意味着跨世代的进步,在接入GPT后,一切交互活动都会变得人性化。在理解指令语义后,也能通过GPT的代码生成能力自动生成机器人的控制代码,从而在无需额外编程的情况下,触发更复杂的动作指令。而目前Jetson是接入大模型最为全面的机器人硬件平台,故而为国产机器人厂商结合国产大模型也提供了支持。
地平线虽是国产无人驾驶芯片的龙头厂商,但这家名字里带了Robotics的公司,也在稳步推进着机器人的开发。在去年,地平线推出了国内首个软硬一体的机器人开发平台Horizon Hobot Platform,以及基于最新旭日X3芯片打造的旭日X3派开发板。
Hobot平台除了包括旭日3芯片外,还包括机器人操作系统TogetherROS,机器人参考算法Boxs等。旭日3集成了全新的伯努利2.0 BPU架构,能够给大家提供5TOPS的算力。而TogetherROS在兼容ROS2通用操作系统的同时,对旭日芯片进行了底层优化,提高了部分CV算子的性能。除了与传感器和软件厂商达成合作以外,地平线也与不少机器人本体厂商紧密合作,诸如松灵机器人、智科特机器人等。
而今年地平线推出了全新的RDK系列机器人开发者套件,基于此原先的旭日X3派升级成了RDK X3,上半年也发布了集成度更高的RDK X3模组,四核Cortex-A53的CPU主频升级至1.5GHz,能够完全满足机器人开发者客户更多的定制化需求。
而在7月的地平线机器人开发者创享日上,地平线以及RDK Ultra。RDK Ultra则是地平线为机器人开发准备的一套高性能、大算力套件,其端侧推理算力可达96TOPS,同时配备了8核Cortex-A55 CPU提供高性能解决能力。同时为了更好地降低开发者的适配与学习成本,RDK Ultra的硬件接口甚至兼容Jetson Orin系列开发板。
与此同时,基于下一代芯片旭日5的RDK X5套件也已经在开发过程中了,预计将于2024年面世。地平线也透露了该平台的一些性能指标,比如8TOPS的BPU算力,8核Cortex A55的CPU将主频逐步提升至1.8GHz,且这次更是配备了ArmMaliGPU。
在机器人开发者创享日上,同样获得升级的还有TogetherROS。升级到2.0版本的TogetherROS引入了更多的算法与应用实例,这中间还包括了一众因为算力升级而得以实现的复杂算法,比如BEV视觉3D感知、深度学习视觉巡线等等。
为了对机器人应用进行更有明确的目的性的开发,地平线也推出了Node Hub,通过将SLAM、目标检测、定位和自主导航等功能节点化,从而使得不一样的机器人只需将这些节点串联起来就可以完成应用开发,譬如需要SLAM、自主导航和运动控制的物流机器人,或是需要运动规划和目标检测的分拣机器人等等。
另一个常常被大家忽略的硬件平台,一样能助力AI机器人的开发,那就是AMD赛灵思的Versal AI Edge系列。该系列通过标量引擎、自适应引擎和智能引擎的结合,提供了一个比GPU提供更高AI能耗比的平台。在通用的控制嵌入式计算上,双核Cortex-A72和双核Cortex-R5F足以满足Linux应用和实时控制的需求,而自适应引擎则用于支持各种传感器的融合算法。
其智能引擎由AI引擎和DSP引擎构成,每个AI引擎都由多个引擎块构成2D阵列,而每个引擎块都包含了一个VLIW的单指令多数据向量处理器,主频高达1.3GHz,且专门针对机器学习和高级信号处理进行了优化,足以满足机器人实时控制的低时延。
值得一提的是,AMD提供的这一AI引擎分为两种,一种是同时平衡ML和DSP负载的AIE引擎,一种是专注于ML的AIE-ML引擎,前者的高级信号解决能力更高,而后者的机器学习推理性能更高。这也是为何Versal AI Edge在智能引擎中加入了一个独立的DSP引擎,这样一来无论是机器人AI应用中的深度学习,还是感知计算中的信号处理,都能在单一平台上完成。
不过从用例来看,Versal AI Edge系列还是更适合用于行业级的机器人,诸如工业协作机器人、医用手术机器人等等。这类应用往往需要数量大于消费级机器人的异构传感器输入,且对于预测性维护、远程诊断之类的机器学习应用需求更高。况且从其标量引擎的配置和自适应引擎对TSN网络的支持上来看,也还是为了在工业、医疗等环境中实现ROS下最快的响应速度。
对于机器人市场来说,追求小型化、低功耗、高算力的AI计算芯片必然是未来几年的大势所趋。与之匹配的电机电机控制芯片以及传感器,也已经开启了新一轮的技术升级,目标即形成感知层、计算层和执行层的完美融合。单从技术积累来看,无人驾驶芯片厂商有很大的可能性是率先吃到甜头的厂商,但它们不少仍需要更加多的精力来接入不同的AI模型,才能跟上新的交互潮流。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。举报投诉机器人机器人+关注
复杂的功能,我们采用 Python 的 multiprocessing 包,这使
系统,着重关注于运动学算法和轨迹规划算法的实现和测试。LabVIEW作为一个关键技术,在项目中扮演了核
的运营成本、人力成本还在逐步的提升(如:办公场地的租金、员工的工资、社保公积金、节假日福利等)。 如今的智能电话
的力量 /
处理这一些数据,我们要处理的是手指的空间位置,也就是xyz坐标。 然后处理夹具的开关。 所以,我们日常程序必须备份。这些程序可以
按照正确的水量清洁地面,并及时将污水清除。在未来,液位检测技术将继续得到逐步发展,以提高
的清洁效率和便携性。能点科技光电液位传感器灵敏度较高,主要供应液位开关,倾倒开关,小型流量计,分离式液位开关,水位传感器,水位开关,轻触开关,水箱
正式上线亿。目前已有慢慢的变多的平台开始使用和关注 ChatGPT 技术,华秋电子也积极地去参加了,特别定制开发了电子行业首个群聊式
系统可以通过高清摄像头实时监视现场环境,通过外接温、湿度传感器等来采集设备现场的湿度温度、有害化学气体浓度等信息,通过4G、5G上传至云端;(2) 全
华为2023年财报出炉:净利润大增144%至870亿,终端业务营收增长17.3%
AMD Versal AI Edge自适应计算加速平台之LVDS液晶屏显示实验(5)
I.MX6ULL-飞凌 ElfBoard ELF1板卡- 应用层更改引脚复用的方法
3D打印遥控气垫船、微型步行机器人、变压器式实验室电源|DF创客周刊(第77期)