东方时讯网东京工业大学(TokyoTech)的工程师展示了一种简单的计算方法，用于支持在传感器时间序列上运行的神经网络的分类性能。所提出的技术涉及将记录的信号作为外部强制馈入基本的非线性动力系统，并将其对这种干扰的时间响应与原始数据一起提供给神经网络。
在我们周围的世界中，传感器正在激增，有望支持人类活动几乎所有方面的效率和可持续性。参与向社会提供物联网的工程师面临的一项挑战是如何处理此类传感器产生的大量数据。需要尽可能减少靠近传感器本身的边缘数据，因为将所有数据流式传输到云端会产生不可接受的技术、经济和环境足迹。
为了应对这一挑战，世界范围内正在进行大量研究，以寻找适合在有限的计算资源上运行时检测特定行为和感兴趣情况的小型高效分类器。一个示例应用场景是实时监测牲畜的行为，重点是检测指示前驱疾病的细微变化。
“一种支持开发适用于边缘人工智能的时间序列分类器的新兴方法是数据增强。基本上，它是关于寻找创造性和创新的方法来生成额外的数据，以帮助从神经网络中获得最佳性能，这必然必须非常小才能满足功率和尺寸要求。虽然分类器的理论已经很成熟，但可以说时间序列的数据增强几乎还处于起步阶段。例如，在我们的实验室中，我们一直在研究基于经验考虑和数学原理的各种技术，”进行该研究的纳米传感部门的博士生，该研究的联合主要作者ChaoLi女士解释说。
通常，数据增强是在分类器训练之前或期间执行的，并在功能强大的工作站或云计算机上运行。结果是可用于训练分类器的数据量在时间维度上得到扩展，如果提供了更长的记录，情况就会如此。这很重要，因为分类器训练所需的高质量数据非常宝贵且准备成本高昂。然而，这并不是唯一可能的数据扩充形式。
“我们想到了沿着另一个维度扩展数据的想法，即时间序列的数量，即输入维度的数量。通常，边缘应用程序可能会在一个或最多几个传感器时间序列上运行。一种可能性是执行计算操作以生成更多的它们，它试图以适合分类器有效学习的形式尽可能多地提供初始信息。虽然可以实现许多信号处理操作，但特别是破坏性计算是模拟一个动力系统，赋予其自身的内在活动，并试图通过从环境中记录的信号从外部强迫它来干扰它，”该研究的主要作者LudovicoMinati博士解释道。
从先前在生物接口部门开发并获得专利的概念开始，以提高大脑接口系统的性能，研究人员仔细考虑了如何实现它的许多实际方面。针对使用项圈安装的加速度计对牛的基本行为进行分类，他们开发了过滤和预处理运动学信号并注入它们的方法，以便模拟动力系统能够接受并响应它们而不会发散。然后，他们探索了如何从其活动中提取最相关的时间序列，以便将其提供给预定的特征提取器和多层感知器或卷积神经网络。
“物理学家和控制工程师已经研究了几十年的许多低维系统，例如Rössler和Lorenz系统，实际上具有显着的计算潜力，但在很大程度上仍未开发。这项研究朝着将其部署到具体应用中迈出了不寻常的一步场景，”卡塔尼亚大学(意大利)的MattiaFrasca教授解释说，他为东京工业大学的研究人员提供了关于此类系统的行为及其作为模拟电路的实现的一些理论贡献。
通过从动力系统(即每个加速度计轴一个单独的Rössler系统)派生的额外时间序列来扩充数据，研究人员能够将分类性能提高一个可观的量。
“虽然这确实只是一项提出挑衅性想法的初步研究，未来还需要开展大量工作，但我们也能够使用非常简单的模拟硬件电路实现动力系统，并且由于利用其响应仍然观察到改进，”补充道LudovicoMinati博士。
“我们的方法让人想起水库计算，我们最近使用称为Minati-Frasca振荡器的基本晶体管电路对其进行了研究。然而，它实际上是不同的，因为动态是低维的，并且使用单个振荡器而不是网络.从这个意义上说，它可能更适合低功耗实现，“该单位的博士生JimBartels先生补充道。
该团队解释说，尽管这些初步结果很有希望，但仍需要在其他数据集和设置上扩展和开发此类探索性研究，以确定其对具体案例的普遍适用性。
“一个要点是，这种方法可以用非常有限的资源来实现，无论是数字方式还是模拟方式。事实上，我们过去的工作表明CMOS混沌系统以低至1μW的功率运行，这可能适用于这种用法。随着工艺技术和传统设计的优化接近极限，对像这样的全新想法进行自信的探索对于持续创新似乎是必要的，”该部门负责人HiroyukiIto博士总结道。
方法、结果和相关注意事项在最近发表在《混沌、孤子和分形》杂志上的一篇文章中有所报道，所有实验记录都已免费提供给其他人在未来的工作中使用。