东方时讯网网络辅助全双工(NAFD)系统使上行链路和下行链路在相同的时频资源内通信，从而避免切换上下行链路模式的开销。然而，随着用户和接入点(AP)数量的激增，海量接入在模式选择方面带来了巨大的开销。
此外，用户之间差异化的服务需求也使得资源的有效利用变得困难。结合网络切片技术，提出了一种以切片容量为中心的模式选择和资源优化方案。
该方案采用双层深度强化学习机制，通过AP之间的集群协作和资源隔离，不仅实现了上下行资源的自适应配置，而且能够适应网络规模的扩大，快速响应环境变化.与传统方案相比，有效地兼顾了灵活的扩展性和用户需求。
发表在ScienceChinaInformationSciences上的一篇论文提出了一种以切片容量为中心的模式选择和资源优化方案。网络切片与NAFD技术的结合，不仅进一步提高了有限资源的利用率，也满足了用户的定制化服务。此外，AP和切片组成不同的子系统，创造了一种新的模式选择范式，可以降低协作成本。
为了有效实施该方案，本文提出了一种能够适应切片需求长期趋势的双层深度强化学习机制。上层根据下层的反馈信息和流量状态，使用DQN算法得到AP与切片的关联方案。
下层根据上层关联方案和本地网络状态，通过MADDPG算法实现各子系统的模式选择和资源分配。双层耦合并相互反馈。
本文的创新点如下：
引入网络切片来辅助NAFD技术，通过用户间的资源隔离来降低资源争用压力。
AP受切片需求的驱动，将不同的切片关联起来形成不同的子系统，并且在每个子系统内共同优化模式选择和资源分配。
提出双层深度强化学习机制。上层控制策略使用DQN组成灵活的双工AP-slice子系统。下层控制策略使用MADDPG协同选择工作模式，在各子系统中进行无线资源分配。
上层控制策略的仿真结果。图片来源：科学中国出版社
本文提出的以切片容量为中心的方案和双层深度强化学习机制在PYTHON平台上进行了验证。仿真结果表明，与传统的以全局容量为中心的方案相比，所提出的以切片容量为中心的模式选择和资源优化方案不仅提高了系统性能，而且提高了切片需求和切片效用的适应性，满足了用户的定制需求。通过优化AP和切片之间的关联方案。
此外，与静态资源分配方案和K-means-MADDPG学习机制相比，双层深度强化学习机制通过AP之间的协作实现了更好的系统性能，进一步证明了所提出的双层深度强化学习机制通过上下层的相互反馈，实现网络的实时优化。