S^2：AI应用于通信系统有哪些潜在关键技术

溯溪而上

S2小伙伴，lsn S2微沙龙

1. 分布式学习

深度学习的普及促进了深度神经网络的发展，这些网络模型在各种各样的任务上都取得了良好的效果。然而，训练高性能的网络模型常常需要花费大量时间，短则数小时，长则数天甚至数周。分布式学习通过在多个节点上并行训练深度神经网络的方法来解决高昂训练时间成本的问题，每个节点仅需实行整体计算任务的一部分，因此分布式训练可以大幅缩短深度神经网络的训练时间。此外还可针对分布式训练过程中的通信行为展开优化工作，如梯度量化、梯度稀疏化等技术手段，降低分布式训练过程中的通信开销，提升分布式学习的可扩展性。


2. 模型压缩

在AI/ML技术蓬勃发展的背景下，深度学习算法层出不穷，深度学习模型在很多任务上的性能达到了前所未有的高度。不过，这类模型虽然具有更好的性能，但是模型设计复杂、参数量巨大、推理周期长，往往需要高额的存储空间和计算资源，并且难以有效地应用在各硬件平台上。为了解决上述问题，研究模型压缩方法是一个亟待解决的课题，常见的模型压缩方法有：参数量化、模型稀疏化、常识蒸馏、网络剪枝等。


3. 模型分割

在很多情况下，将AI/ML模型推理工作完全放在终端或网络侧来实行会带来终端和网络间计算资源和无线通信资源不平衡以及安全隐私等问题。因此，可以考虑对AI/ML推理任务进行合理地分割，使其能够在终端和网络两侧进行联合推理，以减轻设备的算力、内存、存储、功耗和网络传输的压力，降低AI/ML推理延迟和能耗，提高推理准确性和效率。

AI/ML模型分割的原则是将算力、能耗消耗较多的计算转移到网络侧节点，将对延迟敏感和在某些隐私保护规则下要求保留在终端上的计算保留在终端上。终端将实行AI/ML操作到某个特定部分，或实行AI/ML模型到某个特定的层，并将生成的中间数据发送到网络。网络侧节点负责实行AI/ML操作的剩余部分或AI/ML模型的剩余各层，并将推理结果反馈给终端。模型分割点的选择需根据每一层消耗的算力，数据量的大小，设置几个备选切分点，根据终端算力和网络状况选择合适的切分点。


4. 空中计算

以5G物联网为开端，未来网络中将存在数以亿计的各类接入设备，传统无线通信系统需要将海量数据上传的中心服务器进行处理和计算，这种“先通信再计算”的分离架构无疑增加了网络的传输负载以及计算的时延。因此对于符合一些特征的计算需求，例如求平均，最大最小值等，可以在数据传输的过程中利用无线信道的叠加特性，实现在传输中对数据的处理。

空中计算的核心思想在于通信计算一体化，它改变了传统体系中通信和计算分离的架构，提示了一种全新的、可以用于直接实现计算结果传输的无线通信新架构。空中计算适用于通信受限的计算应用类场景，例如基于海量物联网接入节点的计算领域。值得注意的是，空中计算对于无线信道一致性、节点分布式同步的要求比较苛刻，因此如何实现高精度的可靠空中计算是一个亟待探索和研究的重要问题。


5. 联邦学习

与传统的机器学习相比，联邦学习增加了本地算法的模型选择、参数化模型加密、参与模型训练的参与方的选择等。其基本流程是：由需求方描述任务与数据需求，并将任务和需求下发到各个参与方，参与方根据需求进行协商，在本地选择并训练模型，之后各个参与方训练统一的模型，加密相关的交互参数，上传交互参数，并由中心节点进行参数聚合与训练，形成新的模型，并将新模型下发到各个参与方。在联邦学习的评估阶段，通过预留的测试评估数据从多轮训练中对模型的性能进行评估，选出最优模型，之后可以采用A/B测试等方法优化和更新最优模型。针对不同数据集，联邦学习分为横向联邦学习、纵向联邦学习与联邦迁移学习。


6. 数据隐私保护

随着AI时代的到来，大数据中蕴含的价值被不断开发，但与此同时，用户的隐私泄露问题、数据垄断问题以及算法决策中的公平问题愈发凸显。大数据时代下的海量个人信息存储与处理是隐私保护面临的关键问题，用户往往不希翼将个人资料、保密文件、隐私信息存储在服务提供商中，而AI时代又需要对这些用户信息进行挖掘分析。未来AI/ML隐私保护研究需要重点关注建立完善的评估机制与法律手段以及研究高效的加密算法。