当前位置:首页>媒体矩阵
访问次数: 1746 次 作者: 远望智库 发布时间: 2023-10-12
本章介绍了用于开发人工智能/机器学习方法的评估和决策标准的方法,以将它们映射到杀伤链功能,用于未来系统的设计,包括建立一个模型框架和一个单功能分析示例,以描述通过杀伤链的信息流。本团队将人工智能方法映射到AMD杀伤链的方法基于以下序列(图34):
图34 人工智能/机器学习杀伤链映射方法
本过程始于对功能过程和事件追踪的评估,建立在AI-OODA 团队的结论之上。图35从系统工程的角度描述了方法和思考过程。它代表了在杀伤链决策过程中,杀伤链框架和人工智能/机器学习方法的运用与集成点的融合。图形的顶部所示为杀伤链框架。在此之下,它被映射到决策制定的杀伤链连续体上的决策集成点。这些决策的特征见方块中的标准。随着信息和数据在人和机器层面流动,通过杀伤链的每个阶段,决策集成标准被不断地迭代处理。因为这些都是不断迭代解决的,所以可以用来增加、增强或自动化这些决策的人工智能方法变是以也是如此。人工智能方法最初是使用下面的标准来描述的,以便开发出创建映射模式所需的最终评估和评分标准。
图35 功能方法和分析。选自琼斯等。(2020年,表-17)
A.建模框架
由于AMD 杀伤链所固有的复杂性,本团队建立模型框架的方法是将杀伤链结构分解为各个功能,以便进一步评估。这一过程在本报告中被称为单一功能分析,包括在较低层次上分解所有28个已识别的功能,以了解执行每个功能所需的事件和通信路径。使用附录中引用的定义作为起点,以下部分将通过分析功能1.2.4-“识别”来说明该方法。
1.单一功能分析
识别功能发生在杀伤链的锁定步骤中,并与分类和定位功能并行执行,如图36所示。
图36 杀伤链中的锁定步骤
在杀伤链的这一点,已进行了初次探测,执行杀伤链的C2系统已经开始“确定目标/威胁”功能,包括处理“出现的目标”。JP 3-60将新出现目标定义为“满足足够的标准以被评估为潜在目标”的检测,并且通常需要进一步分析以进行验证。所需的验证促进了对功能1.2.2至1.2.5的需求(参谋长联席会议2019)。
识别功能本身包含了促进正确识别(ID)所需的一个重要的过程层。作为JP 3-09《联合火力支援》中概述的更大目标获取和识别过程的一个组成部分,潜在目标的识别可以通过多种方式进行,无论是通过简单的目视确认的潜在目标,还是从电子签名或传感器中衍生出来的东西,比如雷达探测(参谋长联席会议2019)。在大多数作战环境中,有几个并行运行的识别进程,它们都有助于执行识别功能。由陆海空应用(ALSA)中心开发的多军种空中和导弹防御战术、技术和程序出版物概述了三种识别方法(陆海空应用中心,2019年):
a. 真识别(PID)或程序ID
PID:通过视觉识别、原点、电子支持系统、敌我识别(IFF)系统或其他基于物理学的ID技术得出。
程序ID:通过遵守已建立的空域协调措施或规则获得。
b. 识别机构保留的ID标准和符号
ID标准:能够确定其性质和分类的航迹的属性和特征(作为区域防空计划的一部分由JFC批准)。
符号:七种轨迹分类(待定、未知、中立、假设朋友、朋友、嫌疑人和敌对)。
c. 自动识别系统:具有嵌入式自动识别功能的武器系统(宙斯盾、爱国者等。)
值勤人员在操作中使用的各种工具展示了其中一些要素及其复杂程度。一个例子是陆海空应用中心提出的样品ID矩阵,如图37所示(陆海空应用中心,2019年)。
图37 ID矩阵。资料来源:陆海空应用中心(2019年)。
该矩阵是一个逻辑树,可用于帮助人员识别传感器检测到的未知轨迹。初次探测后,未知轨迹被指定为“目标”,值勤人员可以用矩阵中建立的标准交叉检查轨迹的特征(陆海空应用中心,2019年)。这个过程意味着多层决策和标准,可能需要验证杀伤链中的单个功能。
从这一分析中,本团队得出这样的结论:即使是单一功能也具有超出基本执行的高度复杂性。因此,将相同的单一功能分析过程应用于所有28个功能,团队确定是否需要进一步了解杀伤链执行时每个步骤对应的数据流。开发建模框架的下一步是,团队针对每个功能的数据流和事件跟踪进行分析。下一节将详细介绍从这个过程开发的模型。
2.事件和数据跟踪
事件和数据跟踪过程建立在从单一功能分析中得出的特征之上。由于每个功能都呈现了一个独特的细节层,本团队发现在执行每个步骤时绘制出正在处理的数据是有益的。这样分析的目的是为了更好地了解每个功能所涉及的各种组件,以及每个事件进展过程中的一般信息流。本团队的调查结果示例见表7,其余的分析见报告末尾的附录。
表7 事件和数据跟踪
请注意,该分析建立在OV-6c期间提供信息的基础上。然而,尽管OV-6c提供了特定场景的高级事件跟踪,但此表提供了每个功能的具体细节。
本分析使研究团队能够确定信息如何流经杀伤链的各个组件,并提供交叉点,这些交叉点可进一步评估最终模型开发中的映射适用性。例如,再看一下识别功能,它显示有几个机会来映射特定的组件和正在做出的不同级别的决策。当信息流入蓝军C2系统时,它作为一条必须进行瞄准处理的跟踪到达。正如团队在单一功能分析中了解到的那样,这一过程涉及几个层面来推动决策制定,因此为合适的人工智能方法映射提供了巨大的机会。下一节的重点,团队扩展了决策制定的概念,将其作为确定映射适用性的驱动因素。
B.人工智能/机器学习适用性和决策集成
当处理人工智能/机器学习适用性时,如图38所示,决策者需要决定是否需要AI或ML,以及需要这些工具和方法提供何种程度的支持。根据上章介绍内容的扩展和图69的说明,人工智能/机器学习既可以为决策者提供支持,也可以不提供支持,既增强其决策过程,也提供(几乎)完全自动化,如图38所示。确定人工智能/机器学习的级别有助于确定哪种方法将被映射到杀伤链。人工智能/机器学习方法映射将在以后的章节中介绍。
图38 人工智能/机器学习对决策的适用性。选自斯塔丽塔(2021b)。
在图38所示的四个象限中,每个象限描述了人在循环中决策者对人工智能/机器学习方法的依赖程度。当不需要人工智能/机器学习支持时,杀伤链中的决策者依赖于可用数据,而不使用人工智能/机器学习决策助手。人工智能/机器学习可以通过提供警报和可视化来帮助决策制定者。下一个级别将是人工智能/机器学习增强,它将为决策者提供杀伤链建议和数据分析。为了“以相关性的速度”移动,自动化将根据人工智能/机器学习生成的预测、预报和模拟(基于最佳预测结果和杀伤链规则)来提供杀伤链决策。然而,在所有象限中,将有一个人在循环中的选项,“允许指挥官和操作员对武力的使用进行适当水平的人类判断”(Sayler 2019,15)。
C.人工智能/机器学习方法映射标准
第三章详细讨论了常见的人工智能和机器学习方法,其他细节见附录C。如第三章结尾所述,分析框架旨在以决策点的形式向用户提出一系列问题;这些问题的答案将突出显示特定功能的最佳人工智能/机器学习方法,这些决策点以及所有答案将在接下来的章节中讨论。每个人工智能/机器学习方法将在每次决策时被分配一个分数,每个方法的分数总和将有助于对可能的人工智能/机器学习方法进行排序。
本节将对以下人工智能/机器学习方法进行评分:
l线性回归
l逻辑回归
l聚类
l关联
l随机森林
l神经网络
lGAN
l朴素贝叶斯
表8 评分标准
得分 | 细节 |
+1 | 方法非常适于该任务 |
0 | 方法适于该任务,但不是最优的 |
-1 | 方法不适于该任务 |
图39 决策点#1选项
a. 定量数据(决策点#1)
输出/响应包含实数值。无限数量的值。
表9 决策点1:答案=定量数据
方法 | 得分 |
线性回归 | +1 |
逻辑回归 | 0 |
聚类 | 0 |
关联 | 0 |
随机森林 | +1 |
神经网络 | +1 |
GAN | 0 |
朴素贝叶斯 | 0 |
l线性回归、随机森林和神经网络可以生成原始形式的定量输出。
l逻辑回归和朴素贝叶斯生成一个必须转换成数量的分类或概率反应。
l聚类是在寻找模式,并将响应视为预测因素之一。
lGAN,如果编程正确,可以开发定量输出,但与其他方法相比,需要大量的额外处理。(由于使用了敌对网络)
b. 定性数据(决策点#1)
输出/响应由分类数据组成。这是已经分配给一种预定义的分类值(数字或字符串)的数据。
表10 决策点1:答案=定性数据
方法 | 得分 |
线性回归 | 0 |
逻辑回归 | +1 |
聚类 | +1 |
关联 | +1 |
随机森林 | +1 |
神经网络 | +1 |
GANs | 0 |
朴素贝叶斯 | +1 |
l朴素贝叶斯、逻辑回归和随机森林将输出原始形式的分类或概率响应。
l聚类将根据分配的簇分配响应变量。
lGAN如果编程正确,可以产生定性输出,但与其他方法相比,需要大量的额外处理。(由于使用了敌对网络)
c. 聚类(决策点#1)
输出/响应由按强关联质量分组的数据簇组成。当试图在数据集中查找模式时,这很有用。
表11 决策点1:答案=集群
方法 | 得分 |
线性回归 | -1 |
逻辑回归 | 0 |
聚类 | +1 |
关联 | 0 |
随机森林 | 0 |
神经网络 | 0 |
GANs | 0 |
朴素贝叶斯 | 0 |
l聚类将生成一个响应,该响应以其原始形式将数据分配给簇
l逻辑回归、关联、随机森林、神经网络和朴素贝叶斯可以生成分类输出,然后用于对数据进行聚类
l线性回归将产生难以归类和分类的定量反应。
lGAN如果编程正确,可以产生定性输出,但与其他方法相比,需要大量的额外处理。(由于使用了敌对网络)
d. 规则(决策点#1)
输出/响应由一系列if/then规则组成。这方面的一个常见应用是推荐系统。
表12 决策点1:答案=规则
方法 | 得分 |
线性回归 | -1 |
逻辑回归 | -1 |
聚类 | -1 |
关联 | +1 |
随机森林 | -1 |
神经网络 | -1 |
GANs | -1 |
朴素贝叶斯 | -1 |
除了关联之外,上面列出的所有方法都会生成定量/定性/簇数据,这些数据不适合定义一组if/ then语句
关联本质上将生成一系列if/then规则的响应。
2、决策点#2
图40 决策点#2选项
a. 受监督学习(决策点#2)
包含预测值和响应变量的完全标记的数据集可用于该方法的训练和模型创建。
表13 决策点2:答案=受监督学习
方法 | 得分 |
线性回归 | +1 |
逻辑回归 | +1 |
聚类 | 0 |
关联 | +1 |
随机森林 | +1 |
神经网络 | +1 |
GANs | +1 |
朴素贝叶斯 | +1 |
l聚类不需要完全标记的(预测值和响应)训练集。它可以使用被认为是另一个预测值的响应进行操作和聚类。
l当使用带标签的数据集时,其余方法的性能都是最佳的。
b. 不受监督学习(决策点#2)
没有响应变量,只有用于训练和模型创建的数据集中的预测值。
表14 决策点#2不受监督学习
方法 | 得分 |
线性回归 | -1 |
逻辑回归 | -1 |
聚类 | +1 |
关联 | -1 |
随机森林 | -1 |
神经网络 | -1 |
GANs | -1 |
朴素贝叶斯 | -1 |
l聚类是唯一非常适合处理缺少响应变量的训练集的方法。
l其余的方法依赖于预测响应,因此不适于在训练集的数据中没有响应的情况下工作。
c. 强化学习(决策点#2)
完全标记的数据集不可用(部分或未标记的可用),一般规则的定义方法是使得该方法可以在学习时生成反馈。
表15 决策点2:答案=强化学习
方法 | 得分 |
线性回归 | 0 |
逻辑回归 | 0 |
聚类 | 0 |
关联 | 0 |
随机森林 | 0 |
神经网络 | +1 |
GANs | +1 |
朴素贝叶斯 | 0 |
lGANs和神经网络在它们的基本算法中实现反馈机制,因此是非常适合的。
l其余方法可以使用,但需要外部框架来实现所需的反馈网络。
图41 决策点3选项
a. 强制的XAI(决策点3)
方法的输出必须包含或允许一个简单的可解释的输出。
表16 决策点3:答案= 强制的XAI
方法 | 得分 |
线性回归 | +1 |
逻辑回归 | +1 |
聚类 | +1 |
关联 | +1 |
随机森林 | 0 |
神经网络 | -1 |
GANs | -1 |
朴素贝叶斯 | 0 |
l线性回归、逻辑回归、聚类和关联使用详细描述了其内部工作原理的算法进行操作,并可用于创建选择响应变量的可解释原因。
l随机森林和朴素贝叶斯可以产生可解释的推理,但它可能太复杂而没有用处。
l神经网络和GANs都使用神经网络,其内部工作原理名义上对方法是隐藏的,因此,使解释变得迟钝。
b. 期望的XAI(决策点3)
该方法的输出可以包括或可以很容易地翻译成可解释的输出,但这不是必需的。
表17 决策点3:答案=期望的XAI
方法 | 得分 |
线性回归 | +1 |
逻辑回归 | +1 |
聚类 | +1 |
关联 | +1 |
随机森林 | +1 |
神经网络 | 0 |
GANs | 0 |
与上一节所示的推理相似。
c. 不需要XAI(决策点3)
该方法的输出不需要具有解释推理生成响应的能力。
表18 决策点3:答案=不需要XAI
方法 | 得分 |
线性回归 | +1 |
逻辑回归 | +1 |
聚类 | +1 |
关联 | +1 |
随机森林 | +1 |
神经网络 | +1 |
GANs | +1 |
朴素贝叶斯 | +1 |
如果不需要XAI,所有方法的权重相等,因此该决策点不包含任何信息。
4.决策点#4
图42 决策点4选项
a. 1-9 个预测值(决策点#4)
表19 决策点4:答案= 1–9个预测值
方法 | 得分 |
线性回归 | +1 |
逻辑回归 | +1 |
聚类 | +1 |
关联 | +1 |
随机森林 | +1 |
神经网络 | +1 |
GANs | +1 |
朴素贝叶斯 | +1 |
所有方法都非常适于使用1-9个预测值。因此,这个决策点不包含任何信息。
b. 10-99个预测值(决策点#4)
表20 决策点4:答案= 10–99个预测值
方法 | 得分 |
线性回归 | 0 |
逻辑回归 | 0 |
聚类 | 0 |
关联 | 0 |
随机森林 | 0 |
神经网络 | +1 |
GANs | +1 |
朴素贝叶斯 | 0 |
神经网络和GANs非常适于使用10-99个预测值。
其余的方法可以使用10-99个预测值,但是输出/响应可能会受到影响。
c. 100个或更多预测值(决策点#4)
表21 决策点4:答案= 100个或更多预测值
方法 | 得分 |
线性回归 | -1 |
逻辑回归 | -1 |
聚类 | -1 |
关联 | -1 |
随机森林 | -1 |
神经网络 | +1 |
GANs | +1 |
朴素贝叶斯 | -1 |
神经网络和GANs非常适于与100个或更多的预测值一起操作。
由于大量的预测值,剩余的模型不适合处理那么多的预测值。
5.得分生成举例
例如:如果用户选择以下决策点。
决策点#1 =定性数据
决策点#2 =受监督学习
决策点#3 =需要XAI
决策点# 4 = 10–99个输入
表22 记分卡举例
人工智能/机器学习方法 | DP #1 | DP #2 | DP #3 | DP #4 | 总计 |
线性回归 | 0 | 1 | 1 | 0 | 2 |
逻辑回归 | 1 | 1 | 1 | 0 | 3 |
聚类 | 1 | 0 | 1 | 0 | 2 |
关联 | 1 | 1 | 1 | 0 | 3 |
随机森林 | 1 | 1 | 0 | 0 | 2 |
神经网络 | 1 | 1 | -1 | 1 | 2 |
GANs | -1 | 1 | -1 | 1 | 0 |
朴素贝叶斯 | 1 | 1 | 1 | 0 | 3 |
最适合决策点的方法是逻辑回归、关联和朴素贝叶斯。最不适合上述决策点的方法是GANs。该记分卡可用于确定最佳和最差的方法。如果结果是方法之间持平,那么用户可以参考以下部分来进一步对方法评分。
6.其他人工智能方法注意事项
上面的第1至5节介绍了一种适于识别旨在完成某一特定任务的ML方法的决策过程的框架。ML是人工智能的一个子集,处理知识的获取、增长、改进和保持。在现代应用中,ML代表了人工智能领域中的一个重要空间,然而,剩余的空间被心理学、数学、认知科学和计算机科学中的多学科领域占用,其目标是模仿人类的推理和决策。
表23介绍了在任务级别上没有清晰映射的相关知识领域;然而,它们仍然与人工智能的成功运用密切相关。表23介绍了领域、优势、劣势(如果有的话)以及一些相关的应用举例。
表23 知识领域
人工智能领域 | 优势 | 劣势/注意事项 | 相关应用 |
决策论 | XAI的促进者 — 可以突出人机代理在决策方面的差异 决策支持系统的坚实基础(将输入的重要性与效用理论联系起来)——尤其是有用的决策分析 考虑风险偏好 可以突出最优决策 基于当前或预测状态(马尔可夫决策过程) | 通常考虑单个代理的决策(无交互) 单独使用时可能过于简单 | 决策支持系统 任务规划系统 决策解释(XAI或决策图) 决策分析(当与模拟配对时) |
模糊逻辑 | 简单,容易修改 允许部分为真 模仿人类在不确定情况下的推理 当与现代ML方法结合使用时,可以引入学习 关于未知数的推论 不需要大量资源 遗传算法提高了模糊系统的性能,尤其是在大解空间中。 (参见遗传模糊树) | 固有模糊性 可能需要大量工作来建立规则库 准确性可能会受到影响,可能需要大量的V&V | 系统的智能控制(见上面的ALPHA描述) 分类 模式识别 初始分类 |
博弈论 | 考虑多代理互动过程中的决策 可以用来加强现有的人工智能/机器学习技术 可以决定最佳的兵力分配、战略防御策略和有利的位置策略 | 决策支持系统 任务规划系统 决策分析(当与模拟配对时) 计算/算法博弈论 | |
信息/数据融合 | 组合来自不同传感器的异构数据 实现潜在的流程改进,例如降维 减少训练数据中的模糊性/噪声 增强情境意识 | 受带宽限制的影响——“边缘智能”的进步已经缓解了这一问题 | 决策支持系统 边缘处理(“边缘智能”) ML算法改进(降维) |
时空推理 | 概念化物体在空间中的三维关系 支持在环境中导航 便于观察对象/代理交互的结果状态 情境意识 | 导航和物体回避(尤其是在混乱的环境中) -方位/距离安全 行为推断 | |
进化 /遗传算法 | 通过模仿遗传学和自然选择来提供解决方案,从而解决机器学习中的优化问题 -缩小解决空间 在大解空间中有效 | 可能计算量很大。 实施困难–不当的实施会导致系统崩溃和次优的解决方案建议 | 图像/雷达处理 密码破解/网络防御应用 -结果可用于代码强化 人工创造力 — 在人工智能系统中实现类似人类的创造力 |
预测分析 | 便于根据历史趋势预测潜在事件。在人机合作系统中,这种能力不仅能提供有价值的洞察力,还能增加用户对人工智能系统的信心 当与ML方法结合使用时,可以洞察新的和未知的策略 | 需要了解过去的事件和既定的趋势或准确的表现 | 决策支持系统 模拟(战术和训练) -可用于改善单位和打击团队级别的有机和分布式训练场景 任务规划系统 |
规定性分析 | 针对刺激因素提出最佳行动建议 增加用户对人工智能系统的信心 当与预测分析配合使用时,它可以促进大规模、高保真度的模拟,为用户呈现多种场景、响应行动和结果。 | 决策支持系统 模拟(战术和训练) -可用于改善单位和打击团队级别的有机和分布式训练场景 任务规划系统 |
表23旨在洞察依赖于问题/方案空间的应用。利用该表来指导进一步的发展以及所提出的ML标准,可确保最佳的决策过程,从而以显著降低生命周期成本,为舰队最终用户提供更精细的产品。
D. 结论
图43是杀伤链功能识别和人工智能方法选择/排序之间所有中间步骤的直观说明,它是对第四章前几节的高度概括。该流程将用于在本报告的最后一部分展示最终模型和评估标准。
图43 分析路线图