一、Black box defense 正交化评价指标 [1]
研究提出的方法有两个点：①样本生成步骤中引入基于随机性的算法；②测试指标具有足够的正交性。
notes_关于模型评价指标（文章提到了它们大的正交性。除外PSR，其它指标与侵权可能性负相关。“实验数据表明每个指标有独特解释能力。每个指标都发挥非冗余的作用。”）：
1/5) KSS K-S统计 检验两个分布是否相同的非参数检验统计量。Kolmogorov-Smirnov Statistic。
其中F1和F2是两个累计分布函数，supx表示所有x中的最大差值。
2/5) PSR 皮尔逊相关系数。Pearson correlation coefficient。评估两个变量线性相关程度。
其中xi和yi是上述两个模型的预测分布，barx和bary是它们的平均值。
3/5) PRRMSE 均方根相对误差。Root Relative Mean Squared Error.评价模型预测值与实际值之间的相对误差。
其中yi和yihat代表受害者模型和嫌疑模型的预测概率。
4/5) COS 余弦相似度。Cosine Similarity。评价两个向量在方向上的相似度。
其中A向量和B向量代表受害者模型和嫌疑模型的预测概率分布。
5/5) JSD 詹森-香农散度。Jensen-Shannon Divergence。测量两个概率分布相似性的指标，KL散度的对称版本 Kullback-Leibler Divergence。
其中P和Q分别代表受害者模型和嫌疑模型的预测概率分布，M代表P和Q的平均分布。
投票机制：单边t检验 0.05和0.2分别是赞成票的临界值和怀疑票的临界值。显著性水平超过0.05有95%可能性任务侵权，记1票；超过0.2 80% 记0.5。若一个模型>=2.5投票则判定为侵权。
二、Network and information security 中 典型系统思维理论的优劣势 [2]
1/5) 系统理论。旨在研究系统组成、结构、行为和演化，解释现象，并用分析结果解决相关问题。多视角研究网络空间安全问题。抽象能力要求高，仿真实验对数据质量要求较高。
2/5) 博弈论。建数学模型，研究参与者的策略选择以及不同策略对各自结果的影响。刻画攻防交互过程最贴切的模型。“理性人”假设难以刻画攻防双方的“感谢特征”。
3/5) 控制论。通过系统设计和参数控制使得系统达到期望的状态或输出。将网络空间作为一个系统，使不同条件下该系统的安全性达到最佳。以解决问题的角度出发。与真实问题的解决存在差距。
4/5) 经济学理论。经济现象和经济行为的系统性和抽象性。攻防成本、政策受益等经济参数。以经济视角解释攻防动机。存在“理性人”局限。
5/5) 行为理论。个体，特定条件，策略选择，强调个体动机、认知和情感对行为选择的影响。从微观个人行为变化丰富网络空间多元性。抽象要求高。
References:
[1] DOI:10.19358/j. issn. 2097 - 1788. 2023.12. 001. (authors:中科院信息工程研究所 屈详颜，中科院大学 网络空间安全学院 于静，中科院 熊刚， 北理 盖珂珂)
[2] DOI:10.19358/j. issn. 2097 - 1788. 2023.12. 006. (authors:国家计算机网络应急技术处理协调中心 严定宇，张宇鹏，陆希玉，曹华平)
