数学建模之数据预处理-------数据异常值的处理

1.数据集成:把不同类型的数据转换成统一的类型;,即格式的统一化;

2.数据规约:包括数据降维,降数据,数据压缩

当不同数据相关性很大时,我们采用降维的方法;当数据的相关性很小时,我们采用降数据的方法

数据降维的主成分分析即PCA,如上图所显示的那样,即旋转坐标轴,x轴上的数据波动范围比较大,而y轴上数据的波动范围比较小,我们便把二维降成一维。

降数据主要采用分层抽样,简单随机抽样;

数据压缩包括压缩感知,图像压缩;

3.数据清洗

数据删除,数据插值(拉格朗日,牛顿插值)最近邻插值(某地势山的高度缺失),线性回归插值,异常数据(必须删除,用平均值,插值代替)

4.数据规划

包括归一化,标准化,线性变换。

二.缺失值的处理

拉格朗日插值法,一维插值,二维插值;

两个不同的函数mesh,meshc第一个是绘制曲面,第二个是绘制带有等高线的。

区别:interp2主要处理的是巨均匀排列的数据,griddata主要处理的是波动起伏比较大的数据。

三.异常值的处理

必须用科学的方法说明该数据异常,主要有正态分布3σ原则,箱型图

3σ代码完成后,输入inlier便可以得出删除异常值之后的数据,因为符合该原则的数据被录入inlier.

2.画箱型图是用boxplot函数

boxplot函数在使用时,需要对矩阵进行转置的操作,即把他化作列向量。

上面的案例是XY的数据相同时的处理方法

这个是XYZ数据量不相同时的处理方法。。

四.数据变换

我们一致的处理原则是极大型(利润),极小型指标(垃圾,污染程度,科研经费),中间型指标(水的PH值),区间型指标(一个学校里老师,学生的比例,体温的范围,水里面植物营养物质的含量)区间性指标需要进行转置变换;这些数据指标。可能有越大越好,也有越小越好,我们需要统一指标。无量纲化处理可以去除单位对于我们最后结果的影响。

极小型指标(可以进行取倒数的操作,得到我们想要的),标准差方法的取值范围不固定,极值差方法(可以变到固定范围,但容易受极大值,极小值的影响)功效系数法(可以变换到我们所需要的范围)----这三种方法均可以取消量纲。

定性指标的量化------不同人的等级评价-----构建模糊隶属函数。

最近更新

  1. TCP协议是安全的吗?

    2024-01-27 08:42:02       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-01-27 08:42:02       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-01-27 08:42:02       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-01-27 08:42:02       20 阅读

热门阅读

  1. 函数递归(C语言)

    2024-01-27 08:42:02       39 阅读
  2. Android Bitmap 图片裁剪

    2024-01-27 08:42:02       33 阅读
  3. Node+Express写分页接口

    2024-01-27 08:42:02       31 阅读
  4. 前端组件封装

    2024-01-27 08:42:02       29 阅读
  5. wordpress连接azure MySQL

    2024-01-27 08:42:02       40 阅读
  6. 范围查询优化:索引跳跃扫描

    2024-01-27 08:42:02       29 阅读