【R语言与统计】SEM结构方程、生物群落、多元统计分析、回归及混合效应模型、贝叶斯、极值统计学、meta分析、copula、分位数回归、文献计量学

统计模型的七大类:
一:多元回归   在研究变量之间的相互影响关系模型时候,用到这类方法,具体地说:其可以定量地描述某一现象和某些因素之间的函数关系,将各变量的已知值带入回归方程可以求出因变量的估计值,从而可以进行预测等相关研究。

 二、聚类分析    聚类分析指将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程。

 三、分类    分类是一种典型的有监督的机器学习方法,其目的是从一组已知类别的数据中发现分类模型,以预测新数据的未知类别。 

四、判别分析     判别分析是基于已知类别的训练样本,对未知类别的样本判别的一种统计方法,也是一种有监督的学习方法,是分类的一个子方法!

五、主成分分析   主成分分析是一种降维数的数学方法,具体就是,通过降维技术将多个变量化为少数几个主成分的统计分析方法。

六、因子分析    因子分析是将变量总和为数量较少的几个因子,是降维的一种数学技术! 

七、时间序列   时间序列预测法是一种定量分析方法,它是在时间序列变量分析的基础上,运用一定的数学方法建立预测模型,使时间趋势向外延伸,从而预测未来市场的发展变化趋势,确定变量预测值。

。158。3333。2534。。

①R语言piecewiseSEM结构方程模型在生态环境领域

非递归(non-recursive)结构方程模型

结构方程模型预测问题-直接预测实现途径专题

系统发育数据纳入结构方程模型技术

非线性、非正态、交互作用及分类变量分析

嵌套分层数据及数据分组分析

空间自相关数据分析技术

结构方程模型(SEM)时间重复测量数据分析

基于R语言lavaan结构方程模型(SEM)实践

在R语言结构方程程序包中,piecewiseSEM语法简洁,将结构方程模型拆分为多个组分(component)模型进行拟合和评估,可与混合效应模型实现无缝对接,在应对研究系统中复杂数据结构和类型,如多层数据嵌套和非正态分布类型变量(二项分布、泊松分布),有明显的优势。因而,在生态环境领域得到广泛应用,是该领域颇受欢迎的结构方程模型程序包。

基于R语言piecewiseSEM程序包,通过理论讲解和实际操作相结合的方式,由浅入深地系统介绍结构方程模型的建立、拟合、评估、筛选和结果展示的全过程。我们筛选大量经典案例,这些案例来主流期刊,具有很大的参考和借鉴价值。训练内容包括R语言入门、结构方程模型原理简介、piecewise包简介及应用案例、非正态分布变量分析、嵌套/分层/多水平数据分析、重复测量和时间数据分析、空间自相关数据分析、系统发育数据分析、复合变量分析、分类变量、非线性数据及数据分组分析

内容的设置是基于多年来与大家沟通和交流,使大家能够利用piecewiseSEM解决构建结构方程模型过程中的众多困扰

R/Rstudio简介及入门【提供视频、教材、相关案例数据代码】

(1) R及Rstudio介绍:背景、软件及程序包安装、基本设置等

(2) R语言基本操作,包括向量、矩阵、数据框及数据列表等生成和数据提取等

(3) R语言数据文件读取、整理(清洗)、结果存储等(含tidverse)

(4) R语言基础绘图(含ggplot):基本绘图、排版、发表质量绘图输出存储

结构方程模型(SEM)介绍

(1) SEM的定义、生态学领域应用及历史回顾(2) SEM的基本结构

(3) SEM的估计方法   (4) SEM的路径规则

(5) SEM路径参数的含义(6) SEM分析样本量及模型可识别规则  (7) SEM构建基本流程

piecewise包简介及应用案例

(1) 结构方程模型在生态学研究中的应用介绍及要点回顾

(2) piecewiseSEM结构方程模型基本原理

(3) piecewiseSEM结构方程模型构建应用案例

piecewiseSEM非正态分布变量分析

(1) 非正态分布数据VS非正态分布变量

(2) piecewiseSEM处理非正态变量的注意事项

(3) piecewiseSEM处理二项分布和泊松分布案例

piecewiseSEM嵌套/分层/多水平数据分析

(1) 嵌套/多水平/分层数据概述

(2) piecewiseSEM与混合/多水平/分层模型的结合

(3) 均衡和不均衡结构嵌套/多水平/分层数据结构方程实例

piecewiseSEM处理重复测量和时间数据

(1) 时间重复测量数据特点简介

(2) 时间/重复测量数据的自相关问题

(3) piecewiseSEM处理时间自相关问题实例

piecewiseSEM处理空间自相关数据

(1) 数据空间自相关概述

(2) piecewiseSEM处理空间自相关数据基本原理

(3) piecewiseSEM处理空间自相关问题实例

piecewiseSEM处理系统发育数据

(1) 系统发育相关问题介绍

(2) 系统发育相关数据纳入结构方程模型实现途径

(3) piecewiseSEM系统发育相关数据纳入结构方程实例

piecewiseSEM复合变量(composite)分析

(1) 复合变量的定义及在生态学领域应用情景分析

(2) piecewiseSEM复合变量分析实现途径

(3) piecewiseSEM复合变量分析案例

piecewiseSEM处理分类变量

(1) 非线性数据简介

(2) piecewiseSEM处理非线性数据途径及案例

(3) piecewiseSEM处理变量间交互作用关系方式及案例

piecewiseSEM非线性关系数据分析

(1)非线性数据简介

(2)piecewiseSEM处理非线性数据途径及案例

piecewiseSEM处理变量间交互作用关系方式及案例

piecewiseSEM数据分组(multigroup)分析

(1) 分组数据vs分类变量vs交互作用

(2) 数据分组分析实现途径

(3) 二分组及多分组模型分析及结果表达

(4) 分组分析案例

②R语言生物群落(生态)数据统计分析与绘图

R 语言作的开源、自由、免费等特点使其广泛应用于生物群落数据统计分析。生物群落数据多样而复杂,涉及众多统计分析方法。本课程以生物群落数据分析中的最常用的统计方法回归和混合效应模型、多元统计分析技术及结构方程等数量分析方法为主线,通过多个来自经典研究中的实例,详细讲述各方法的R语言实现途径

聚焦生态学研究领域,从R语言基础操作和作图、数据准备整理,到各种数量分析方法的应用情景分析,实现从数据整理到分析结果展示的完整科学研究数据分析过程,将《R语言基础》、《tidyverse数据清洗》、《多元统计分析》、《随机森林模型》、《回归及混合效应模型》、《结构方程模型》及《统计结果作图》进行了组合(7合1)

R和Rstudio简介及入门和作图基础

) R及Rstudio介绍:背景、软件及程序包安装、基本设置等

2) R语言基本操作,包括向量、矩阵、数据框及数据列表等生成和数据提取等

3) R语言数据文件读取、整理及存储等

4) R语言基础绘图(含ggplot):基本绘图、排版、发表质量绘图输出存储

R语言数据清洗-tidyverse包应用

tidyvese简介:tidyr、dplyr、readr、%>%等

2)文件操作:不同格式文件读取、多文件同时读取等

3)数据筛选:行筛选、列筛选、条件筛选(字符操作)等

4)数据生成:数据合并、数据拆分、新数据生成(字符操作)等

5)长宽数据转换、空值(NA)等填充及删除、分组、排序及汇总等

群落数据准备及探索分析

生物群落数据准备:物种组成、环境变量、物种功能属性、系统发育树等

2) 生物群落数据检查:缺失值和离群值(outliers)等-避免模型错进错出(GIGO)

3) 物种多样性计算:物种多样性(TD)、功能多样性(FD)和系统发育多样性(PD)

4) 物种相似/相异矩阵关联测度介绍

多元统计分析

群落数据非约束排序-PCA、CA、PCoA、NMDS

生物群落数据非约束排序分析简介

2)案例1鱼类生境数据排序:PCA

3)案例2鸟类物种组成数据的排序:CA、PCoA和NMDS比较

群落数据约束排序-RDA、dbRDA、CCA、4th Corner

生物群落数据约束排序简介:非对称约束排序VS对称约束排序

2) 案例1景观、斑块及生境因子蛾类群落分布的解释:RDA、dbRDA或CCA选择+变差分解

3) 案例2物种有无(0,1)数据约束排序:dbRDA

4) 案例3物种组成、物种属性及环境因子的相关分析-第四角分析(4th Corner)

群落数据分组分析: 等级/非等级聚类(HC/NHC)、PERMANOVA等

生物群落数据的聚类及差异分析概述

2) 案例1鸟类生境数据的等级和非等级聚类:KMEANS和HCLUST

3) 案例2乌龟适宜生境差异检验(2组比较)及解释:PERMANOVA、MRPP、ANOSIM及Dispersion test

4) 案例3环境梯度下微生物组成差异分析(多组比较)及解释:MRPP及Dispersion Test

5)案例4 药物对肠道微生物群落影响:PCoA+PERMANOVA

机器学习

群落数据随机森林(Random Forest)模型-分类VS回归

随机森林(Random Forest)模型简介

2) 随机森林模型分析基本流程-分类VS回归

3)案例1 随机森林分类及重要变量选择:RFM-classification

4)案例2 随机森林回归模型及变量重要性评估:RFM-regression

5)案例3 物种多维形态属性与生态属性的关联关系:PCA+PCoA+LDA+RFM综合案例

回归及混合效应模型

一般线性模型(lm)

)基本形式、基本假设、估计方法、参数检验、模型检验

2) 案例1不同鱼类游速的回归、方差及协方差分析

3) 案例2决定海洋植食性鱼类多样性的决定因子-模型验证

4) 案例3淡水鱼丰度的环境因子的筛选-逐步回归(model selection)

广义线性混合效应模型(glmm)

广义线性混合效应模型基本原理、建模步骤及流程

2)案例1蝌蚪“变态”与否(0,1)的多因素分析-逻辑斯蒂混合效应模型

3)案例2虫食种子多度影响因素的多变量分析-泊松混合效应模型

4)广义线性混合效应模型分析计数数据及模型选择:泊松、伪泊松、负二项、零膨胀泊松、零膨胀负二项、零截断泊松及零截断负二项模型

线性混合效应模型(lmm)

1) 混合效应的基本原理及分析基本流程、步骤及实现

2)案例1分层数据物种多样性决定因素-模型构建流程、模型预测及诊断

3)案例2:多因素实验(分层数据)的多重比较

广义线性混合效应模型(glmm)

1)广义线性混合效应模型基本原理、建模步骤及流程

2)案例1蝌蚪“变态”与否(0,1)的多因素分析-逻辑斯蒂混合效应模型

3)案例2虫食种子多度影响因素的多变量分析-泊松混合效应模型 

4)广义线性混合效应模型分析计数数据及模型选择:泊松、伪泊松、负二项、零膨胀泊松、零膨胀负二项、零截断泊松及零截断负二项模型

空间、时间及系统发育相关回归-数据自相关(autocorrelation)分析

数据自相关问题简介:时间、空间和系统发育相关介绍

2) 案例1森林植物多样性分布格局的空间自相关修正

3) 案例2不同年份鸟类多度的时间自相关修正

4) 案例3系统发育相关在虾类多度分布分析中作用

结构方程模型

结构方程模型(SEM):lavaan和piecewiseSEM-多变量直接和间接效应及因果关系

1)结构方程模型简介:定义、历史、应用、估计方法、模型可识别规则及样本量要求等

2)案例1群落物种丰富度恢复的直接及间接效应(direct and indirect effects):SEM分析基本流程-lavaan vs piecwiseSEM

3)案例2环境异质性和资源可获得性对不同演替阶段林下维管植物多样性的影响:模型调整、比较、评估及结果展示

4)案例3人类活动、环境条件、物种属性对动物领域大小相对贡献(relative roles):混合模型、嵌套结构、分组分析及分类变量SEM实现

统计结果作图

群落数据及统计分析结果作图(ggplot)、排版及发表质量图输出

群落数据及统计分析结果作图数据准备:结果提取与作图数据整理

聚类分析及分组差异检验图:聚类结果图、热图(heatmap)、分组差异检验结果图

PCA、CA、PCoA及NMDS等非约束排序图:排序图和双序图(biplot)

RDA、db-RDA及CCA等约束排序图:三序图(triplot)和韦恩图(venn)

回归和混合效应模型分析结果图:散点图、箱线图、柱状图及提琴图等

结构方程模型结果图表达方式

③R语言在生态环境领域中的实践

R语言作为新兴的统计软件,以开源、自由、免费等特点风靡全球。生态环境领域研究内容广泛,数据常多样而复杂。利用R语言进行多元统计分析,从复杂的现象中发现规律、探索机制正是R的优势。为此,本课程以鱼类、昆虫、水文、地形等多样化的生态环境数据为例,在R语言的基本操作介绍基础上,利用vegan、ade4、adespatial、stats、cluster、dendextend等多个程序包分析数据的分布、相关性、回归、聚类、排序、空间结构和群落多样性等内容,解读其结果及生态学意义,并将数据分析和作图展现集成于一体,引导读者能够系统运用R语言在生态环境领域进行多方位分析与探索。

R语言基本操作及语法

R的获取和安装

R的数据类型

R的函数

R包的载入及使用

探索性数据分析

不同物种的多度分析

不同物种在样方中的空间分布

水文、地形等环境数据地图

 相关性分析

不同变量之间的相关性分析

不同物种之间的差异及距离矩阵

图解关联矩阵

不同环境因子Pearson相关性图 

回归分析

用lm()拟合回归模型

一元及多元线性回归、多项式回归

回归诊断、选择最佳的回归模型

 生物量对各因素的回归诊断图

案例:样方之间的不同类型聚类及比较

(单连接、完全连接、平均聚合聚类(UPGMA)、Ward最小方差聚类等)

聚类分析

排序分析

主成分分析(PCA)

对应分析(CA)、

主坐标分析(PCoA)

非度量多维尺度分析(NMDS)

 数据空间分析

空间结构和空间分析概述

多元趋势面分析

基于特征根的空间变量和空间建模

多尺度排序(MSO)

生物多样性分析

生物群落的稀疏度分析

生物群落的alpha、beta和gamma多样性

群落功能多样性、功能组成和谱系多样性

④R语言的Meta分析【全流程、不确定性分析】方法与Meta机器学习

 Meta分析是针对某一科研问题,根据明确的搜索策略、选择筛选文献标准、采用严格的评价方法,对来源不同的研究成果进行收集、合并及定量统计分析的方法,最早出现于“循证医学”,现已广泛应用于农林生态,资源环境等方面。R语言拥有完整有效的数据处理、统计分析与保存机制,可以对数据直接进行分析和显示,命令格式简单、结果可读性强,包含众多针对Meta分析软件包,是进行Meta整合分析及评价的有效平台。

从文献计量分析研究热点变化,寻找科学问题、R-Meta多手段全流程分析与Meta高级绘图、多层次分层嵌套模型构建与Meta回归诊断、贝叶斯网络、MCMC参数优化及不确定性分析、Meta数据缺失值处理的六种方法与结果可靠性分析、Meta加权机器学习与非线性Meta分析等方面

Meta分析的选题与检索

1、Meta分析的选题与文献检索

1) 什么是Meta分析

2) Meta分析的选题策略

3) 精确检索策略,如何检索全、检索准

4) 文献的管理与清洗,如何制定文献纳入排除标准

5) 文献数据获取技巧,研究课题探索及科学问题的提出

6) 文献计量分析CiteSpace、VOSViewer、R bibliometrix及研究热点分析

 

Meta分析与R语言数据清洗及统计方法

2、Meta分析的常用软件/R语言基础及统计学基础

1) R语言做Meta分析的优势及其《Nature》、《Science》经典案例应用

2) R语言基本操作与数据清洗方法

3) 统计学基础和常用统计量计算(sd\se\CI)、三大检验(T检验、卡方检验和F检验)

4) 传统统计学与Meta分析的异同

5) R语言Meta分析常用包及相关插件讲解

从自编程计算到调用Meta包(meta、metafor、dmetar、esc、metasens、metamisc、meta4diag、gemtc、robvis、netmeta、brms等),全程分析如何进行meta计算、meta诊断、贝叶斯meta、网状meta、亚组分析、meta回归及作图。

 

R语言Meta分析与作图

3、R语言Meta效应值计算

1) R语言Meta分析的流程

2) 各类meta效应值计算、自编程序和调用函数的对比

连续资料的lnRR、MD与SMD

分类资料的RR和OR

3) R语言meta包和metafor包的使用

4) 如何用R基础包和ggplot2绘制漂亮的森林图

 

R语言Meta回归分析

4、R语言Meta分析与混合效应模型(分层模型)构建

1) Meta分析的权重计算

2) Meta分析中的固定效应、随机效应

3) 如何对Meta模型进行统计检验和构建嵌套模型、分层模型(混合效应)

4) Meta回归和普通回归、混合效应模型的对比及结果分析

5) 使用Rbase和ggplot2绘制Meta回归图

 

R语言Meta诊断分析

5、R语言Meta诊断进阶

1) Meta诊断分析(t2、I2、H2、R2、Q、QE、QM等统计量)

2) 异质性检验及发表偏移、漏斗图、雷达图、发表偏倚统计检验

3) 敏感性分析、增一法、留一法、增一法、Gosh图

4) 风险分析、失安全系数计算

5) Meta模型比较和模型的可靠性评价

6) Bootstrap重采样方法评估模型的不确定性

7) 如何使用多种方法对文献中的SD、样本量等缺失值的处理

 

 

R语言Meta分析的不确定性

6、R语言Meta分析的不确定性

1) 网状Meta分析

2) 贝叶斯理论和蒙特拉罗马尔可夫链MCMC

3) 如何使用MCMC优化普通回归模型和Meta模型参数

4) R语言贝叶斯工具Stan、JAGS和brms

5) 贝叶斯Meta分析及不确定性分析

 

机器学习在Meta分析中的应用

机器学习在Meta分析中的应用

1) 机器学习基础以及Meta机器学习的优势

2) Meta加权随机森林(MetaForest)的使用

3) 使用Meta机器学习和传统机器学习对文献中的大数据训练与测试

4) 如何判断Meta机器学习使用随机效应还是固定效应以及超参数的优化

5) 使用Meta机器学习进行驱动因子分析、偏独立分析PDP

 

⑤现代R语言【Tidyverse、Tidymodel】的机器学习

机器学习已经成为继理论、实验和数值计算之后的科研“第四范式”,是发现新规律,总结和分析实验结果的利器。机器学习涉及的理论和方法繁多,编程相当复杂,一直是阻碍机器学习大范围应用的主要困难之一,由此诞生了Python,R,SAS,STAT语言辅助机器学习算法的实现

基础知识

1.Tidymodel,Tidyverse语法精讲

2.机器学习的基本概念

3.机器学习建模过程

4.特征工程

回归

1.线性回归略谈

2.岭回归

3.偏最小二乘法

4.Lasso回归与最小角度回归

树形模型

1.分类回归树

2.随机森林

集成学习

1.梯度提升法

2.装袋法

3.GBM与随机GBM

4. XGBOST 5.总结  

        其它方法

1.支持向量机

2.深度学习基础

3.可解释的机器学习        

降维

1.主成分分析

2.广义低秩模型

3.Autoenconders

聚类与分类

1.K-均值聚类

2.分层聚类

3.K-近邻分类

4.Logistic回归

⑧R语言的Copula变量相关性分析

在工程、水文和金融等各学科的研究中,总是会遇到很多变量,研究这些相互纠缠的变量间的相关关系是各学科的研究的重点。虽然皮尔逊相关、秩相关等相关系数提供了变量间相关关系的粗略结果,但这些系数都存在着无法克服的困难。例如,皮尔逊相关系数只能反映变量间的线性相关,而秩相关则更多的适用于等级变量。大多数情况下变量间的相关性非常复杂,而且随着变量取值的变化而变化,而这些相关系数都是全局性的,因此无法提供变量间相关性变化的细节;更严重的是这些系数只提供了数值,对于变量间相关的具体结构和函数一无所知。

Copula理论是一种数学工具,主要用于描述多元随机变量之间的一维边缘分布与它们的联合分布之间的关系。123

Copula函数作为连接函数,能够捕捉变量之间的非线性、非对称性以及分布尾部的相关性。这些特性使它在极值分析、预测极端事件等方面发挥着重要作用。Copula理论的一个基本问题是Copula函数的上下界问题。

为了克服各种相关系数的缺点,基于Sklar定理的Copula理论被提出和发展。Copula不但可以提供不同取值范围内变量间相关的结构和函数细节,而且可以应用于相关时间序列及回归分析的研究中,大大拓展了回归及时间序列分析的适用范围。Copula理论一经提出就受到各个学科的广泛关注,现今在水文、工程、金融及环境领域得到广泛应用,已经成为这些领域的热门研究工具。

相对于相关系数,Copula理论比较深奥不易掌握,需要借助专门的软件或工具,运用规范的统计学方法才能得到正确的结果。有鉴于此特召开基于R语言及Python的Copula变量相关性研究培训班,以期为科研提供新的动力。

V xiao5kou4chang6kai4

R及Python语言及相关性研究初步

1.R语言及Python的基本操作

2.各类相关系数的区别及实现

3.R语言及Python中Copula相关包和函数

二元Copula理论与实践(一)

1.Sklar定理与不变性原理

2.椭圆分布与椭圆Copula

3.阿基米德Copula

二元Copula理论与实践(二)【R语言为主】

1.极值相依性与极值Copula

2.Copula函数的变换:旋转与混合Copula

3.边缘分布估计:参数与非参数方法

4.Copula函数的估计

Python的相关实现

Copula函数的统计检验与选择【R语言为主】

1.相依性与对称性检验

2.拟合优度与其它统计检验

3.极值相关性检验

4.模型选择

Python相关实现

高维数据与Vine Copula 【R语言】

1.条件分布函数

2.C-Vine Copula

D-Vine Copula

正则Vine Copula(一)【R语言】

1.图论基础与正则Vine树

2.正则Vine Copula族及其简化

正则Vine Copula的模拟

正则Vine Copula(二)【R语言】

1.Vine Copula的渐近理论与极大似然法估计

2.正则Vine Copula模型的选择

模型检验比较

时间序列中的Copula 【R语言】

1.时间序列理论初步(稳定性检验、相依性检验)

2.Markov假设

时间序列的Copula

Copula回归

1.回归的基本理论

2.广义线性回归

3.高斯Copula回归

一般Copula回归

Copula下的结构方程模型【R语言】

1.结构方程模型的基本原理

2.R语言的结构方程模型

3.Copula结构方程模型的构建

模型检验

Copula贝叶斯网络【Python语言】

1.什么是贝叶斯网络

2.贝叶斯网络与Copula模型的相似性

3.Copula贝叶斯网络的原理

Copula贝叶斯网络的Python实现

Copula的贝叶斯估计 【Python语言】

1.贝叶斯统计学基本原理

2.Python中的贝叶斯统计初步

3.Copula贝叶斯先验及其估计

Python中实现Copula的贝叶斯估计

AI辅助的Copula统计学

1. 大语言模型是什么?以及它的强项与弱项

2. 主要AI的比较与推荐

3. 提示词的要点

4. 利用AI辅助总结理论及输入要点

5. Python与R语言的人工智能注释

6. AI如何辅助Copula统计编程

利用AI辅助理解结果

⑨R语言空间分析、模拟预测与可视化

随着地理信息系统(GIS)和大尺度研究的发展,空间数据的管理、统计与制图变得越来越重要。R语言在数据分析、挖掘和可视化中发挥着重要的作用,其中在空间分析方面扮演着重要角色,与空间相关的包的数量也达到130多个。 

本次,我们将结合一些经典的例子培训R语言在空间数据处理、管理以及可视化的操作,空间数据计量、空间数据插值、空间数据建模、机器学习空间预测、空间升、降尺度、数据可视化、知识图谱等方面让全方位掌握R语言空间数据分析模拟预测及可视化技术

R语言空间数据介绍及数据挖掘关键技术

1R语言空间数据讲解及应用特点

  1. R语言基础与数据科学
  2. R空间矢量数据
  3. R栅格数据

 R语言空间数据挖掘关键技术

sp: 处理地理数据的基础包

sf:  dataframe数据框风格的地理数据包

rgdal: 封装 GDAL (一个开源地理数据抽象库,提供非常丰富的地理数据读写驱动))

rgeos: 封装 GEOS 一个开源几何引擎, 提供几何模型、几何关系判断、基本几何计算操作等功能

proj4:PROJ4 一个开源地图投影库,提供丰富的地图投影转换算法

spatstat: 空间点格局分析

gstat、field: 地质统计学建模、空间插值

plot、image、image.plot、tmap、ggmap、ggplot2: 空间专题图

leaflet: 现代移动优先的交互式地图绘制框架

leaflet.extras:leaflet 插件

leaflet.esri: ESRI拓展包

spdep:空间相关性分析

Caret、CAST:机器学习在时空尺度上训练与模拟

 R语言空间数据高级处理

R语言空间矢量数据处理

点、线、面数据

空间矢量数据的坐标系定义、转换

空间矢量数据的裁剪、相交与合并

空间矢量数据的数值计算

R语言栅格数据处理

栅格数据的生成与数据管理

栅格数据的坐标系转换

栅格数据的裁剪、相交与拼接

栅格数据的数值计算

R语言栅格数据与矢量数据的相互转换

R语言多维时空数据处理技术与数据清洗整合

1R语言多维时空数据处理

  1. nc、tiff等多维时空数据的读取、处理与导出
  2. 多维空间数据的管理

2R语言数据清洗和整合

  1. 数据缺失值、重复值、异常值处理
  2. 数据插补方法
  3. 近似采样方法,双线性插值法、最大近邻法等

案例一:全球气象栅格数据的提取、裁剪、重采样和输出

 案例二:全球MODIS遥感数据产品的时间趋势分析 

案例三:全球和中国土壤数据的分层处理和数据插补

案例四:R语言高层数据与地形数据的计算和提取

R语言地统计与空间自相关、空间插值方法 

1地统计与空间自相关

  1. 地理学三大定律
  2. 空间自相关和地理加权回归
  3. 地统计与空间模型

 

2空间插值方法

  1. R语言反距离权重插值
  2. 不同克里金方法比较
  3. R语言克里金插值与半方差函数
  4. R语言薄盘样条插值

案例一:全国尺度空间自相关计算和地理加权回归模型的构建

案例二:不同空间插值方法、不同空间模型的比较

 

案例三:基于不同插值方法的全国与区域气象数据降尺度处理 

R语言机器学习与空间模型预测及不确定性评估

1R语言机器学习方法使用

  1. R语言机器学习模型的构建(数据标准化、数据分割、超参数优化)
  2. R语言机器学习的验证(不同交叉验证方法、时空交叉验证)

2R语言机器学习空间预测与不确定性评估

案例一:利用环境变量数据构建贝叶斯模型和机器学习模型进行空间预测

案例二:使用机器学习对空间数据进行聚类

R语言空间尺度转换技术及机器学习方法应用

1空间升、降尺度技术

2使用机器学习进行空间降尺度

案例:利用五种机器学习集成对温度、降水和辐射数据进行空间降尺度

R语言空间制图

R语言空间做图——plot

R语言空间做图——image、levelplot

    R语言空间做图——ggplot2

  1. R语言sp空间数据和sf空间数据的转换和灵活使用
  2. 使用ggplot2对sf数据继续空间制图

2R语言空间专题图——tmap

⑩R语言混合效应(多水平/层次/嵌套)模型及贝叶斯实现

回归分析是科学研究中十分重要的数据分析工具。随着现代统计技术发展,回归分析方法得到了极大改进。混合效应模型(Mixed effect model),即多水平模型(Multilevel model)/分层模型(Hierarchical Model)/嵌套模型(Nested Model),无疑是现代回归分析中应用最为广泛的统计模型,代表了现代回归分析主流发展方向。混合效应模型形式灵活可以应对现代科学研究中各种数据情况,与传统回归模型相比具有更为强大数据分析能力,且结果更为可信。本课程将分为复杂数据的回归及混合效应模型概述及数据探索;回归与混合效应模型,包括一般线性回归(lm)、广义线性回归(glm);线性混合效应模型(lmm)及广义线性混合效应模型(glmm);贝叶斯(brms)回归与混合效应模型;相关数据回归与混合效应模型及贝叶斯实现,包括嵌套数据、时间自相关数据,空间自相数据及系统发育数据分析;非线性数据回归分析及贝叶斯实现,包括广义可加(混合)模型和非线性(混合)模型等。

科学研究中数据及回归分析概述

复杂数据回归模型的选择策略

1)科学研究中数据及其复杂性

2)回归分析历史、理论基础

3)回归分析基本假设和常见问题

4)复杂数据回归模型选择策略

回归与混合效应(多水平/层次/嵌套)模型 

一般线性模型(lm)

基本形式、基本假设、估计方法、参数检验、模型检验

一般线性回归、方差分析及协方差分析

一般线性回归模型验证

一般线性回归模型选择-逐步回归

案例1:鱼类游速与水温关系的回归及协方差分析;

案例2:施肥和种植密度对作物产量的影响

案例3:决定海洋植食性鱼类多样性的决定因子-模型验证

案例4:淡水鱼丰度的环境因子的筛选-逐步回归

广义线性模型(glm)

 1) 基本形式、基本假设、估计方法、参数检验、模型检验

2) 0,1数据分析:伯努利分布、二项分布及其过度离散问题

3)计数数据各种情况及模型选择:泊松、伪泊松、负二项、零膨胀泊松、零膨胀负二项、零截断泊松及零截断负二项模型

4) 广义线性模型的模型比较和选择-似然比LR和AIC

案例1:动物身体特征与患病与否(0,1)的关系的逻辑斯蒂回归

案例2:海豹年龄与攻击行为的关系-0,1数据转化为比率数据分析

案例3:不同实验处理下蚜虫多度的差异分析-计数数据泊松回归

其他案例:零膨胀、零截断数据分析。。。。。。。。。。。。。。。。。。。。

 1.3线性混合效应模型(lmm)

1) 线性混合效应模型基本原理

2) 线性混合效应模型建模步骤及实现

3) 线性混合效应模型的预测和模型诊断

4) 线性混合效应模型的多重比较

案例1:睡眠时间与反应速度关系

案例2:多因素实验(分层数据)的多重比较

1.4广义线性混合效应模型(glmm)

1)广义线性混合效应模型基本原理

2)广义线性混合效应模型建模步骤及流程

3)广义线性混合效应模型分析0,1数据

4)广义线性混合效应模型分析计数数据及模型选择:泊松、伪泊松、负二项、零膨胀泊松、零膨胀负二项、零截断泊松及零截断负二项模型

案例1:蝌蚪“变态”与否(0,1)的多因素分析-逻辑斯蒂混合效应模型

案例2:虫食种子多度影响因素的多变量分析-泊松混合效应模型

案例3:模拟计数数据-零膨胀、零截断、过度离散等广义混合效应模型

贝叶斯(brms)回归与混合效应(多水平/层次/嵌套)模型

贝叶斯回归及混合效应模型上

1)贝叶斯回归分析简介

2)利用brms实现贝叶斯回归分析简介

3)贝叶斯回归分析的模型诊断、交叉验证、预测和作图

4)贝叶斯广义线性模型实现:gamma分布、伯努利分布、二项分布等

案例1:鱼游速与温度关系的贝叶斯回归-结果解读、模型验证、模型诊断

案例2:森林生物量与林龄关系贝叶斯回归-gamma分布、brms参数调整

案例3:动物身体特征与患病与否(0,1)的关系的贝叶斯回归-伯努利分布

案例4:海豹年龄与攻击行为的关系-0,1数据转化为比率数据分析-二项分布

其他案例:贝叶斯分析计数数据过度离散、零膨胀等问题

贝叶斯回归及混合效应模型下

1)贝叶斯线性混合效应模型:实现步骤、模型验证、多重比较

2)贝叶斯广义混合效应模型-计数数据分析:泊松、负二项、零膨胀泊松、零膨胀负二项等

案例1:睡眠时间与反应速度关系的贝叶斯线性混合效应模型

案例2:教师受欢迎程度的多变量预测-贝叶斯线性混合效应模型

案例3:虫食种子多度(计数数据)影响因素的多变量分析-贝叶斯广义混合效应模型

其他案例:贝叶斯分析计数数据过度离散、零膨胀等问题

相关数据回归分析:嵌套、时间、空间、系统发育相关数据分析

嵌套型随机效应混合效应模型分析及贝叶斯实现

1)数据分层问题及嵌套型随机效应混合效应模型介绍

2)嵌套型随机效应混合效应模型分析步骤及流程及模型选择(MuMIn)

3)嵌套型随机效应混合效应模型的方差分解:ICC、varcomp及贝叶斯法

4)经典方差分解案例讲解

案例1:不同种类海豚年龄多因素预测模型及模型选择(MuMIn)- 嵌套结构

案例2:纲/科/属/种型嵌套随机效应的方差分解及贝叶斯方法

案例3:物种属性可塑性和基因多样性对物种丰富度影响的相对贡献-全模型变差分解

时间相关数据分析及贝叶斯实现

1)回归模型的方差异质性问题及解决途径

2)时间自相关分析:线性及混合效应模型及贝叶斯方法

3)时间自相关+方差异质性分析及贝叶斯实现

案例1:模拟数据方差异质性问题-gls,lmm及brms方法比较

案例2:鸟类多度变化的时间自相关分析-gls vs brms

案例3:资源脉冲与食谱关系分析:方差异质性+时间相关-lmm vs brms

空间相关数据分析及贝叶斯实现

1)空间自相关概述

2)空间自相关问题解决方式:自相关修正参数、空间距离权重法、空间邻接权重法

3)空间自相关问题修正基本流程-gls和lme

4)空间自相关贝叶斯修正-空间距离权重 VS 空间邻接权重

案例1:北方林物种多样性与气候关系-一般线性回归模型空间自相关问题修正

案例2:全球水鸟巢穴捕食率影响因素分析-混合效应模型空间自相关问题修正

系统发育相关数据分析及贝叶斯实现

1、系统发育简介:系统发育假说、系统发育信号及系统发育树

2、系统发育树及系统发育距离矩阵构建

3、系统发育信息纳入回归模型-广义最小二乘(gls)

4、系统发育信息纳入混合效应模型(lmm/glmm)及贝叶斯方法实现案例

案例1:模拟数据-系统发育相关对物种属性影响-gls vs brms

案例2:全球水鸟巢穴捕食率影响因素分析-系统发育混合效应模型:lmm vs brms

非线性关系数据分析:广义可加(混合)模型(GAM/GAMM)和非线性(混合)(NLM/NLMM)模型

“线性”回归的含义及非线性关系的判定

4.2广义可加(混合效应)(GAM/GAMM)模型及贝叶斯实现

4.3非线性(混合效应)(NLM/NLMM)模型及贝叶斯实现

⑪R语言的贝叶斯网络模型

在现代的生态、环境以及地学研究中,变量和变量间的因果关系推断占据了非常重要的地位。在实践中,变量间的因果关系研究往往求助于昂贵的实验,但所得结果又经常与天然环境中的实际因果联系相差甚远。统计学方法是研究天然环境中变量间关系的好方法,但常见的统计学方法往往回答的是变量间的相关关系。相关关系是通往因果关系的第一步,但决不是其最终的目的。贝叶斯网络是一种结合图论与统计学理论提出的新型模型。贝叶斯网络不但能够统合已有的各种统计学方法,如混合回归模型,LASSO,自回归模型,隐马模型等等;而且在很大程度上能够弥补统计学模型不能够进行因果推断的缺憾。自贝叶斯网络模型在上个世纪80年代被正式提出以来,其已经被运用于生态、环境、医学、社会学等各方面的研究,取得了丰硕的成果;但是,贝叶斯网络模型理论较为复杂,体系庞大,形式复杂多样,很难被初学者掌握

R语言实现Bayesian Network分析的基本流程

R语言的数据类型与基本操作

R语言中图论的相关操作

贝叶斯网络的图表示与概率表示

基于bnlearn建立简单的贝叶斯网络

离散静态贝叶斯网络的构建

离散静态网络的结构学习

离散静态网络的参数估计

离散静态网络的推断

实例分析

连续分布下的贝叶斯网络

连续贝叶斯网络的结构学习

连续贝叶斯网络的参数估计

高斯贝叶斯网络的推断

实例分析

混合贝叶斯网络

混合分布情况下的处理

贝叶斯统计在混合网络中的应用

实例分析

动态贝叶斯网络

时间序列中变量的选择

时间相关性的处理

动态贝叶斯网络

实例分析

基于Gephi的网络作图初步

基于Gephi的网络作图初步

真实世界中的贝叶斯网络

Bootstrap与阈值选择

模型平均方法

非齐次动态贝叶斯网络

实例分析

⑫R语言的极值统计学

受到气候变化、温室效应以及人类活动等因素的影响,自然界中极端高温、极端环境污染、大洪水和大暴雨等现象的发生日益频繁;在人类社会中,股市崩溃、金融危机等极端情况也时有发生;今年的新冠疫情就是非常典型的极端现象。研究此类极端现象需要新的统计学方法,该类统计学的理论和方法都与传统的基于高斯分布的统计学模型有极大的不同。极值统计学就是专门研究自然界和人类社会中很少发生,然而发生之后有着巨大影响的极端现象的统计建模及分析方法;在水文、气象、环境、生态、保险和金融等领域都有着广泛的应用。

专题一 独立假设下的极值统计建模

主要内容包括:

  1. 广义极值模型.
  2. 极小值的处理.
  3. 广义Pareto模型.
  4. 第r大次序统计量建模.
  5. R语言中极值统计学包.
  6. 实例操作1-2.(提供案例数据及代码)

平稳时间序列的极值统计建模 

主要内容包括:

  1. 时间序列的极值区分组模型.
  2. POT模型、Markov(马尔科夫)模型.
  3. 实例操作3-5. (提供案例数据及代码)

极值回归 

主要内容包括:

  1. 非平稳时间序列极值模型.
  2. 协变量的极值统计模型及极值回归.
  3. 实例操作6-7. (提供案例数据及代码)

 点过程模型

主要内容包括:

  1. 点过程理论.
  2. 超阈值点过程模型.
  3. 实例操作8. (提供案例数据及代码)

贝叶斯极值统计学

主要内容包括:

  1. 贝叶斯统计学初步.
  2. 极值模型的贝叶斯估计.
  3. 实例操作9. (提供案例数据及代码)

 极值统计学的高级课题

主要内容包括:

  1. 多元极值模型.
  2. 极值Copula模型.
  3. 实例操作10-11. (提供案例数据及代码)

 

⑬R语言地理加权回归、主成份分析、判别分析等空间异质性

  在自然和社会科学领域有大量与地理或空间有关的数据,这一类数据一般具有严重的空间异质性,而通常的统计学方法并不能处理空间异质性,因而对此类型的数据无能为力。以地理加权回归为基础的一系列方法:经典地理加权回归,半参数地理加权回归、多尺度地理加权回归、地理加权主成份分析、地理加权判别分析是处理这类数据的有效模型。本次培训从局部加权回归开始,详细讲述了基于R语言的空间异质性数据分析方法。

专题一:地理加权回归下的描述性统计学

1.R语言操作简单回顾

2.局部加权的基本原理

3.带宽与核函数选择

4.局部加权的均值,标准差和相关系数

5.分位数及基于分位数的稳健估计

专题二:地理加权成分分析

1.普通的主成分分析,因子载荷与因子得分分析

2.主成分个数的选择,碎石图

3.地理加权的主成分分析

4.主成分的空间载荷

5.空间主导因子分析

专题三:地理加权回归

1.线性回归:高斯-马尔科夫假设

2.地理加权回归:基本方法与稳健方法,异常值的检验

3.带宽选择:修正的赤池信息法

4.系数检验:F1,F2,F3检验

5.空间稳定性检验:蒙特卡洛方法

6.共线性与变量选择:地理加权回归中的岭回归与Lasso回归

7.时空地理加权回归:GTWR

8.QGIS中的地理加权回归

专题四:高级回归与回归之外

1.多尺度地理加权回归:可变带宽的选择
2.异方差模型
3.广义地理加权回归:链接函数,泊松回归与二项式回归

4.空间权重矩阵与半参数地理加权回归

5.分位数回归与地理加权分位数回归

6.判别分析与地理加权判别分析

⑭文献计量学可视化分析技术及SCI论文高效写作

文献计量学是指用数学和统计学的方法,定量地分析一切知识载体的交叉科学。它是集数学、统计学、文献学为一体,注重量化的综合性知识体系。特别是,信息可视化技术手段和方法的运用,可直观的展示主题的研究发展历程、研究现状、研究热点和发展态势。Citespace和vosviewer是使用最广泛的文献信息可视化软件工具,在理工、经管、法学、教育、农学、文史、医学、艺术等学科中普遍应用,发文量逐年显著上升。本课程将采用理论与实践相结合,通过文献计量学介绍、高效选题、数据库检索数据下载、软件使用等八个专题模详细讲解,让学员系统全面的掌握文献计量学的基本理论和知识;掌握Citespace和vosviewer分析工具;最终实现从主题确定、数据分析绘图、文章框架与写作,全流程掌握一篇文献信息可视化分析报告(论文)的思路逻辑与技术方法。

文献计量学方法与应用

1 文献计量学方法基本介绍

2 与其他综述方法区别联系

3 各学科领域应用趋势近况

4 主流分析软件优缺点对比

5 经典高分10+SCI思路复盘

6 软件安装与Java环境配置

主题确定、数据检索与采集

热点主题高效选择技巧

2 精准高级检索式构建方法

3 WOS数据库信息采集技巧

4 CNKI数据库信息采集技巧

5 数据量或多或少应如何处理

6 有同类主题如何再发表策略

Vosviewer可视化绘图精讲

1 WOS与CNKI数据导入

2 共被引网络图绘制与解读关键

3 叠加网络图绘制与解读关键

4 密度图绘制与解读关键

5 关键词合并规则与注意事项

Citespace可视化绘图精讲

 WOS与CNKI数据导入、清洗

2 学科分布图绘制参数选择与解读关键

3 共现网络图绘制参数选择与解读关键

4 聚类图绘制参数选择与解读关键

5 突现图绘制参数选择与解读关键

6 时间线图绘制参数选择与解读关键

后期图片优化提升与辅助工具

1 国家分布地图绘制与注意事项

2 发文量趋势图绘制与注意事项

3 Vosviewer图调整内容与注意事项

4 Citespace 图调整内容与注意事项

5 优化提升辅助工具与使用注意事项

6 根据内容组图选择与操作注意事项

论文写作全攻略

1 定向文献参考套路

2 软件搭配组合技巧

3 典型结构模式剖析

4 图表搭配组合策略

5 模块化写作全攻略

【双碳系列】碳中和、碳排放、温室气体、弹手指、碳储量、碳循环及leap、cge、dice、openLCA模型-CSDN博客

智慧农业【农业作物模型】DSSAT、DNDC、WOFOST、PCSE、APSIM、作物同化等-CSDN博客【生态系统服务】MAXENT、PLUS、USLE、INVEST、供需、VORS、SRP模型、SolVES、NPP及碳源、碳汇、CENTURY、生态经济学-CSDN博客

大气科学领域丨WRF、UCM、CMAQ、Chem、Hydro、WRF DA、PMF、MCM、EKMA、CAMx、SMOKE、megan、Calpuff、FLEXPART、LEAP、CMIP6等-CSDN博客 

相关推荐

最近更新

  1. TCP协议是安全的吗?

    2024-05-11 20:02:06       16 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-05-11 20:02:06       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-05-11 20:02:06       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-05-11 20:02:06       18 阅读

热门阅读

  1. Hive优化(1)——分桶采样

    2024-05-11 20:02:06       9 阅读
  2. Django调用SECRET_KEY对数据进行加密

    2024-05-11 20:02:06       10 阅读
  3. 905. 按奇偶排序数组

    2024-05-11 20:02:06       10 阅读
  4. vue2 与vue3的差异汇总

    2024-05-11 20:02:06       10 阅读
  5. SpringBoot MybatisPlus 配置动态表名&多数据源

    2024-05-11 20:02:06       7 阅读
  6. MacOS安装Go

    2024-05-11 20:02:06       10 阅读
  7. MySQL中获取指定日期区间内所有日期

    2024-05-11 20:02:06       9 阅读