【华为数据之道学习笔记】5-11 算法模型设计

      算法是指训练、学习模型的具体计算方法,也就是如何求解全局最优解,并使得这个过程高效且准确,其本质上是求数学问题的最优化解,即算法是利用样本数据生成模型的方法。算法模型是根据业务需求,运用数学方法对数据进行建模,得到业务最优解,主要用于业务智能分析。
        算法模型在数据分析流程中产生,算法模型管理框架包括建模、模型资产管理和模型消费。公司各领域已相继开发出大量基于算法模型的分析应用,通过对算法模型资产注册逐步打造公司级的算法模型地图。
        算法模型的设计步骤主要有需求评估、数据准备、方案设计和建模与验证。

     (1)需求评估

        1)业务驱动的分析需求识别
  • 如果要识别与业务运营优化相关的分析需求,就需要梳理业务需求的背景、现状与目标。
  • 若由战略或变革提出可能的分析需求,则应进行战略目标解耦,识别分析需求,了解业务现状与制定目标。
  • 初步识别分析结果的应用场景。
2)数据驱动的分析需求识别
  • 在集成的数据环境中进行数据挖掘,探索可能的分析应用。
  • 识别分析需求和确认应用领域。
  • 初步识别分析结果的应用场景。
3)价值与可行性评估
  • 确定数据分析主题。
  • 分析需求的业务价值评估,包括业务基线、分析主题的业务影响与可增进的效益。
  • 分析前提与可行性,包括识别目前业务流程与可能的影响因素,探讨业务现状因素,并制定对应的分析解決方案,呈现出对应解决方案可提升的效益,对方案所需资源和数据的可行性进行评估。
  • 根据相关的历史数据,进行假设和分析,并明确业务范围。

(2)数据准备

  • 深入探索数据资产目录,识别与分析主题可能相关的数据。
  • 提供数据源、数据标准、数据流等信息。
  • 收集与整合原始数据,生成分析数据集。
  • 根据分析需求进行数据筛选和质量分析。

(3)方案设计

  • 明确要分析的业务目标与相关假设。
  • 定义数据集中的分析目标、样本与筛选条件。
  • 设计所需变量、指标、可能的分析方法和产出。 规划分析的应用场景。

(4)建模与验证

        1) 决定是否需要分析建模: 根据技术复杂度、业务效益和资源评估该分析需求是否需要分析建模。若需要分析建模且通过项目评审,则应进行高阶分析;若不需要建模分析,则运用BI分析。
        2) 建模与验证: 根据数据分析方案创建模型,对模型的参数和变量进行调整,根据应用场景选择适用的模型,并与业务分析师确认模型成效与应用,并进行优化,进行模型相关验证(如准确度和稳定度评估)及效益评估。
        3) 试算分析: 对数据分析方案中不需分析建模的场景和应用,根据数据分析方案进行分析结果的计算,并选择合适的展示方式。
        4) 编写数据分析线下验证报告:
  • 记录分析结果与发现。
  • 根据洞察发现,建议业务应用场景。
  • 建议模型监测方式。
        5) 决定是否需要IT开发: 根据模型验证成果(分析建模)、预估业务效益、IT开发所需的成本和资源来评估分析结果是否需要IT开发。若需要,则通过评审后转入IT开发流程;若不需要,则进入业务应用并结束流程
        6) 模型线上验证:
  • 设定线上验证范围与场景。
  • 进行线上验证,制定模型监控机制(含监控频次和监控要素),
  • 生成分析模型线上验证报告。
  • 进行业务试运行与推广。
        7) 转运营: 与数据分析模型所属领域的业务代表确认转正式运营计划,启动业务正式运营。

最近更新

  1. TCP协议是安全的吗?

    2023-12-20 22:46:01       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2023-12-20 22:46:01       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2023-12-20 22:46:01       19 阅读
  4. 通过文章id递归查询所有评论(xml)

    2023-12-20 22:46:01       20 阅读

热门阅读

  1. 解决西门子TIA Portal V安装时的先决条件不足问题

    2023-12-20 22:46:01       109 阅读
  2. postman如何发送json请求其中file字段是一个图片

    2023-12-20 22:46:01       39 阅读
  3. 大话前端:WebAssembly的未来与前端开发

    2023-12-20 22:46:01       38 阅读
  4. 查找当前打开文件在项目中的位置

    2023-12-20 22:46:01       44 阅读
  5. Mysql的多表连接

    2023-12-20 22:46:01       27 阅读
  6. uniapp组件和周期的知识点以及怎么使用

    2023-12-20 22:46:01       38 阅读