0开篇-介绍

创作灵感

最近又开始写Python,换新机器了,加上回顾硬盘上的一些资料,发现当时用在态势上的一些机器学习内容一直没有收尾,2019年10月研发中心成立中断了机器学习产品的研发,加上后来疫情,这几年荒废了。有空归纳下,希望有机会能用上。

基础介绍

语言、框架及环境:

当然是Python。优点:好用的数学函数库例如numpy,绘图工具matplotlib,框架或库sklearn,keras和有名的TensorFlow。缺点:性能。硬件cpu最好是intel的,原来有一次使用联想AMD本跑模型始终有问题,同样的使用我自己的intel本就没问题,不知道现在还有没有这种CPU问题。显卡不强求,学习的话已算法为主,测试数据不多的话cpu跑也没问题,就是cpu一直100%啥也干不了,最好有闲置机跑。有显卡建议也是台式机显卡,我用神舟笔记本差点把GTX960M干冒烟了。

数学基础和相关资料:

高数,线性代数,概率论和数理统计,基本都是大学本科的数学知识,知道各种概念就OK,用于理解各种算法,毕竟都是调包调参数,不用深入到框架原理。

相关资料可以参考各个大佬(吴恩达,周志华,李宏毅等)的书,和现在b站很多讲解视频。

机器学习开发算法步骤:

1.数据收集(Extract)。因为需要有样本数据,学习的话我会从kaggle之类的网站下载,实际项目会有特定格式的数据,我原来使用的都是安全设备上提取的数据。

2.数据格式化和分析(Transform)。数据要整理成标准格式,标准数据格式可以融合算法,方便操作。同时对于值需要转化或填充,异常值可能还需要进行必要的展示和分析,判断是否有保留价值。

3.算法训练。机器学习从这一步才真正开始。和下一步一起组成机器学习算法的核心。训练就是通过一定的算法将数据变为知识或信息或者模型。这里需要区别的是监督学习和无监督学习。简单理解,分类和回归是监督学习,监督就是必须知道预测什么,知道目标变量的分类信息,算法就是做到如何分类,常用算法有k-邻近算法、线性回归、朴素贝叶斯、决策树等。相对的无监督学习没有确定的目标,没有类别信息。常用算法有k-均值、最大期望算法、DBSCAN等。

4.测试算法。使用前一步输出的知识、信息或者模型,使用测试数据,评测检验算法的成功率。如果不满意算法的输出结果,可以回到第一步重新运算。如果发现准备的数据有问题,也可以回到第一步重新收集数据。

5.实际使用。利用验证算法过的算法执行实际操作。

工具

推荐使用anaconda,集成JupyterLab Notebook  Spyder等工具,配合vscode使用。

算法

按照整理的顺序写。

相关推荐

  1. 0开篇-介绍

    2024-06-06 04:12:04       30 阅读
  2. 0, GPU Microarchitecture介绍

    2024-06-06 04:12:04       31 阅读
  3. 【Linux开篇介绍

    2024-06-06 04:12:04       55 阅读
  4. MySQL8.0默认TCP端口介绍

    2024-06-06 04:12:04       29 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-06 04:12:04       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-06 04:12:04       106 阅读
  3. 在Django里面运行非项目文件

    2024-06-06 04:12:04       87 阅读
  4. Python语言-面向对象

    2024-06-06 04:12:04       96 阅读

热门阅读

  1. 在RT-Thread下为MPU手搓以太网MAC驱动-3

    2024-06-06 04:12:04       32 阅读
  2. oracle sql--计算某一日期到当前日期的间隔天数

    2024-06-06 04:12:04       30 阅读
  3. docker mqqt 安装

    2024-06-06 04:12:04       25 阅读
  4. USB - ACK、NAK和STALL的含义

    2024-06-06 04:12:04       37 阅读
  5. conda环境里安装ffmpeg

    2024-06-06 04:12:04       27 阅读
  6. 在本地局域网的 Ubuntu 16.04 主机安装 GitLab 服务

    2024-06-06 04:12:04       25 阅读
  7. 正则表达式 0.1v

    2024-06-06 04:12:04       25 阅读
  8. WHAT - 容器化系列(二)- docker

    2024-06-06 04:12:04       29 阅读
  9. Shell正则表达式与文本处理器

    2024-06-06 04:12:04       22 阅读
  10. 从0开发一个Chrome插件:创建第一个Chrome插件

    2024-06-06 04:12:04       29 阅读