【tensorflow&flutter】自己写个机器学习模型用在项目上？

背景

        拍摄APP项目上线有一阵了，每天的拍摄数据呈现波动上升状态、业务方需要对数据进行加工，如果能有对未来的数据量的预测就好了 。

目标 

      在端侧展示拍摄数据可视化趋势图等、并能推断数据（选择预测日期） 简单实现个demo

先写总结 

   现在来看、出来的东西很简单，但是整个流程时串通起来了。至于什么是tensorflow lite 初识TensorFlow Lite -CSDN博客

    总体流程图是这样的 从左侧的数据来源开始、到tensorflow 模型训练 到云上、动态下发、再到预测数据。生产数据的 再次收集数据运行的全流程正循环。 模型训练在本篇下方 其他后续写

一.数据处理

    数据来源

     目前只有日志数据 以单个数据为维度的： 2023年x月x日 张某 所属部门 拍摄时间 等数据

   数据预处理 

    通过pyhton 统计当日共拍摄多少套、都属于哪个部门

   数据清洗

    去除前三天刚上线数据（不准）、和当日的数据（未统计完全）等特殊数据

   数据分析、抽取

    根据数据判断  不光跟当日部门数、时间、还有星期有关 比如 周五周六周天相对较高  将星期也为参数。

  输出关系图

sns.pairplot(train_dataset[["拍摄数量","事业部数量","weekday","index"]], diag_kind="kde")

        拆分训练数据集和测试数据集

   拆除80%的数据进行训练、20%进行测试

train_dataset = dataset.sample(frac=0.8,random_state=0)
test_dataset = dataset.drop(train_dataset.index)

从标签中分离特征

          把预测值分离出来

        train_labels = train_dataset.pop("拍摄数量")
        test_labels = test_dataset.pop("拍摄数量")

 数据规范化

使用不同的尺度和范围对特征归一化是好的实践。尽管模型可能 在没有特征归一化的情况下收敛，它会使得模型训练更加复杂，并会造成生成的模型依赖输入所使用的单位选择。

就是将数据统一差不多的大小  

def norm(x):
  return (x - train_stats['mean']) / train_stats['std']
normed_train_data = norm(train_dataset)
normed_test_data = norm(test_dataset)

结果类似于

        输入 ：部门数 35  星期  3 日期 202

        输出 ：1.98  0.0 1.768

       但是要注意 之后预测数据时 也要统一化      

二.构建模型

   构建

    我们将会使用一个“顺序”模型，其中包含两个紧密相连的隐藏层，以及返回单个、连续值得输出层。

def build_model():
  model = keras.Sequential([
    layers.Dense(64, activation='relu', input_shape=[len(train_dataset.keys())]),
    layers.Dense(64, activation='relu'),
    layers.Dense(1)
  ])

  optimizer = tf.keras.optimizers.RMSprop(0.001)

  model.compile(loss='mse',
                optimizer=optimizer,
                metrics=['mae', 'mse'])
  return model

        训练 

# 通过为每个完成的时期打印一个点来显示训练进度
class PrintDot(keras.callbacks.Callback):
  def on_epoch_end(self, epoch, logs):
    if epoch % 100 == 0: print('')
    print('.', end='')

EPOCHS = 1000

history = model.fit(
  normed_train_data, train_labels,
  epochs=EPOCHS, validation_split = 0.2, verbose=0,
  callbacks=[PrintDot()])

预测值对比

        最后进行预测值对比

error = test_predictions - test_labels
plt.hist(error, bins = 25)
plt.xlabel("Prediction Error [MPG]")
_ = plt.ylabel("Count")

第一篇完

        tensorflow模型构建到此结束  想看详细教程  官网链接https://www.tensorflow.org/tutorials/keras/regression

后续写转tensorflow lite/部署方案、动态下发、端侧推断部分