news 2026/4/23 13:07:41

Flink ML Naive Bayes 多分类朴素贝叶斯

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink ML Naive Bayes 多分类朴素贝叶斯

1. 输入列与输出列

输入列(Input Columns)

参数名类型默认值说明
featuresColVector"features"特征向量列
labelColInteger"label"标签列(要预测的类别)

输出列(Output Columns)

参数名类型默认值说明
predictionColInteger"prediction"预测标签

2. 参数(Parameters)详解

2.1 NaiveBayesModel(预测侧)参数

Key默认值类型说明
modelType"multinomial"String模型类型(目前支持 multinomial)
featuresCol"features"String特征列名
predictionCol"prediction"String预测列名

2.2 NaiveBayes(训练侧)额外参数

Key默认值类型说明
labelCol"label"String标签列名
smoothing1.0Double平滑参数(拉普拉斯平滑,避免零概率)
smoothing 是干什么的?

在 multinomial 朴素贝叶斯里,经常会遇到某类样本中某个特征从未出现过的情况,这会导致该条件概率为 0,从而让整个后验概率变成 0。
smoothing的作用就是避免这种“零概率”问题,让模型更稳健。

工程上:

  • 1.0是最常见的默认选择
  • 数据稀疏、类别较多时,适当提高 smoothing 往往更稳定

3. Java 示例代码解读

你贴的示例逻辑非常标准,分四步:

1)构造训练数据(features, label)
2)构造预测数据(features)
3)创建 NaiveBayes 并设置参数
4)fit 训练模型 → transform 预测 → collect 打印结果

3.1 训练数据

DataStream<Row>trainStream=env.fromElements(Row.of(Vectors.dense(0,0.),11),Row.of(Vectors.dense(1,0),10),Row.of(Vectors.dense(1,1.),10));TabletrainTable=tEnv.fromDataStream(trainStream).as("features","label");

这里的标签是1011(多分类不一定要从 0 开始),特征向量是 2 维。

3.2 预测数据

DataStream<Row>predictStream=env.fromElements(Row.of(Vectors.dense(0,1.)),Row.of(Vectors.dense(0,0.)),Row.of(Vectors.dense(1,0)),Row.of(Vectors.dense(1,1.)));TablepredictTable=tEnv.fromDataStream(predictStream).as("features");

预测表只有 features 列,符合朴素贝叶斯的推理输入。

3.3 创建与训练

NaiveBayesnaiveBayes=newNaiveBayes().setSmoothing(1.0).setFeaturesCol("features").setLabelCol("label").setPredictionCol("prediction").setModelType("multinomial");NaiveBayesModelnaiveBayesModel=naiveBayes.fit(trainTable);

3.4 预测输出

TableoutputTable=naiveBayesModel.transform(predictTable)[0];

输出表会新增prediction列。

4. 一个小坑:prediction 类型读取

文档定义predictionColInteger,但示例中用:

doublepredictionResult=(Double)row.getField(naiveBayes.getPredictionCol());

这容易让人误会 prediction 是 Double。更稳的写法是按 Integer 读取:

Integerprediction=(Integer)row.getField(naiveBayes.getPredictionCol());

建议你在工程里把 label 与 prediction 都保持 Integer 类型,减少类型转换问题。

5. multinomial 朴素贝叶斯的“工程适配”建议

1)multinomial 更适合“计数/频次类特征”

multinomial Naive Bayes 常见于:

  • 词袋计数(word counts)
  • TF/TF-IDF(有时也用,但严格上更像连续值,需要注意分布假设)
  • 事件次数、出现频次等离散统计特征

如果你的 features 是非常连续的实数(如温度、金额、时长),multinomial 的假设可能不够贴合,效果未必好。此时你可以考虑:

  • 先做分桶(binning)
  • 或选择 Logistic Regression / LinearSVC 等线性模型

2)特征必须非负更稳

multinomial 模型通常假设特征类似“出现次数/频次”,因此:

  • 负数特征会让概率解释变得很奇怪
  • 工程上建议保证 features >= 0(或做平移/分桶)

3)smoothing 的调参思路

  • 类别多、数据稀疏:smoothing 可以适当大一些
  • 数据充足:smoothing=1.0 往往足够

6. 总结

Flink ML 的 Naive Bayes 非常适合做多分类 baseline,尤其在文本/稀疏特征场景下优势明显:

  • 输入:features(Vector)+label(Integer)
  • 输出:prediction(Integer)
  • 关键参数:modelType=multinomialsmoothing平滑避免零概率
  • 用法:fit()训练 →transform()预测,完全遵循 Flink ML 的 Table API 体系
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/22 22:42:06

递归算法完全指南:从入门到精通(图文详解)

递归算法完全指南&#xff1a;从入门到精通&#xff08;图文详解&#xff09;一、什么是递归&#xff1f;1.1 递归的基本概念1.2 递归的两种形式直接递归间接递归二、递归的三大要素2.1 递归出口&#xff08;基准情形&#xff09;2.2 递归调用2.3 问题规模减小三、阶乘计算&…

作者头像 李华
网站建设 2026/4/20 16:36:44

【水下】基于RRT和粒子群优化PSO实现复杂的水下环境中自主水下车辆(AUVs)高效且无碰撞的能量传输路径附matlab代码

✅作者简介&#xff1a;热爱科研的Matlab仿真开发者&#xff0c;擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。 &#x1f34e; 往期回顾关注个人主页&#xff1a;Matlab科研工作室 &#x1f34a;个人信条&#xff1a;格物致知,完整Matlab代码获取及仿…

作者头像 李华
网站建设 2026/4/22 16:57:33

从“对抗”到“赋能”:数字时代的“海豚式”教养与自控力重塑

摘要:在算法精密算计的数字时代,为何传统的严厉管教(虎式)和放任自流(水母式)都失效了?本文结合神经科学与30年ICT从业者的系统视角,深度解析屏幕成瘾背后的生理机制,提出“海豚式”教养新范式。通过重构多巴胺回路、建立家庭数字契约,帮助孩子从被算法控制的“消费者…

作者头像 李华
网站建设 2026/4/22 21:15:05

YOLO目标检测模型镜像上线,一键部署节省90%开发时间

YOLO目标检测模型镜像上线&#xff0c;一键部署节省90%开发时间 在智能制造、智慧园区和自动驾驶快速落地的今天&#xff0c;一个看似简单却长期困扰工程师的问题依然存在&#xff1a;为什么训练好的AI模型&#xff0c;部署起来动辄需要几周&#xff1f; 明明在本地笔记本上能跑…

作者头像 李华
网站建设 2026/4/19 22:42:16

YOLO模型镜像提供Docker Compose模板,GPU一键部署

YOLO模型镜像提供Docker Compose模板&#xff0c;GPU一键部署 在智能制造车间的质检线上&#xff0c;一台工业相机每秒捕捉数百帧图像&#xff0c;后台系统需要在毫秒级响应内识别出微米级缺陷。这样的场景早已不再依赖传统算法&#xff0c;而是由深度学习驱动的实时目标检测模…

作者头像 李华