手握剁手党海量消费数据的支付宝,今年一反常态,做起了“先知”。

威尼斯人注册,这段时间听关于机器学习的分享,因此总结以下几点。

它的预测准吗?

1 机器学习和专家系统

专家系统是基于经验,人为的归纳总结规则,再基于此类规则进行逐一归类;其优点:人参与规则的制定,可理解性强,易用性;但也因为人的参与导致制定的规则是有限的,很难满足当前环境的需要。

机器学习是利于历史数据和不断的自学习,能够不断的改进模型,适应新的变化和需求,覆盖面较广;学习要求较高,
计算耗费较多的资源等。

来看看朋友圈大伙儿对“我的2018年度关键词”的评价:

2 机器学习

威尼斯人注册 1

2.1 概念

威尼斯人注册 2

三者关系.png

三者关系:人工智能>机器学习>深度学习

人工智能(Artificial Intelligence):让机器拥有人一样的智慧。
机器学习(Machine
Learning):一种实现人工智能的方法。基于数据和算法,模拟人作出决策。
深度学习(Deep
Learning):一种实现机器学习的技术。利用神经网络(复杂)来实现机器
“学习”的过程。

在机器学习中,常用“模型”来表示一系列规则和权重,如:算法、参数、权重等;不断的训练模型,即为就是不断地调整模型参数的过程,如y=wx+b,就是找到最优的w和b的值。最简单、入门的机器学习算法
逻辑回归(LR),深度学习中的神经网络,复杂神经网络等都是基于LR算法。LR算法是一个二分类的问题,取值范围[0,1],样本通过
逻辑函数 计算后的值 P 在[0,1]范围内。

威尼斯人注册 3

2.2 数据集

数据集的选择对模型的影响是最大的,选择原则:
1)尽量使用真实数据
2)代表性的特征
3)数据维度不是越多越好
训练集:训练模型,历史数据
验证集:调整模型参数
测试集:测试模型的泛化能力

威尼斯人注册 4

2.3 效果评估

混淆矩阵:基于模型,样本的分类分布情况。
准确率:分类正确的样本数占总样本数的比例 。
召回率对样本的正例而言,正例分类正确的,TP/(TP+FN)
正确分类/(正确分类+正确归类到错误的) 召回率越大,模型越好;
精确率对预测的正例而言,正例分类正确的,TP/(TP+FP)
正确分类/(正确分类+错误归类到正确的) 精准率越大,模型越好;
F1-score: 兼顾召回率和精确率,看做是这两个的加权平均,=精确率 *
召回率 * 2 / (精确率 + 召回率) 整体上进行效果评估。
ROC曲线:接收者操作特征(receiveroperating
characteristic),曲线上每个点反映着对同一信号刺激的感受性。当测试集中的正负样本的分布变化的时候,ROC曲线能够保持不变。

威尼斯人注册 5

混淆矩阵.png

威尼斯人注册 6

ROC曲线.png

横轴:负正类率(false postive rate
FPR)特异度,对样本负例而言,正确分类到负例占样本负例的比;FP/(FP+TN);
纵轴:真正类率(true postive rate
TPR)灵敏度,对样本正例而言,正确分类到正例占样本正例的比;TP/(TP+FN);

截断点:ROC曲线还涉及到另一概念,针对上文中计算出的 P,如 P >
0.3为正例,则0.3为截断点;如果P>0.5为正例,则0.5为截断点。
ROC曲线就是基于 截断点、FPR、TPR的不同取值画出的。
曲线性质:
1)A点,TPR=0,FPR=0,认为样本都是负例;
2)B点,TPR=0,FPR=1,最差的情况,所有样本的正例都分类错误了;
3)C点,TPR=1,FPR=1,认为样本都是正例;
4)D点,TPR=1,FPR=0,最好的情况,都分类正确;
5)TPR=FPR,随机;

可以看出,越往D点靠近,效果越好。

AUC(Area under
curve)
:ROC曲线下的面积。表示样本分配正确的概率,暂时还没有找到好的例子来简单表示。
1)AUC = 1,是完美分类器,一般不存在这种情况。
2)0.5 < AUC <
1,优于随机猜测。这个分类器(模型)妥善设定阈值的话,能有预测价值。
3)AUC = 0.5,跟随机猜测一样(例:丢铜板),模型没有预测价值。
4)AUC < 0.5,比随机猜测还差。

威尼斯人注册 7

看到这儿,小编突然想起在某处看到的广告语:“来我们医院的人不是在靠脸吃饭,就是即将靠脸吃饭的白富美们。”

威尼斯人注册 8

除了把预测结果发到朋友圈,还有热心网友作了总结和揭秘,甚至断言这是支付宝产品经理拍脑袋的杰作,无非就是结合了心理学,让你看到你想看到的。

威尼斯人注册 9

别忘了马云爸爸背后的技术团队,暗含的黑科技其实依旧是火热的人工智能在发挥主导作用。

人工智能还能占卜?它是怎么做到的。

准确说是用到了机器学习。所谓机器学习,就是让计算机实现人的学习能力,进而像人一样拥有归纳总结推理能力。

这里的学习分为两种:

一、“有监督的机器学习”

举个例子:我把10个人的消费数据作为样本,并给这些样本定义关键字:

经常购买衣服、鞋、化妆品->关键字“潮”

经常购买母婴产品->关键字“柔软”

经常购买书籍->关键字“才华”

……

威尼斯人注册 10

发表评论

电子邮件地址不会被公开。 必填项已用*标注