24小时热门版块排行榜    

查看: 2886  |  回复: 9

gaoyanyan3

银虫 (正式写手)

[求助] 有没研究最大熵(机器学习)的朋友,帮忙看一下!

我用最大熵训练一个训练集(10000条记录,每条记录20维,即20个属性),然后对对一个测试集(1000条记录)测试,把得分最高(99.8)的测试集的一条记录再加入训练集(变为10001条记录),而测试集不变。重新训练,
结果为:
1)测试集的准确率竟然降低了,为什么呀?
   要知道我只加入一条最有可能是真的记录呀。
2)该条记录的得分(概率)竟然从99.8降到99.7, 为什么?
  这个更无法理解了,这条记录的信息量增加了,概率按理说应该增加。
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐,对您同样有帮助:

已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

cc3510050

金虫 (正式写手)

这是不是所谓的有效信息降低了
2楼2012-04-16 18:21:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gaoyanyan3

银虫 (正式写手)

引用回帖:
2楼: Originally posted by cc3510050 at 2012-04-16 18:21:13:
这是不是所谓的有效信息降低了

不对呀,我只加一条信息,而且这条信息的得分率本身是最高的,
也就是基本是准确答案了。
3楼2012-04-16 18:37:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wsy525

金虫 (正式写手)

【答案】应助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感谢参与,应助指数 +1
gaoyanyan3: 金币+10, 10 2012-06-08 11:40:37
说明你之前的训练,对现在的测试数据识别效果不好
4楼2012-04-17 10:38:33
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gaoyanyan3

银虫 (正式写手)

引用回帖:
4楼: Originally posted by wsy525 at 2012-04-17 10:38:33:
说明你之前的训练,对现在的测试数据识别效果不好

不对呀,整体识别效果有81%呢。
5楼2012-04-17 11:37:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gaoyanyan3

银虫 (正式写手)

1.我用最大熵训练一个训练集(10000条记录,每条记录20维,即20个属性),然后对对一个测试集(1000条记录)测试,把得分最高(99.8)的测试集的一条记录(a1,a2,...a20),该记录的分类结果如:
B1:0.01   B2:99.8 B3:0.00  B4:0.00 B5:0.01
(其中B指分类类别,0.01指相应概率)

2.指该记录(a1,a2,...a20),加入到训练集(变为10001条记录),再训练,该记录分类结果为:B1:0.01   B2:99.7 B3:0.01 B4:0.00 B5:0.01

从理论上分析,加入这条记录a1,a2..a20等各属性做为B2的可能性增大,应该整体概率也应提高才对呀。。
哪位大哥大姐帮忙再看一下呀!
6楼2012-04-17 11:46:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gaoyanyan3

银虫 (正式写手)

7楼2012-04-19 08:36:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

choirboy999

新虫 (初入文坛)

【答案】应助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感谢参与,应助指数 +1
gaoyanyan3: 金币+20 2012-06-08 11:40:29
这个应该是正常的吧。在机器学习算法中,有时候预测结果是有点出乎意料。比如特征维数的增加并不能带来分类精度的一定提高,交叉验证精度的提高也不总是能带来分类精度的提高。楼主将一条可信度很高的记录加入训练样本,精度没有提高我想也是这个原因,有一定的随机性,况且你加入的那条记录为真的可能性虽然极高,但只是上一次训练的判断,这次再进行训练判断时,有可能就判断为假了,这是有可能的吧。
8楼2012-04-20 09:30:01
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

liuzhen8936

金虫 (正式写手)

【答案】应助回帖

感谢参与,应助指数 +1
想问个比较弱的问题,熵到底是个什么东西啊,怎么理解
做有意义的事
9楼2012-04-21 08:59:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gaoyanyan3

银虫 (正式写手)

10楼2012-04-25 16:54:00
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 gaoyanyan3 的主题更新
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考研] 售SCI一区文章,我:8O5.5.1.O5.4,科目全,可伽急 +3 cqv1zKnzd7hr 2026-11-09 4/200 2026-11-10 11:46 by YHiw1gou1Eda
[教师之家] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 0TEMgxdT1eIw 2026-11-09 4/200 2026-11-10 11:02 by YHiw1gou1Eda
[硕博家园] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +3 0TEMgxdT1eIw 2026-11-09 4/200 2026-11-10 10:18 by YHiw1gou1Eda
[教师之家] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +3 zSbvVX9JFl9J 2026-11-09 5/250 2026-11-10 09:23 by 1yv6QACPoY1E
[考博] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +3 zSbvVX9JFl9J 2026-11-09 4/200 2026-11-10 01:29 by FChKX8meu1ds
[考博] 27博士申请 +3 白白白ly 2026-11-09 3/150 2026-11-09 21:39 by szq0819
[文学芳草园] 厉娜 +3 张丹枫1991 2026-11-09 5/250 2026-11-09 16:53 by 张丹枫1991
[考博] 售SCI一区T0P文章,我:8.O.55.1.O54,科目全,可伽急 +5 kvewwGtKktqB 2026-11-04 12/600 2026-11-09 13:26 by Equinoxhua
[考研] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +6 5sJFDKp2kwuI 2026-11-06 14/700 2026-11-09 11:52 by GwrQVVR6Oenx
[硕博家园] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +5 5sJFDKp2kwuI 2026-11-06 16/800 2026-11-09 11:47 by GwrQVVR6Oenx
[考博] 售SCI文章,我:8O.5.5.1O.54,科目全,可十急 +5 5sJFDKp2kwuI 2026-11-06 15/750 2026-11-09 11:41 by GwrQVVR6Oenx
[硕博家园] 售SCI一区文章,我:8O5.5.1.O5.4,科目全,可伽急 +4 5sJFDKp2kwuI 2026-11-06 10/500 2026-11-09 08:00 by IhnEQauGmT3K
[考研] 售SCI一区T0P文章,我:8O.55.1.O.54,科目全,可伽急 +3 5sJFDKp2kwuI 2026-11-06 12/600 2026-11-09 06:32 by l48hFd8Nwae2
[公派出国] 售SCI一区文章,我:8.O.55.1.O.54,科目齐全,可伽急 +4 5sJFDKp2kwuI 2026-11-06 8/400 2026-11-09 00:14 by l48hFd8Nwae2
[教师之家] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +4 5sJFDKp2kwuI 2026-11-06 8/400 2026-11-08 23:01 by l48hFd8Nwae2
[公派出国] 售SCI一区T0P文章,我:8.O.55.1.O.54,科目齐全,可+急 +5 ttH3f1oA6ace 2026-11-04 10/500 2026-11-06 16:12 by 5sJFDKp2kwuI
[硕博家园] 售SCI一区文章,我:8O5.5.1.O5.4,科目全,可伽急 +4 ttH3f1oA6ace 2026-11-04 11/550 2026-11-06 16:10 by 5sJFDKp2kwuI
[硕博家园] 售SCI一区T0P文章,我:8O.55.1.O.5.4,科目齐全,可+急 +6 kvewwGtKktqB 2026-11-04 16/800 2026-11-06 05:00 by qL1cU46YIdK0
[考研] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +4 ttH3f1oA6ace 2026-11-04 10/500 2026-11-06 02:04 by qL1cU46YIdK0
[硕博家园] 售SCI一区T0P文章,我:8.O55.1.O.54,科目全,可十急 +4 hNpp4Y2CGvSC 2026-11-04 12/600 2026-11-06 01:53 by qL1cU46YIdK0
信息提示
请填处理意见