应《网络安全法》要求，自2017年10月1日起，未进行实名认证将不得使用互联网跟帖服务。为保障您的帐号能够正常使用，请尽快对帐号进行手机号验证，感谢您的理解与支持！

24小时热门版块排行榜    

小木虫论坛-学术科研互动平台 » 专业学科区 » 信息科学 » 人工智能 » 有没研究最大熵（机器学习）的朋友，帮忙看一下!
101/1返回列表
查看: 2780  |  回复: 9
只看楼主 @他人 存档 新回复提醒 (忽略) 收藏    在APP中查看

gaoyanyan3

银虫 (正式写手)

[求助] 有没研究最大熵（机器学习）的朋友，帮忙看一下!

我用最大熵训练一个训练集（10000条记录,每条记录20维,即20个属性），然后对对一个测试集（1000条记录)测试，把得分最高（99.8)的测试集的一条记录再加入训练集(变为10001条记录），而测试集不变。重新训练，
结果为：
1）测试集的准确率竟然降低了，为什么呀？
   要知道我只加入一条最有可能是真的记录呀。
2)该条记录的得分（概率）竟然从99.8降到99.7， 为什么？
  这个更无法理解了，这条记录的信息量增加了，概率按理说应该增加。
回复此楼

» 猜你喜欢

» 本主题相关价值贴推荐，对您同样有帮助:
1楼 2012-04-16 18:06:10
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

cc3510050

金虫 (正式写手)
这是不是所谓的有效信息降低了
赞一下 回复此楼
2楼2012-04-16 18:21:13
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gaoyanyan3

银虫 (正式写手)
引用回帖:
2楼: Originally posted by cc3510050 at 2012-04-16 18:21:13:
这是不是所谓的有效信息降低了

不对呀，我只加一条信息，而且这条信息的得分率本身是最高的，
也就是基本是准确答案了。
赞一下 回复此楼
3楼2012-04-16 18:37:03
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

wsy525

金虫 (正式写手)

【答案】应助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感谢参与，应助指数 +1
gaoyanyan3: 金币+10, 10 2012-06-08 11:40:37
说明你之前的训练，对现在的测试数据识别效果不好
赞一下(1人) 回复此楼
4楼2012-04-17 10:38:33
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gaoyanyan3

银虫 (正式写手)
引用回帖:
4楼: Originally posted by wsy525 at 2012-04-17 10:38:33:
说明你之前的训练，对现在的测试数据识别效果不好

不对呀，整体识别效果有81%呢。
赞一下 回复此楼
5楼2012-04-17 11:37:36
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gaoyanyan3

银虫 (正式写手)
1.我用最大熵训练一个训练集（10000条记录,每条记录20维,即20个属性），然后对对一个测试集（1000条记录)测试，把得分最高（99.8)的测试集的一条记录（a1,a2,...a20)，该记录的分类结果如：
B1:0.01   B2:99.8 B3:0.00  B4:0.00 B5:0.01
(其中B指分类类别，0.01指相应概率）

2.指该记录（a1,a2,...a20)，加入到训练集（变为10001条记录）,再训练，该记录分类结果为：B1:0.01   B2:99.7 B3:0.01 B4:0.00 B5:0.01

从理论上分析，加入这条记录a1,a2..a20等各属性做为B2的可能性增大，应该整体概率也应提高才对呀。。
哪位大哥大姐帮忙再看一下呀！
赞一下 回复此楼
6楼2012-04-17 11:46:17
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gaoyanyan3

银虫 (正式写手)
7楼2012-04-19 08:36:45
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

choirboy999

新虫 (初入文坛)

【答案】应助回帖

★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★ ★
感谢参与，应助指数 +1
gaoyanyan3: 金币+20 2012-06-08 11:40:29
这个应该是正常的吧。在机器学习算法中，有时候预测结果是有点出乎意料。比如特征维数的增加并不能带来分类精度的一定提高，交叉验证精度的提高也不总是能带来分类精度的提高。楼主将一条可信度很高的记录加入训练样本，精度没有提高我想也是这个原因，有一定的随机性，况且你加入的那条记录为真的可能性虽然极高，但只是上一次训练的判断，这次再进行训练判断时，有可能就判断为假了，这是有可能的吧。
赞一下 回复此楼
8楼2012-04-20 09:30:01
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

liuzhen8936

金虫 (正式写手)

【答案】应助回帖

感谢参与，应助指数 +1
想问个比较弱的问题，熵到底是个什么东西啊，怎么理解
赞一下 回复此楼
做有意义的事
9楼2012-04-21 08:59:21
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

gaoyanyan3

银虫 (正式写手)
10楼2012-04-25 16:54:00
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 gaoyanyan3 的主题更新
101/1返回列表
普通表情 龙 兔 虎 猫
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考博] 售SCI一区文章，我:8.O.55.1.O.54,科目齐全,可伽急 +4 ZYXdhzDAy9ZX 2026-09-28 4/200 2026-09-29 16:47 by yCO1Ll7aHtsw
[考研] 售SCI一区T0P文章，我:8.O.55.1.O.54,科目齐全,可+急 +3 ZYXdhzDAy9ZX 2026-09-28 4/200 2026-09-29 16:37 by etmYJ6d2rquH
[博后之家] 售SCI-T0P文章，我:8O.5.5.1.O.54,科目齐全,可+急 +3 ZYXdhzDAy9ZX 2026-09-28 3/150 2026-09-29 16:30 by etmYJ6d2rquH
[硕博家园] 售SCI文章，我:8O.5.5.1O.54,科目全,可十急 +3 ZYXdhzDAy9ZX 2026-09-28 3/150 2026-09-29 16:03 by etmYJ6d2rquH
[论文投稿] 售SCI文章，我:8O5.5.1.O.54,科目齐全,可+急 +4 tqUTOxClQUMF 2026-09-28 4/200 2026-09-29 15:15 by etmYJ6d2rquH
[找工作] 售SCI一区文章，我:8.O.55.1.O.54,科目齐全,可伽急 +6 IDs3scOF0tjC 2026-09-28 6/300 2026-09-29 14:13 by etmYJ6d2rquH
[博后之家] 售SCI一区T0P文章，我:8.O.55.1.O54,科目全,可伽急 +6 IDs3scOF0tjC 2026-09-28 7/350 2026-09-29 14:07 by etmYJ6d2rquH
[博后之家] 售SCI一区文章，我:8.O.551.O.5.4,科目全,可伽急 +3 IDs3scOF0tjC 2026-09-28 3/150 2026-09-29 13:56 by etmYJ6d2rquH
[公派出国] 售一区SCI文章T0P，我:8O.551.O54,科目全,可十急 +4 IDs3scOF0tjC 2026-09-28 5/250 2026-09-29 13:50 by etmYJ6d2rquH
[教师之家] 某top大学教授说“能够在市场中兑现的能力才是真能力”无比同意！ +8 zju2000 2026-09-26 9/450 2026-09-29 13:47 by ahsoarli
[考研] 售一区SCI文章T0P，我:8O.551.O54,科目全,可十急 +3 tqUTOxClQUMF 2026-09-28 3/150 2026-09-29 09:59 by JzYBbHIXWSrW
[考研] 售SCI一区文章，我:8.O.551.O.5.4,科目全,可伽急 +3 ZYXdhzDAy9ZX 2026-09-28 3/150 2026-09-29 06:42 by ZvyPK8n6Nfki
[找工作] 售SCI一区文章，我:8.O.551.O.5.4,科目全,可伽急 +3 ZYXdhzDAy9ZX 2026-09-28 3/150 2026-09-29 06:28 by ZvyPK8n6Nfki
[硕博家园] 售SCI一区T0P文章，我:8.O.55.1.O.54,科目齐全,可+急 +3 tqUTOxClQUMF 2026-09-28 3/150 2026-09-28 23:46 by b8fCuTHqckEt
[公派出国] 售SCI一区文章，我:8O5.5.1.O5.4,科目全,可伽急 +4 IDs3scOF0tjC 2026-09-28 4/200 2026-09-28 22:55 by ez6fGg9abYaj
[硕博家园] 售SCI一区T0P文章，我:8.O.55.1.O.54,科目齐全,可+急 +3 CfXuS1rDhLYN 2026-09-28 4/200 2026-09-28 22:55 by ez6fGg9abYaj
[有机交流] 同一个分子，一条来自文献，一条来自AI——不告诉你答案，你会选哪条？ +3 tianxiaoxian 2026-09-28 6/300 2026-09-28 22:44 by tianxiaoxian
[找工作] 售SCI文章，我:8O.5.5.1O.54,科目全,可十急 +3 IDs3scOF0tjC 2026-09-28 5/250 2026-09-28 22:32 by ez6fGg9abYaj
[论文投稿] 售SCI文章，我:8O5.5.1.O.54,科目齐全,可+急 +3 CfXuS1rDhLYN 2026-09-28 3/150 2026-09-28 19:08 by 9lS3ad5oOymn
[考研] 售一区SCI文章T0P，我:8O.551.O54,科目全,可十急 +3 IDs3scOF0tjC 2026-09-28 4/200 2026-09-28 18:51 by 9lS3ad5oOymn
信息提示
关闭
请填处理意见
关闭