24小时热门版块排行榜    

Znn3bq.jpeg
查看: 850  |  回复: 10
当前主题已经存档。

xylai

铜虫 (小有名气)

[交流] 【讨论】 熵的概念

熵是由德国物理学家克劳修斯提出来的。
后来这个概念在其他学科很快发展起来。
在信息学,有香浓熵,在量子力学,有von 熵。

我想问,在信息学,香浓熵是 /sum pi log_pi   ,这个log是以2为底的,但是有些地方定义其他熵,确以e(自然单位)为底。我不知,不同的底,到时什么怎么来确分的,为什么不同?
谢谢!
回复此楼
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

yalefield

金虫 (文坛精英)

老汉一枚

用什么做底无所谓.
2楼2008-06-22 09:46:31
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

lm_nudt

铁杆木虫 (著名写手)

老汉说得有理

应该只是数值上的差别,参与具体运算时肯定会不一样的。
3楼2008-06-22 10:58:19
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

元小雪

木虫 (职业作家)

熵就是混乱度的意思!
无聊的博士
4楼2008-06-22 11:07:09
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

xylai

铜虫 (小有名气)

我觉得不一样。
在量子信息里头,有一章介绍香浓熵,它里头提到,熵就是用来度量这个系统所要花费的平均bit数,这个数,就是用2为底,计算得到的结果。
5楼2008-06-22 15:02:41
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

heinstein

金虫 (小有名气)

平衡函数f(h3)的表观状态之一!!!!
6楼2008-07-02 19:15:00
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

chonglai

木虫 (正式写手)

混乱度,无序程度的量值,神奇啊
困难,说明你在走上坡路;轻松,说明你在走下坡路~
7楼2008-07-02 20:06:33
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

flyapple518

银虫 (小有名气)

★ ★
musi429(金币+2,VIP+0):多谢交流~
在可能性足够多的时候,
用什么做对数的底并不重要,或者说是完全相同的,LZ可以选取任意一个整数为底
因为在这么大的相空间(无穷大)内,只要趋势相同(都是对数)那就是一样的。
LZ可以比较一下香浓的公式和玻尔兹曼的公式
或者看一下康托的无穷大理论:整数的数目和偶数的数目都是一样的
就能理解了
谁能用手心量海水 谁能用天平称山岭
8楼2008-07-03 09:38:01
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

怀念蔡元培

★ ★ ★
zt970831(金币+3,VIP+0):感谢您的帮助
信息概念本身的定义是:其中包含了多少不确定性.如果有人对你说了一则消息,你全知道了,对你来说就没什么意义,信息量就是零;如果这一消息其中的不确定性很大,那其中蕴含的信息量很大.
正是从不确定性的角度,信息与熵联系起来了.
9楼2008-07-03 11:17:09
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖

flyapple518

银虫 (小有名气)

引用回帖:
Originally posted by 怀念蔡元培 at 2008-7-3 11:17:
信息概念本身的定义是:其中包含了多少不确定性.如果有人对你说了一则消息,你全知道了,对你来说就没什么意义,信息量就是零;如果这一消息其中的不确定性很大,那其中蕴含的信息量很大.
正是从不确定性的角度,信息与 ...

THIS COMMENT IS SOMETHING WRONG
谁能用手心量海水 谁能用天平称山岭
10楼2008-07-03 15:01:39
已阅   回复此楼   关注TA 给TA发消息 送TA红花 TA的回帖
相关版块跳转 我要订阅楼主 xylai 的主题更新
普通表情 高级回复 (可上传附件)
最具人气热帖推荐 [查看全部] 作者 回/看 最后发表
[考博] 考博 +4 Eternitf 2026-04-29 4/200 2026-05-02 16:10 by yejenny
[找工作] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 qs8kylt1wr 2026-05-01 3/150 2026-05-02 16:06 by zahslv263y
[公派出国] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 qs8kylt1wr 2026-05-01 3/150 2026-05-02 15:51 by zahslv263y
[考博] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 qs8kylt1wr 2026-05-01 3/150 2026-05-02 15:51 by zahslv263y
[教师之家] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 qs8kylt1wr 2026-05-01 3/150 2026-05-02 15:36 by zahslv263y
[论文投稿] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 qs8kylt1wr 2026-05-01 3/150 2026-05-02 15:21 by zahslv263y
[博后之家] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 qs8kylt1wr 2026-05-01 3/150 2026-05-02 15:06 by zahslv263y
[公派出国] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 d8tbypao1q 2026-05-01 3/150 2026-05-02 14:21 by zahslv263y
[博后之家] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 d8tbypao1q 2026-05-01 3/150 2026-05-02 14:06 by zahslv263y
[博后之家] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 k17zww5nna 2026-05-01 3/150 2026-05-02 10:21 by ovidyohpyz
[公派出国] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 k17zww5nna 2026-05-01 4/200 2026-05-02 10:21 by ovidyohpyz
[找工作] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 k17zww5nna 2026-05-01 4/200 2026-05-02 10:06 by ovidyohpyz
[教师之家] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 k17zww5nna 2026-05-01 3/150 2026-05-02 09:36 by dz7y1p1i98
[硕博家园] 售SCI一区T0P文章,我:8.O.5.5.1.O.5.4,科目齐全,可+急 +3 k17zww5nna 2026-05-01 5/250 2026-05-02 09:21 by dz7y1p1i98
[考博] 药化及相关博士的申请 5+3 中药学渣 2026-04-29 3/150 2026-05-01 18:14 by babero
[论文投稿] 一篇MDPI论文改变了学习工作和生活 +3 helsinglee 2026-04-29 4/200 2026-05-01 11:45 by bobvan
[文学芳草园] 太白金星有点烦 +3 yexuqing 2026-04-27 3/150 2026-04-30 21:56 by myrtle
[考博] 中国地质大学(北京)博士招生补录,数理学院材料科学与工程专业和材料与化工专业 +3 liuxh329 2026-04-29 3/150 2026-04-30 15:42 by 顺利毕业zs
[基金申请] 收到国自然专家邀请后几年才会有本子送过来评 +3 barley5 2026-04-30 3/150 2026-04-30 14:58 by aspect3000
[论文投稿] 有没有快的中文核心比较快录用的,纳米材料光催化 5+3 2914439618 2026-04-27 4/200 2026-04-29 08:59 by 北京莱茵润色
信息提示
请填处理意见