信息论——香农熵
信息论是量化处理信息的科学分支。处理数据信息集合前后信息发生的变化称为信息增益，信息增益越高的特征就是越好的选择。
集合信息的度量方式称为 香农熵 或简称 熵，源于信息理论之父“克劳德·香农”。
信息量越大，特征越多，权重越小
熵： 信息的期望值。
在多分类的事务中，假设 的信息为：
注 ： = 真数的指数与不转换结果相同
其中 是该选择分类事务的概率。计算熵则需要计算所有类别中所有 可能值包含的信息期望值(n是分类数目)：
线性转换：
注意 线性的最高次项为1，否则就是非线性
lambda乘以一个系数常量{x_1}
如果(线性)：
z = wx + b
乘积与变量x有关系 则看作为系数
没关系 则看作常量
指数转换：
softmax非线性转换(存在指数操作)
作用：大的更大，小的更小，差别更加明显
最大似然函数的负数，成为所求的损失函数(解决问题的一种思想)
大数定理：
当频率大到一定程度就是概率
激活函数：
神经网络也是线性的
将激活信息(幂函数、指数函数)向后传入下一层神经网络,解决非线性问题
如果(线性)：
z = wx + b
乘积与变量x有关系看作为系数
没关系看作常量
如果(非线性)：
加入了幂函数{e^x}等
矩阵中：
一行是一个样本，一列是一个特征
线性回归就是神经网络
在python中如何取消返回值使用(不用相应位置的返回值)：
_, book, hook = function()
PS:
污点修复工具，先刷背景也可以 思想(不太好用)
修复画笔工具，alt+鼠标右键调整硬度和上下调整直径
alt+鼠标左键复制replication所选区域样本
通过已经完成图片叠压修图更快、更轻松
[create_time]2022-06-09 02:57:06[/create_time]2022-06-17 20:36:02[finished_time]1[reply_count]0[alue_good]温屿17[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.f2ab3c6b.EGWNOK5JoOudI3wwHvt0TA.jpg?time=4578&tieba_portrait_time=4578[avatar]TA获得超过9467个赞[slogan]这个人很懒，什么都没留下![intro]20[view_count]
什么是信息熵、条件熵和信息增益
信息增益描述了一个特征带来的信息量的多少，往往用于特征选择
信息增益 = 信息熵 - 条件熵
一个特征往往会使一个随机变量Y的信息量减少，减少的部分就是信息增益
一个例子
如图所示，目标值是：playtennis，也就是是否打球
有四个特征：天气、温度、湿度、风
信息熵
信息熵的公式：
H(X)=−∑i=1np(xi)logp(xi)
以上图为例，设是否打球这一随机变量为Y，则
p(y=yes)=514
p(y=no)=914
所以H(Y)=−514∗log(514)−914∗log(914)=0.6518
条件熵
条件熵表示在条件X下Y的信息熵。公式如下：
H(Y|X)=∑x∈Xp(x)H(Y|X=x)
在上图的例子中，设humidity湿度为随机变量X
则，p(x=high)=7/14=1/2=p1
p(x=normal)=7/14=1/2=p2
所以，H(Y|X)=p1*H(Y|X=high)+p2*H(Y|X=normal)
而接下来就是计算H(Y|X=high)和H(Y|X=normal)
根据信息熵的计算方法可以得出：
H(Y|X=high)=-4/7*log(4/7)-3/7*log(3/7) = 0.6829
H(Y|X=normal)=-1/7*log(1/7)-6/7*log(6/7) = 0.4101
因此，条件熵为：1/2*0.6829+1/2*0.4101=0.5465
信息增益
信息增益 = 信息熵 - 条件熵=0.6518-0.5465=0.1053
也就是说，引入了湿度humidity这个变量之后，就使得是否打球这个变量的信息量就从0.6518减小到了0.5465
信息量是描述变量的不确定性的，值越大，就表示这个事件越不确定
因此，湿度这个变量的引进，使得这种不确定性降低了，有利于做决定
信息增益常用于决策树的构建，和特征选择
[create_time]2022-07-09 20:58:43[/create_time]2022-07-20 07:43:25[finished_time]1[reply_count]0[alue_good]张三讲法[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.47c7c989.PNHyyviQpkbkWYf_U9mbzQ.jpg?time=670&tieba_portrait_time=670[avatar]TA获得超过1.3万个赞[slogan]这个人很懒，什么都没留下![intro]24[view_count]
信息熵（香农熵）、条件熵、信息增益的简单了解
1948年，香农提出了 “信息熵（entropy）”的概念 信息熵是消除不确定性所需信息量的度量，即未知事件可能含有的信息量。通俗的讲信息熵是用来衡量信息量的大小。 信息熵是代表随机变量的复杂度（不确定度），条件熵代表在某一个条件下，随机变量的复杂度（不确定度） 例子： 信息增益 = 信息熵 - 条件熵 信息增益代表了在一个条件下，信息复杂度（不确定性）减少的程度 上面例子的 得知身高信息 后，信息增益为（我们知道信息熵与条件熵相减就是我们的信息增益）： 1 - 0.103 = 0.897 所以我们可以得出我们在知道了身高这个信息之后，信息增益是0.897
[create_time]2022-05-29 14:36:30[/create_time]2022-06-13 12:51:06[finished_time]1[reply_count]0[alue_good]清宁时光17[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.f66817d0.sg2uptlA4rVTuV_qaAgZJw.jpg?time=582&tieba_portrait_time=582[avatar]TA获得超过1.1万个赞[slogan]这个人很懒，什么都没留下![intro]15[view_count]急求助：香农（信息）熵的计算~
1948 年，香农提出了“信息熵” 的概念，所以叫香农熵。香农不是用钱，而是用 “比特”（bit）这个概念来度量信息量。 一个比特是一位二进制数，计算机中的一个字节是八个比特。在上面的例子中，这条消息的信息量是五比特。 信息量的比特数和所有可能情况的对数函数 log 有关。 (log32=5, log64=6。）对于任意一个随机变量 X，它的熵定义如下：变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。有了“熵”这个概念，我们就可以回答本文开始提出的问题，即一本五十万字的中文书平均有多少信息量。我们知道常用的汉字（一级二级国标）大约有 7000 字。假如每个字等概率，那么我们大约需要 13 个比特（即 13 位二进制数）表示一个汉字。但汉字的使用是不平衡的。实际上，前 10% 的汉字占文本的 95% 以上。因此，即使不考虑上下文的相关性，而只考虑每个汉字的独立的概率，那么，每个汉字的信息熵大约也只有 8-9 个比特。如果我们再考虑上下文相关性，每个汉字的信息熵只有5比特左右。所以，一本五十万字的中文书，信息量大约是 250 万比特。如果用一个好的算法压缩一下，整本书可以存成一个 320KB 的文件。如果我们直接用两字节的国标编码存储这本书，大约需要 1MB 大小，是压缩文件的三倍。这两个数量的差距，在信息论中称作“冗余度”（redundancy)。 需要指出的是我们这里讲的 250 万比特是个平均数，同样长度的书，所含的信息量可以差很多。如果一本书重复的内容很多，它的信息量就小，冗余度就大。
[create_time]2013-08-30 22:36:41[/create_time]2013-09-14 15:49:35[finished_time]1[reply_count]1[alue_good]妹子_看聊效[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.cd61c4d4.4LXo1GJPKZGt5dTpbfDrjw.jpg?time=3936&tieba_portrait_time=3936[avatar]TA获得超过193个赞[slogan]这个人很懒，什么都没留下![intro]1992[view_count]
信息学的奠基人是
信息学的奠基人是克劳德·艾尔伍德·香农。克劳德·艾尔伍德·香农是美国数学家、信息论的奠基人和创始人。1936年获得密歇根大学学士学位。1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。香农提出了信息熵的概念，为信息论和数字通信奠定了基础。主要论文有：1938年的硕士论文《继电器与开关电路的符号分析》，1948年的《通讯的数学原理》和1949年的《噪声下的通信》。扩展资料：香农理论的重要特征是熵的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，可以把它理解为分子运动的混乱度。香农将统计物理中熵的概念，引申到信道通信的过程中，从而开创了”信息论“这门学科。香农定义的“熵”又被称为“香农熵” 或 “信息熵”。即其中i标记概率空间中所有可能的样本，表示该样本的出现几率，K是和单位选取相关的任意常数。可以明显看出“信息熵”的定义和“热力学熵”的定义只相差某个比例常数。
[create_time]2021-01-03 14:46:28[/create_time]2011-12-28 16:07:37[finished_time]1[reply_count]0[alue_good]鬇儿[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.c3f14dfb.em8Hiku5Id97lBHJlxkSYQ.jpg?time=3538&tieba_portrait_time=3538[avatar]TA获得超过527个赞[slogan]这个人很懒，什么都没留下![intro]315[view_count]香农熵的计算
有了“熵”这个概念，我们就可以回答本文开始提出的问题，即一本五十万字的中文书平均有多少信息量。我们知道常用的汉字（一级二级国标）大约有 7000 字。假如每个字等概率，那么我们大约需要 13 个比特（即 13 位二进制数）表示一个汉字。但汉字的使用是不平衡的。实际上，前 10% 的汉字占文本的 95% 以上。因此，即使不考虑上下文的相关性，而只考虑每个汉字的独立的概率，那么，每个汉字的信息熵大约也只有 8-9 个比特。如果我们再考虑上下文相关性，每个汉字的信息熵只有5比特左右。所以，一本五十万字的中文书，信息量大约是 250 万比特。如果用一个好的算法压缩一下，整本书可以存成一个 320KB 的文件。如果我们直接用两字节的国标编码存储这本书，大约需要 1MB 大小，是压缩文件的三倍。这两个数量的差距，在信息论中称作“冗余度”（redundancy)。 需要指出的是我们这里讲的 250 万比特是个平均数，同样长度的书，所含的信息量可以差很多。如果一本书重复的内容很多，它的信息量就小，冗余度就大。不同语言的冗余度差别很大，而汉语在所有语言中冗余度是相对小的。这和人们普遍的认识“汉语是最简洁的语言”是一致的。
[create_time]2016-05-28 19:48:17[/create_time]2016-06-10 18:42:36[finished_time]1[reply_count]0[alue_good]爱刷751[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.fb2c8dc0.l2dF6aAOqv9zcapNfcfTxg.jpg?time=3654&tieba_portrait_time=3654[avatar]超过68用户采纳过TA的回答[slogan]这个人很懒，什么都没留下![intro]394[view_count]信息熵、条件熵、联合熵、互信息、相对熵、交叉熵
信息量是通过概率来定义的：如果一件事情的概率很低，那么它的信息量就很大；反之，如果一件事情的概率很高，它的信息量就很低。简而言之，概率小的事件信息量大，因此信息量可以定义如下：
下面解释为什么要取倒数再去对数。
（1）先取倒数： 这件事表示：“信息量”和“概率”呈反比；
（2）在取对数： 取对数是为了将区间 映射到 。
再总结一下：
信息熵是信息量的数学期望。理解了信息量，信息熵的定义式便不难理解。定义如下：
条件熵的定义为：在 给定的条件下， 的条件概率分布的熵对 的数学期望。
条件熵一定要记住下面的这个定义式，其它的式子都可以由信息熵和条件熵的定义式得出。
理解条件熵可以使用决策树进行特征选择的例子：我们期望选择的特征要能将数据的标签尽可能分得比较“纯”一些，特征将数据的标签分得“纯”，则熵就小，信息增益就大。
因为 ，条件熵可以变形成如下：
说明：有些教材直接把最后一步
定义成条件熵，其实是一个意思，我个人觉得
这种定义式更好理解，而这个定义式可以参考李航《统计学习方法》P61 ，并不难记忆，其实条件熵就是“被特征分割以后的信息熵的加权平均”。
两个变量 和 的联合熵的表达式：
根据信息熵、条件熵的定义式，可以计算信息熵与条件熵之差：
同理
因此：
定义互信息：
即：
互信息也被称为信息增益。用下面这张图很容易明白他们的关系。
信息熵：左边的椭圆代表 ，右边的椭圆代表 。
互信息（信息增益）：是信息熵的交集，即中间重合的部分就是 。
联合熵：是信息熵的并集，两个椭圆的并就是 。
条件熵：是差集。左边的椭圆去掉重合部分就是 ，右边的椭圆去掉重合部分就是 。
还可以看出：
；
；
；
；
。
相对熵又称 KL 散度，如果我们对于同一个随机变量 有两个单独的概率分布 和 ，使用 KL 散度（Kullback-Leibler (KL) divergence）来衡量这两个分布的差异。差异越大则相对熵越大，差异越小则相对熵越小。
计算公式如下：
如何记忆：如果用 来描述样本，那么就非常完美（因为 认为是真实的情况）。而用 来描述样本，虽然可以大致描述，但是不是那么的完美，信息量不足，需要额外的一些“信息增量”才能达到和 一样完美的描述。如果我们的 通过反复训练，也能完美的描述样本，那么就不再需要额外的“信息增量”， 等价于 。 即 和 的分布完全一致的时候，KL 散度的值等于 。
我是这样记忆交叉熵的定义的，通过逻辑回归的损失函数记忆交叉熵。 认为是类标，是独热编码（也可以认为是概率分布），而 认为是逻辑回归预测的概率分布。
结论：KL 散度 = 交叉熵 - 熵 。这一点从相对熵的定义式就可以导出。
这里
就是交叉熵的定义式。
1、一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉
地址： https://blog.csdn.net/tsyccnh/article/details/79163834
2、机器学习各种熵：从入门到全面掌握
地址： https://zhuanlan.zhihu.com/p/35423404
3、信息增益（互信息）非负性证明
地址： https://blog.csdn.net/MathThinker/article/details/48375523
4、如何通俗的解释交叉熵与相对熵?
地址： https://www.zhihu.com/question/41252833
5、相对熵（KL散度）
地址： https://blog.csdn.net/ACdreamers/article/details/44657745
6、KL(kullback-Leibler-devergence)散度（相对熵）非负性
地址： https://blog.csdn.net/KID_yuan/article/details/84800434
7、简单的交叉熵，你真的懂了吗？
https://zhuanlan.zhihu.com/p/61944055
（本节完）
[create_time]2022-07-22 11:22:05[/create_time]2022-07-30 19:26:40[finished_time]1[reply_count]0[alue_good]华源网络[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.dda57034.Ka_C7foUo-WdM44LpZjJrw.jpg?time=707&tieba_portrait_time=707[avatar]TA获得超过4540个赞[slogan]这个人很懒，什么都没留下![intro]70[view_count]
熵、相对熵、互信息、交叉熵
西瓜书、花书第二部分以及李航的《统计学习方法》已经大概翻看了一遍，感觉算是有了一定的机器学习理论基础。当然，以上书籍在内容方面各有侧重，根据朋友的建议，在以上几本书中没搞懂或者一知半解的部分，大多可以在PRML这本经典之作中找到答案。 本文记录关于机器学习中涉及的几个信息论的重要概念。多数内容摘自PRML。 考虑⼀个离散的随机变量 。当我们观察到这个变量的⼀个具体值的时候，我们接收到了多少信息呢？ 信息量可以被看成在学习 的值时“出乎意料的程度” 。如果有人告诉我们⼀个相当不可能的事件（取值）发生了，我们收到的信息要多于我们被告知某个很可能发生的事件（取值）发生时收到的信息。如果我们知道某件事情⼀定会发生，那么我们就不会接收到信息。比如我告诉你“明天太阳从东方升起”，就没有任何信息量。 于是，我们对于信息的度量将依赖于概率分布 ，因此我们想要寻找⼀个表达了信息多少的函数 ，它是概率 的单调函数。 形式可以这样寻找：如果我们有两个不相关的事件 和 ，那么我们观察到两事件同时发生时获得的信息应该等于观察到事件各自发生时获得的信息之和，即 。两个不相关事件是统计独立的，因此 根据这两个关系，很容易看出 一定与 对数有关 。因此，我们有： 其中，负号确保了信息⼀定是正数或者是零。注意，低概率事件应于高 的信息量。对数的底的选择是任意的。现在我们将遵循信息论的普遍传统，使用2作为对数的底。在这种情形下， 单位是比特（bit）。 现在假设⼀个发送者想传输⼀个随机变量的值给接收者。这个过程中，他们传输的平均信息量通可以通过求 关于概率分布 的期望得到。这个期望值为： 这个重要的量被叫做随机变量的 熵（entrop） 。注意， ，因此对 我们令 。 有了熵的定义，接下来我们从另一个角度来看待熵的含义。 考虑⼀个随机变量 ，这个随机变量有8种可能的状态，每个状态都是等可能的。为了把x的值传给接收者，我们需要传输⼀个3比特的消息。这个变量的熵由下式给出： 若8种状态各自的概率为 ，则熵为： 我们看到，非均匀分布比均匀分布的熵要小。 与之前⼀样，我们可以使用⼀个3比特的数字来完成这件事情。然而，我们可以利用非均匀分布这个特点，使用更短的编码来描述更可能的事件，使用更长的编码来描述不太可能的事件。我们希望这样做能够得到⼀个更短的平均编码长度。我们可以使⽤下⾯的编码串：0、10、110、1110、111100、111101、111110、111111来表示8个状态，传输的编码的平均长度就是： 这个值又⼀次与随机变量的熵相等。注意，我们不能使用更短的编码串，因为必须能够从多个这种字符串的拼接中分割出各个独立的字符串。 熵和最短编码长度的这种关系是⼀种普遍的情形。无噪声编码定理（Shannon, 1948）表明，熵是传输⼀个随机变量状态值所需的比特位的下界。 假设我们有⼀个联合概率分布 我们从这个概率分布中抽取了⼀对 和 。如果 的值已知，那么需要确定对应的 值所需的附加的信息就是 。因此，用来确定 值的平均附加信息可以写成： 这被称为给定 的情况下， 的 条件熵 。 现在开始，我们会把熵的定义中的对数变成自然对数，这种情况下，熵的度量的单位是nat而不是bit，两者的差别是⼀个 的因子。 考虑某个未知的分布 。假定我们使用⼀个近似的分布 对它进行了建模。如果我们使用 建立一个编码体系，用来把 的值传给接收者，那么，由于我们使用 而不是真实分布 ，因此在具体化 的值（假定我们选择了⼀个高效的编码系统）时，我们需要⼀些附加的信息。我们需要的平均附加信息量（单位是nat）为： 这被称为分布 和分布 间的 相对熵或者KL散度 。 ，并且当且仅当 等号成立。 我们可以把KL散度看做两个分布 和 间不相似程度的度量。 现在考虑由 出的两个变量 和 组成的数据集。如果变量的集合是独立的，那么他们的联合分布可以分解为边缘分布的乘积 ；如果变量不是独立的，那么我们可以通过考察联合概率分布与边缘概率分布乘积之间的KL散度来判断它们是否“接近”于相互独立。此时，KL散度为： 这被称为变量 和变量 之间的 互信息（mutual information） 。根据KL散度的性质，我们看到 ，当且仅当 和 相互独立时等号成立。使用概率的加和规则和乘积规则，我们看到互信息和条件熵之间的关系为： 因此我们可以把互信息看成由于知道 值而造成的x的不确定性的减小（反之亦然）。从贝叶斯的观点来看，我们可以把 成 的先验概率分布，把 成我们观察到新数据 之后的后验概率分布。因此 互信息表示⼀个新的观测 造成的 的不确定性的减小。 本节并非来自于PRML，而是后来复习Logistic回归看到交叉熵的概念时补充的。 首先给出交叉熵的公式： 其中 是真实的概率分布， 是分类器得出的预测概率分布。 毫无疑问， 和 越接近说明分类器的性能越好。但用交叉熵来衡量两者的接近程度靠谱吗？这件事我一直没有仔细思考。 wait，衡量两个概率分布接近程度的不就是上面提到的KL散度吗？我们看一下KL散度的表达式： 不难看出， 第一项就是我们的交叉熵！而第二项，是数据真实概率分布的熵，对于给定问题是定值。 因此在衡量 和 接近程度的时候只需使交叉熵越小越好。 我们回过头看一下KL散度的定义： 考虑某个未知的分布 。假定我们使用⼀个近似的分布 对它进行了建模。如果我们使用 建立一个编码体系，用来把 的值传给接收者，那么，由于我们使用 而不是真实分布 ，因此在具体化 的值（假定我们选择了⼀个高效的编码系统）时，我们需要⼀些附加的信息。我们需要的平均附加信息量（单位是nat）为KL散度。 这个定义套用在分类器模型上就是： 假定数据的真实概率分布为 。我们使用⼀个分类器得到概率分布 对 进行了拟合。如果我们使用 建立一个编码体系，用来把 的值传给接收者，那么，由于我们使用 而不是真实分布 ，因此在具体化 的值（假定我们选择了⼀个高效的编码系统）时，我们需要⼀些附加的信息。我们需要的平均附加信息量（单位是nat）为KL散度。 这也就是说， 从编码角度来说，交叉熵衡量的是分类器得到的对整个数据集的期望最短编码长度与实际的期望最短编码长度的差 。因此交叉熵越好，分类器在数据上的表现就越好。
[create_time]2022-07-10 06:42:12[/create_time]2022-07-20 23:47:33[finished_time]1[reply_count]0[alue_good]机器1718[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.6a939a71.4689PU8u9VKV47veLOB_JA.jpg?time=738&tieba_portrait_time=738[avatar]TA获得超过5534个赞[slogan]这个人很懒，什么都没留下![intro]3[view_count]熵是什么意思？
熵（shāng），热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。克劳修斯(T.Clausius) 于1854年提出熵(entropie)的概念，我国物理学家胡刚复教授于1923年根据热温商之意首次把entropie译为“熵”。A.Einstein曾把熵理论在科学中的地位概述为“熵理论对于整个科学来说是第一法则”。查尔斯·珀西·斯诺(C.P.Snow)在其《两种文化与科学革命》一书中写道: “一位对热力学一无所知的人文学者和一位对莎士比亚一无所知的科学家同样糟糕”.熵定律确立不久，麦克斯韦(J.C.Maxwell)就对此提出一个有名的悖论试图证明一个隔离系统会自动由热平衡状态变为不平衡。实际上该系统通过麦克斯韦妖的工作将能量和信息输入到所谓的“隔离系统”中去了。这种系统实际是一种“自组织系统”。以熵原理为核心的热力学第二定律，历史上曾被视为堕落的渊薮。美国历史学家亚当斯H.Adams(1850-1901)说:“这条原理只意味着废墟的体积不断增大”。有人甚至认为这条定律表明人种将从坏变得更坏，最终都要灭绝。热力学第二定律是当时社会声誊最坏的定律。社会实质上不同于热力学上的隔离系统，而应是一种“自组织系统”。熵的历史热力学第一定律阐述的是“能量”以及“能量守恒”的概念，但是第一定律无法定量解释摩擦和耗散的影响法国数学家拉扎尔·卡诺的分析和贡献最终导致了“熵”这个概念的诞生。1803年，拉扎尔·卡诺发表了一篇文章“运动和平衡的基本原理”，提出在任何一个机器的运动部分的加速和冲击意味着动量（momentum）的损失，换句话说，在任何自然过程中，总是存在着“有用”的能量逐渐耗散这一固有的趋势。基于上述研究，1824年拉扎尔·卡诺的儿子尼科拉斯·莱奥纳德·萨迪·卡诺发表了“关于火的原动力”，提出所有的热机的工作都需要存在温度差，当热量从热机热的部分向热机冷的部分转移时，热机获得了原动力。这是对热力学第二定律的最初洞见。卡诺提出的可逆热机只存在于理想情况。19世纪50年代和60年代，德国物理学家克劳修斯在对实际热机的研究中进一步指出，任何热机都不是可逆的，不可能毫无“改变”，并进一步对这个“改变”进行了定量研究。克劳修斯认为，实际热机在使用过程中会产生“无法使用”的热量（比如热机的活塞和热机壁摩擦产生的热量。在此基础上，克劳修斯提出了熵的概念，将熵描述为能量的耗散。以上内容参考 百度百科-熵
[create_time]2021-06-04 16:34:22[/create_time]2021-06-19 00:00:00[finished_time]1[reply_count]2[alue_good]霓脦那些[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.ab27779e.ljYgTv4DeyModB_Xmu7LNA.jpg?time=6756&tieba_portrait_time=6756[avatar]致力于成为全知道最会答题的人[slogan]这个人很懒，什么都没留下![intro]1079[view_count]熵是什么意思 熵意思是什么
1、“熵”的通俗理解就是“混乱程度”。
2、简单的说熵是衡量我们这个世界中事物混乱程度的一个指标，热力学第二定律中认为孤立系统总是存在从高有序度转变成低有序度的趋势，这就是熵增的原理。
3、系统由有序转变为无序被的过程是熵增，比如系的鞋带会开；家中铺的很整齐的床单睡过后会变乱。
4、“热力学第二定律”热量可以自发地从较热的物体传递到较冷的物体，但不可能自发地从较冷的物体传递到较热的物体。
5、比如一滴墨滴进清水，清水会变黑；一个热的物体和一个冷的物体放在一起，热的物体会变冷，冷的物体会变热，物理系统总是会趋向平衡状态。
6、一个系统的温度是不均匀的，它慢慢趋向均匀；一个溶液的浓度是不均匀的，同样它会慢慢趋向均匀。
[create_time]2022-07-01 03:35:58[/create_time]2022-07-10 19:47:28[finished_time]1[reply_count]0[alue_good]天罗网17[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.b5668a1.MCbbKeRMln4YrBR5C-et5Q.jpg?time=4976&tieba_portrait_time=4976[avatar]TA获得超过5111个赞[slogan]这个人很懒，什么都没留下![intro]845[view_count]
人工智能通识-科普-信息熵和信息量
信息论中的熵如何度量的？ 信息是否可以有统一的度量标准？ 当你收到两条不同信息的时候，是否有方法可以度量那一条包含更多内容？ 信息论之父克劳德香农Claude Shannon对这一切给出了数学量化方法，提出信息熵和信息量的概念。 同热力学中熵的概念一致，信息熵也是用于表现系统的无序随机程度。 硬币只有正反两面，随机投掷后落地只有两种可能；而骰子有六种可能。所以随意投出的投资比随意投出的硬币具有更多的随机性，或者说硬币的确定性更多一些。 明显的，信息A的信息量更大，因为它消除了另外5种可能；而信息B则只消除了另外一种可能。 当一条信息出现的时候，也意味着背后的随机性的消失。信息熵是对系统背后所有随机可能性的度量，信息量是指特定信息能够消除多少随机性（熵）。 信息熵和信息量之间的关系是什么？ 特定信息的出现都是有概率的。比如说“硬币落地正面朝上”这个信息的概率是1/2，而“骰子落地显示5点”这个信息的概率是1/6。 以骰子来看，每个点数的信息都可以消除另外5种随机可能，那么我们把这些信息量相加就得到了所有可以被消除的熵的总和，但需要注意的是，每个点数都只有1/6概率出现，所以我们还需要乘以这个概率，那么我们就得到： 其中： 以上的信息熵公式中的信息量h(x)如何定义？ 首先这是纯粹由人来设定的含义，应该方便于表达和计算。克劳德香农主要考虑到信息量应该具有以下特征： 我们知道，多个事件叠加的结果需要概率相乘，比如两个骰子，“A：其中一个投出6点”，“B：另一个投出5点”，那么叠加后“C：一个投出6点，另一个投出5点”，对于概率应该是P(C)=P(A)·P(B)，这里C事件出现的概率是1/6乘1/6等于1/36。 矛盾出现了，h(x)和1/P(x)成正比，但是又要满足 和 ，这可能吗？ 可以的，香农经过数学推理之后得到结论，信息量必须是可能性P的倒数的对数： 这里的对数log的底数可以是10或自然对数e或者任意数字，但在香农的信息论中都使用2。 那么对于“硬币正面向上”这个信息，它的信息量就是 ，这个也是香农设定的信息量单位，也叫香农单位，其实也对应了1比特。 而对于四种平均随机可能的情况，每一种的信息量就是 ，对应2比特的信息量。 骰子的每种情况的信息量是 ，可以是小数。 这个信息量公式的另一种表达方式是改为： 所以整体信息熵的计算公式就是： 或写作： 按照这个公式计算扔硬币系统的信息熵是 ，而四种可能性的随机系统的信息熵是 ，骰子系统的信息熵是 。 很明显，系统的信息熵和单条信息量是相等的。但请注意，这里存在一个前提，那就是： 此条信息必须能够让系统变得完全确定 。对于“骰子投出的点数大于3”这样的信息就不可以简单的用这样的算法来计算。 如果一条信息能够消除系统所有的不确定性，那么它所蕴含的信息量与整个系统的信息熵一样多。 硬币和骰子和四种可能的例子几乎都是所有事件（每条信息）的发生概率相等的情况，对于更复杂的情况我们将在后面的文章中继续讨论。 END
[create_time]2022-07-23 00:51:38[/create_time]2022-08-01 08:12:45[finished_time]1[reply_count]0[alue_good]张三讲法[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.47c7c989.PNHyyviQpkbkWYf_U9mbzQ.jpg?time=670&tieba_portrait_time=670[avatar]TA获得超过1.3万个赞[slogan]这个人很懒，什么都没留下![intro]35[view_count]熵增定律
熵增定律是克劳修斯提出的热力学定律。
什么是熵增定律
定义：在一个孤立系统里，如果没有外力做功，其总混乱度（熵）会不断增大。
这里面有三个词非常重要：孤立系统、无外力做功、总混乱度（熵）。
熵就是指内在的混乱程度。
任何一个系统，只要满足封闭系统，而且无外力维持，它就会趋于混乱和无序。
我们的生命也是如此。
比如自律总是比懒散痛苦，放弃总是比坚持轻松，变坏总是比变好容易。
只有少部分意志坚定的人能做到自我管理，大多数人都是作息不规律，饮食不规律，学习不规律。
比如大公司的组织架构会变得臃肿，员工会变得官僚化，整体效率和创新能力也会下降；封闭的国家会被世界淘汰。
这些所有的现象都可以用一个定律来解释——熵增定律。
我们误认为维持现状的情况下，去理清思路和消减混乱，最后发现始终没有什么起色。
因为符合 熵增定律。 谁都希望舒舒服服，不想要努力。若想要改变，则必须打破熵增定律。
《少有人走的路》“因为所有事物都在向着无规律，向着无序和混乱发展，如果你要变得自律，你就得逆着熵增做功，这个过程会非常痛苦。”
人变得自律就是 熵减的过程，而 整个生命的发展就是一部负熵的历史。
一个企业或组织，随着不断做大和成熟，里面的人员就会慢慢懈怠下来，组织会变得臃肿，制度会腐旧脱节。所以，作为团队的领导需要努力保证企业或组织的活力，加入新鲜的力量，保持与外环境的链接，保持开放度（即：系统把无用的熵排出去，然后吸收新的可用物质、能量和信息）
而对于个人而言，同样需要熵减的过程，同样需要纳新吐故。比如学习新知识，看书，运动，排毒吸收新营养。
虽然不容易，但可以让系统流动起来，让人活起来。
就像人一滩死水的时候，其实什么也不想做，什么也干不了。但往往忙碌起来之后，发现可以做很多事情，且更快乐和有成就感。
想起我们平常的静坐，不就是排除无用记忆和不良情绪的过程吗？排除熵的过程！
难怪静坐可以帮助理清思路，增强判断力直觉力，这就是一个熵减的过程啊
[create_time]2022-06-15 17:09:33[/create_time]2022-06-27 14:02:03[finished_time]1[reply_count]3[alue_good]新科技17[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.b3abb5d4.9j2BQAKGQsFp7PChsWf0LA.jpg?time=4982&tieba_portrait_time=4982[avatar]TA获得超过4795个赞[slogan]这个人很懒，什么都没留下![intro]1318[view_count]
熵定律的计算公式
计算公式1、克劳修斯首次从宏观角度提出熵概念，其计算公式为:S=Q/T,(计算熵差时，式中应为△Q)2、波尔兹曼又从微观角度提出熵概念，公式为:S=klnΩ，Ω是微观状态数，通常又把S当作描述混乱成度的量。3、笔者针对Ω不易理解、使用不便的现状，研究认为Ω与理想气体体系的宏观参量成正比，即:Ω(T)=(T/εT)3/2,Ω(V)=V/εV，得到理想气体的体积熵为SV=klnΩv=klnV,温度熵为ST=klnΩT=(3/2)klnT ，计算任意过程的熵差公式为△S=(3/2)kln(T'/T)+kln(V'/V),这微观与宏观关系式及分熵公式，具有易于理解、使用方便的特点，有利于教和学，可称为第三代熵公式。上述三代熵公式，使用的物理量从形式上看具有"直观→抽象→直观"的特点，我们认为这不是概念游戏，是对熵概念认识的一次飞跃。拓展资料熵定律是科学定律之最，这是爱因斯坦的观点。我们知道能源与材料、信息一样，是物质世界的三个基本要素之一，而在物理定律中，能量守恒定律是最重要的定律，它表明了各种形式的能量在相互转换时，总是不生不灭保持平衡的。熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。热力学第二定律，又称"熵增定律"，表明了在自然过程中，一个孤立系统的总混乱度(即"熵")不会减小。详细内容最高定律在等势面上，熵增原理反映了非热能与热能之间的转换具有方向性，即非热能转变为热能效率可以100%,而热能转变成非热能时效率则小于100%(转换效率与温差成正比),这种规律制约着自然界能源的演变方向，对人类生产、生活影响巨大;在重力场中，热流方向由体系的势焓(势能+焓)差决定，即热量自动地从高势焓区传导至低势焓区，当出现高势焓区低温和低势焓区高温时，热量自动地从低温区传导至高温区，且不需付出其它代价，即绝对熵减过程。显然熵所描述的能量转化规律比能量守恒定律更重要，通俗地讲:熵定律是"老板"，决定着企业的发展方向，而能量守恒定律是"出纳",负责收支平衡，所以说熵定律是自然界的最高定律。分熵的特点熵概念源于卡诺热机循环效率的研究，是以热温商的形式而问世的，当计算某体系发生状态变化所引起的熵变总离不开两点，一是可逆过程;二是热量的得失，故总熵概念摆脱不了热温商这个原始外衣。当用状态数来认识熵的本质时，我们通过研究发现，理想气体体系的总微观状态数受宏观的体积、温度参数的控制，进而得到体系的总熵等于体积熵与温度熵之和(见有关文章)，用分熵概念考察体系的熵变化，不必设计什么可逆路径，概念直观、计算方便(已被部分专家认可),因而有利于教和学。熵流熵流是普里戈津在研究热力学开放系统时首次提出的概念(普里戈津是比利时科学家，因对热力学理论有所发展，获得1977年诺贝尔化学奖)，普氏的熵流概念是指系统与外界交换的物质流及能量流。我们认为这个定义不太精辟，这应从熵的本质来认识它，不错物质流一定是熵的载体，而能量流则不一定，能量可分热能和非热能[如电能、机械能、光能(不是热辐射)]，当某绝热系统与外界交换非热能(发生可逆变化)时，如通电导线(超导材料)经过绝热系统内，对体系内熵没有影响，准确地说能量流中只有热能流(含热辐射)能引人熵流(对非绝热系统)。对于实际情形，非热能作用于系统发生的多是不可逆过程，会有热效应产生，这时系统出现熵增加，这只能叫(有原因的)熵产生，而不能叫熵流的流入，因能量流不等于熵流，所以不论什么形式的非热能流都不能叫熵流，更不能笼统地把能量流称为熵流。
[create_time]2022-12-11 21:07:52[/create_time]2022-12-26 21:07:52[finished_time]1[reply_count]0[alue_good]惠企百科[uname]https://pic.rmb.bdstatic.com/bjh/user/343825d09bee196abf9cec8955c23e80.jpeg[avatar]百度认证:北京惠企网络技术有限公司官方账号[slogan]惠企百科网是一家科普类综合网站，关注热门中文知识,集聚互联网精华中文知识,本着自由开放、分享价值的基本原则,向广大网友提供专业的中文知识平台。[intro]271[view_count]
