什么是信息增益
信息增益（Kullback–Leibler divergence）又称information divergence，information gain，relative entropy 或者KLIC。
信息增益在概率论和信息论中，信息增益是非对称的，用以度量两种概率分布P和Q的差异。信息增益描述了当使用Q进行编码时，再使用P进行编码的差异。通常P代表样本或观察值的分布，也有可能是精确计算的理论分布。Q代表一种理论，模型，描述或者对P的近似。
尽管信息增益通常被直观地作为是一种度量或距离，但事实上信息增益并不是。就比如信息增益不是对称的，从P到Q的信息增益通常不等于从Q到P的信息增益。信息增益是f增益（f-divergences）的一种特殊情况。在1951年由Solomon Kullback 和Richard Leibler首先提出作为两个分布的直接增益（directed divergence）。它与微积分中的增益不同，但可以从Bregman增益（Bregman divergence）推导得到。
[create_time]2016-08-15 16:27:28[/create_time]2015-10-11 19:07:57[finished_time]1[reply_count]2[alue_good]微笑之普利西亚[uname]https://himg.bdimg.com/sys/portrait/item/public.1.3f948dc9.XORO05wMcvxx6AqmyrE8Yw.jpg[avatar]知道合伙人教育行家[slogan]在春华教育集团宁海春华学校任数学老师[intro]918[view_count]
信息增益到底怎么理解呢?
信息增益（Kullback–Leibler divergence）又叫做information divergence，relative entropy 或者KLIC。在概率论和信息论中，信息增益是非对称的，用以度量两种概率分布P和Q的差异。信息增益描述了当使用Q进行编码时，再使用P进行编码的差异。通常P代表样本或观察值的分布，也有可能是精确计算的理论分布。Q代表一种理论，模型，描述或者对P的近似。扩展资料：信息增益相关延伸：增益一般指对元器件、电路、设备或系统，其电流、电压或功率增加的程度，以分贝(dB)数来规定，即增益的单位一般是分贝（dB），是一个相对值。电子学上常使用对数单位量度增益，并以贝（bel）作为单位：Gain = log10(P2/P1) bel其中P1与P2分别为输入及输出的功率。由于增益的数值通常都很大，因此一般都使用分贝（dB，贝的10分之1）来表示：Gain = 10×log10(P2/P1) dB这就是增益的绝对值与相对值分贝之间的关系。参考资料来源：百度百科-增益参考资料来源：百度百科-信息增益
[create_time]2021-04-18 00:11:25[/create_time]2021-05-02 00:00:00[finished_time]2[reply_count]0[alue_good]休闲娱乐助手之星M[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.58de7cba.dxIvYw5WIKDtGNFFQCTVIQ.jpg?time=5018&tieba_portrait_time=5018[avatar]TA获得超过53.6万个赞[slogan]生活领域解题小助手。[intro]422[view_count]什么是信息增益
信息增益（Kullback–Leibler divergence）又称information divergence，information gain，relative entropy 或者KLIC。
在概率论和信息论中，信息增益是非对称的，用以度量两种概率分布P和Q的差异。信息增益描述了当使用Q进行编码时，再使用P进行编码的差异。通常P代表样本或观察值的分布，也有可能是精确计算的理论分布。Q代表一种理论，模型，描述或者对P的近似。
尽管信息增益通常被直观地作为是一种度量或距离，但事实上信息增益并不是。就比如信息增益不是对称的，从P到Q的信息增益通常不等于从Q到P的信息增益。信息增益是f增益（f-divergences）的一种特殊情况。在1951年由Solomon Kullback 和Richard Leibler首先提出作为两个分布的直接增益（directed divergence）。它与微积分中的增益不同，但可以从Bregman增益（Bregman divergence）推导得到。
[create_time]2015-12-06 16:56:30[/create_time]2015-12-21 16:55:40[finished_time]1[reply_count]0[alue_good]匿名用户[uname]https://iknow-base.cdn.bcebos.com/yt/bdsp/icon/anonymous.png?x-bce-process=image/quality,q_80[avatar][slogan]这个人很懒，什么都没留下![intro]267[view_count]
信息熵越大说明什么?
说明事件的不确定性越大。熵越高，说明事件的不确定性越大。而信息不确定性越大时，该信息的价值越高。计算公式：H =∑p(x) log (1/p(x))，p(x)是概率。通俗解释：0、单位都是比较出来的，如3kg，是和1kg比较才出来的，所以先定义最基本的不确定性作为标准。1、熵的单位是比特bits，定义最基本的情况是：做两次等概率事件，才会出现一次结果，对于这种级别的不确定性，定义为1bits，即log2。3、则显然概率为1/4，则4/1次（倒数）才会出现一次，熵为log4=2。4、概率为2/5，做5/2次才会出现一次，熵为log5/2。通俗解释：1、代表信息的有用程度，越有用信息熵越大，负数是不可能的，我说句话不影响别人也可以影响我自己啊。2、代表信息的压缩大小，一段话里面有重复的，把重复的去掉就等于压缩，这个压缩的极限就是信息熵。
[create_time]2022-03-12 22:51:37[/create_time]2022-03-20 15:45:14[finished_time]2[reply_count]0[alue_good]一莲爱教育[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.3ae50169.UNOcA-F_AEabW8BMgC3LKA.jpg?time=8351&tieba_portrait_time=8351[avatar]答题姿势总跟别人不同[slogan]这个人很懒，什么都没留下![intro]2643[view_count]信息熵、条件熵、信息增益、信息增益率
一、信息熵
1. 信息熵提出背景
我们生活在一个信息爆炸的时代，从信息学的角度来说，人类进步的本质就是不断的打破信息的不对称性。我们讨厌不确定性，我们一生都在试图将所有的不确定性变成我们可能预测可能掌控的东西。
2. 什么是信息熵
在信息学中，对于接收者来说，发送者发送的信息是不确定的，所以对于接收者来说，他会接受到的信息是随机的，这里就引入了熵的概念。统计学中说熵的概念是一个系统可能存在的状态的个数的对数。虽然对于接收者来说，他可能接收的信息的个数是随机的，但是总是在一个范围内，他可能接收的信息的个数的对数就是信息熵。
3. 信息熵的公式
为了计算熵，我们需要计算所有类别所有肯能值所包含的期望值，事物的不确定越大，信息熵越大。
，其中 m 代表将事物分类的概率为k种， 代表了将事物分类为k类型的概率。
4. 信息熵使用场景
cart剪枝，一般有两种，利用基尼系数或信息熵。
5. 信息熵存在的问题
从信息熵的公式我们可以看到，信息越确定，信息熵越小。在生活场景中，像id之类的特征通过信息熵公式计算得到的信息熵很高，但是实际上这个特征对我们判断决策所起的作用很小，比如身份证号、手机号等信息。
二、条件熵
1. 条件熵提出背景
我们知道有的特征携带的熵很多，但是这个特征又真正对我要决策的事情有多大的重要性呢，这时候我们很容易想到条件概率，这时候我们引出了条件熵这个概念。
2. 什么是条件熵
条件熵 表示在已知随机变量X的条件下随机变量Y的不确定性。
3. 条件熵的公式
随机变量X给定的条件下随机变量Y的条件熵公式如下：
其中，
三、信息增益
1.信息增益提出背景
拿我们生活的场景来举个栗子， 比如闺蜜电话约我去逛街，提到我们逛街完了吃火锅，那天刚好下雪，然后我恰巧还来例假了，我这时候有两种决策，去或者不去。这里我们将上面场景中的信息概括下就是，买物品(买衣服？买包包？买鞋子？买花？买居家用品？)、吃饭（吃火锅？吃串串？吃小吃？吃披萨？）、天气（下雨？下雪？晴天？阴天？）；例假（是？否？），聊天，那么这么多特征中，哪些是决定我去或者不去的重要因素呢？如果单从信息熵的角度来看，那么哪个特征的属性越多，它的信息熵越大，重要性越大，事实却不是如此。对我来说，去的理由也许买物品不重要，吃什么也不重要，而我好长时间没有见到她了，想她了是真的，所以“聊天”这个特征决定我会做出赴约这个决策。串起来就是"在聊天这个特征条件下极大的增加了我做出赴约决策的确定性"。
2. 什么是信息增益
信息增益表示得知特征X的信息而使得类Y的信息不确定性减少的程度。
3. 信息增益公式
这里D是决策，A是条件特征
4. 信息增益的使用场景
信息处理中， ID3算法的核心是在决策树各个结点上对应信息增益准则选择特征，递归地构建决策树。
5. 信息增益存在的问题
从信息增益公式我们可以看到，前面唯一id特征信息熵的问题还是没有解决掉。那么有没有什么方法可以平衡id特征信息熵过大的问题，我们很容易想到将特征id自身的信息熵作为分母去平衡整个的计算结果，这时候就有人提出了信息增益率这个概念。
四、信息增益率
1. 信息增益率提出背景
信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一
2. 什么是信息增益率
信息增益率，其表示节点的信息与节点分裂信息度量的比值，增益率通常作为属性选择的方法之一
3. 信息增益率公式
上图为盗图，解释的比较清楚，这里就不重复说了。
4. 信息增益率使用场景
C4.5算法就使用了信息增益率作为剪枝条件。
五、参考文献
https://www.cnblogs.com/ironan-liu/p/11769229.html
[create_time]2022-06-27 15:23:24[/create_time]2022-07-09 18:58:27[finished_time]1[reply_count]0[alue_good]青柠姑娘17[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.cc0c2ccd.JVwiLWjz0PWf2Uo5WVGZLA.jpg?time=4573&tieba_portrait_time=4573[avatar]TA获得超过9810个赞[slogan]这个人很懒，什么都没留下![intro]18[view_count]
什么是信息熵、条件熵和信息增益
信息增益描述了一个特征带来的信息量的多少，往往用于特征选择
信息增益 = 信息熵 - 条件熵
一个特征往往会使一个随机变量Y的信息量减少，减少的部分就是信息增益
一个例子
如图所示，目标值是：playtennis，也就是是否打球
有四个特征：天气、温度、湿度、风
信息熵
信息熵的公式：
H(X)=−∑i=1np(xi)logp(xi)
以上图为例，设是否打球这一随机变量为Y，则
p(y=yes)=514
p(y=no)=914
所以H(Y)=−514∗log(514)−914∗log(914)=0.6518
条件熵
条件熵表示在条件X下Y的信息熵。公式如下：
H(Y|X)=∑x∈Xp(x)H(Y|X=x)
在上图的例子中，设humidity湿度为随机变量X
则，p(x=high)=7/14=1/2=p1
p(x=normal)=7/14=1/2=p2
所以，H(Y|X)=p1*H(Y|X=high)+p2*H(Y|X=normal)
而接下来就是计算H(Y|X=high)和H(Y|X=normal)
根据信息熵的计算方法可以得出：
H(Y|X=high)=-4/7*log(4/7)-3/7*log(3/7) = 0.6829
H(Y|X=normal)=-1/7*log(1/7)-6/7*log(6/7) = 0.4101
因此，条件熵为：1/2*0.6829+1/2*0.4101=0.5465
信息增益
信息增益 = 信息熵 - 条件熵=0.6518-0.5465=0.1053
也就是说，引入了湿度humidity这个变量之后，就使得是否打球这个变量的信息量就从0.6518减小到了0.5465
信息量是描述变量的不确定性的，值越大，就表示这个事件越不确定
因此，湿度这个变量的引进，使得这种不确定性降低了，有利于做决定
信息增益常用于决策树的构建，和特征选择
[create_time]2022-07-09 20:58:43[/create_time]2022-07-20 07:43:25[finished_time]1[reply_count]0[alue_good]张三讲法[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.47c7c989.PNHyyviQpkbkWYf_U9mbzQ.jpg?time=670&tieba_portrait_time=670[avatar]TA获得超过1.3万个赞[slogan]这个人很懒，什么都没留下![intro]24[view_count]
增益计算公式
增益计算公式：Gain=log10（P2/P1）bel=10×log10（P2/P1）dB=（Pout-Pase）/Pin。其中P1与P2分别为输入及输出的功率，Pase是信号带宽内EDFA的自发辐射功率，Pout和Pin分别是信号的输出输入功率。增益一般指对元器件、电路、设备或系统，其电流、电压或功率增加的程度，以分贝（dB）数来规定，即增益的单位一般是分贝（dB），是一个相对值。电子学上常使用对数单位量度增益，并以贝（bel）作为单位。天线增益，是指在输入功率相等的条件下，实际天线与理想的辐射单元在空间同一点处所产生的信号的功率密度之比。天线增益是入网测试时极其重要的标准，它表示了天线的方向性和信号能量的集中程度。放大器增益，是放大器输出功率与输入功率比值的对数，用以表示功率放大的程度。亦指电压或电流的放大倍数。电子系统的总放大倍数常常是几千、几万甚至几十万，一架收音机从天线收到的信号至送入喇叭放音输出，一共要放大2万倍左右。
[create_time]2022-11-28 12:46:56[/create_time]2022-11-30 14:03:00[finished_time]1[reply_count]0[alue_good]余余浅谈动植物[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.69a398a9.8Z8AwKgUvPPJOBc4t2mkOQ.jpg?time=2780&tieba_portrait_time=2780[avatar]TA获得超过246个赞[slogan]这个人很懒，什么都没留下![intro]4797[view_count]信息增益计算公式
信息增益计算公式是：可用下式估算其增益：G（dBi）=10Lg{32000/（2θ3dB，E×2θ3dB，H）}，式中，2θ3dB，E与2θ3dB，H分别为天线在两个主平面上的波瓣宽度；32000为统计出来的经验数据。可以这样来理解增益的物理含义：在一定的距离上的某点处产生一定大小的信号，如果用理想的无方向性点源作为发射天线，需要100W的输入功率，而用增益为G=13dB=20的某定向天线作为发射天线时，输入功率只需100/20=5W。换言之，某天线的增益，就其最大辐射方向上的辐射效果来说，与无方向性的理想点源相比，把输入功率放大的倍数。半波对称振子的增益为G=2.15dBi。4个半波对称振子沿垂线上下排列，构成一个垂直四元阵，其增益约为G=8.15dBi(dBi这个单位表示比较对象是各向均匀辐射的理想点源)。如果以半波对称振子作比较对象，其增益的单位是dBd。半波对称振子的增益为G=0dBd（因为是自己跟自己比，比值为1，取对数得零值。）垂直四元阵，其增益约为G=8.15_2.15=6dBd。
[create_time]2023-08-04 16:11:45[/create_time]2023-08-19 16:11:45[finished_time]1[reply_count]0[alue_good]猪八戒网[uname]https://pic.rmb.bdstatic.com/c958ab6d003b1ca8df45ae4fa0226ac5.jpeg[avatar]百度认证:重庆猪八戒网络有限公司官方账号[slogan]猪八戒网（zbj.com）创建于2006年，现已形成猪八戒网、天蓬网和线下八戒工场的“双平台+一社区”服务模式，是中国领先的人才共享平台。 [intro]7[view_count]信息论——香农熵
信息论是量化处理信息的科学分支。处理数据信息集合前后信息发生的变化称为信息增益，信息增益越高的特征就是越好的选择。
集合信息的度量方式称为 香农熵 或简称 熵，源于信息理论之父“克劳德·香农”。
信息量越大，特征越多，权重越小
熵： 信息的期望值。
在多分类的事务中，假设 的信息为：
注 ： = 真数的指数与不转换结果相同
其中 是该选择分类事务的概率。计算熵则需要计算所有类别中所有 可能值包含的信息期望值(n是分类数目)：
线性转换：
注意 线性的最高次项为1，否则就是非线性
lambda乘以一个系数常量{x_1}
如果(线性)：
z = wx + b
乘积与变量x有关系 则看作为系数
没关系 则看作常量
指数转换：
softmax非线性转换(存在指数操作)
作用：大的更大，小的更小，差别更加明显
最大似然函数的负数，成为所求的损失函数(解决问题的一种思想)
大数定理：
当频率大到一定程度就是概率
激活函数：
神经网络也是线性的
将激活信息(幂函数、指数函数)向后传入下一层神经网络,解决非线性问题
如果(线性)：
z = wx + b
乘积与变量x有关系看作为系数
没关系看作常量
如果(非线性)：
加入了幂函数{e^x}等
矩阵中：
一行是一个样本，一列是一个特征
线性回归就是神经网络
在python中如何取消返回值使用(不用相应位置的返回值)：
_, book, hook = function()
PS:
污点修复工具，先刷背景也可以 思想(不太好用)
修复画笔工具，alt+鼠标右键调整硬度和上下调整直径
alt+鼠标左键复制replication所选区域样本
通过已经完成图片叠压修图更快、更轻松
[create_time]2022-06-09 02:57:06[/create_time]2022-06-17 20:36:02[finished_time]1[reply_count]0[alue_good]温屿17[uname]https://himg.bdimg.com/sys/portrait/item/wise.1.f2ab3c6b.EGWNOK5JoOudI3wwHvt0TA.jpg?time=4578&tieba_portrait_time=4578[avatar]TA获得超过9484个赞[slogan]这个人很懒，什么都没留下![intro]20[view_count]
python里怎么计算信息增益，信息增益比，基尼指数
1、首先自定义一份数据，分别计算信息熵，条件信息熵，从而计算信息增益。2、然后我们按下图输入命令计算信息熵。3、再按照下图输入命令计算条件信息熵。4、再输入下图命令，计算信息增益。5、输入下列代码计算信息增益比。6、最后按照下图代码计算出基尼指数。
[create_time]2019-11-28 13:40:28[/create_time]2017-07-02 11:17:18[finished_time]2[reply_count]0[alue_good]正则笔记[uname]https://gips0.baidu.com/it/u=1793606136,3408593702&fm=3012&app=3012&autime=1689686245&size=b200,200[avatar]TA获得超过9279个赞[slogan]这个人很懒，什么都没留下![intro]1318[view_count]
