无条件熵是信源熵，信源熵为各个离散消息的自信息量的数学期望，即概率加权的统计平均值，为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或者香农熵，有时称为无条件熵或熵函数。熵定律是科学定律之最，这是爱因斯坦的观点。能源与材料、信息一样，是物质世界的三个基本要素之一，而在物理定律中，能量守恒定律是最重要的定律，它表明了各种形式的能量在相互转换时，总是不生不灭保持平衡的。熵的概念最早起源于物理学，用于度量一个热力学系统的无序程度。
