Ранее полученная формула определения энтропии является мерой среднего количества информации, на одно сообщение источника статистически независимых сообщений. Такая энтропия называется безусловной. Как известно из математической статистики мерой нарушения статистической независимости сообщений [katex]x[/katex] и [katex]y[/katex] служит условная вероятность [katex]p(x/y)[/katex] появления сообщения [katex]x_i[/katex] при условии, что уже выбрано сообщение [katex]y_j[/katex] или условная вероятность появления сообщения [katex]y_j[/katex], если появилось сообщение [katex]x_i[/katex], причем в общем случае [katex]p(x/y) \ne p(y/x)[/katex].