Количество информации, содержащееся в одном элементарном сообщении [katex]x_i[/katex], не полностью характеризует источник. Источник дискретных сообщений может быть охарактеризован средним количеством информации, приходящимся на одно элементарное сообщение, носящим название энтропия источника