Значение слова «энтропия»

• ЭНТРОПИ́Я, -и, ж.

  1. Физ. Одна из величин, характеризующих тепловое состояние тела или системы тел; мера внутренней неупорядоченности системы.

  2. В теории информации — мера неопределенности какого-л. опыта, который может иметь разные исходы.

  [От греч. ’εν — в, на и τροπή — поворот, превращение]

Источник (печатная версия): Словарь русского языка: В 4-х т. / РАН, Ин-т лингвистич. исследований; Под ред. А. П. Евгеньевой. — 4-е изд., стер. — М.: Рус. яз.; Полиграфресурсы, 1999; (электронная версия): Фундаментальная электронная библиотека

• Энтропи́я (от др.-греч. ἐντροπία «поворот», «превращение») — широко используемый в естественных и точных науках термин. Впервые введён в рамках термодинамики как функция состояния термодинамической системы, определяющая меру необратимого рассеивания энергии. В статистической физике энтропия характеризует вероятность осуществления какого-либо макроскопического состояния. Кроме физики, термин широко употребляется в математике: теории информации и математической статистике.
  
  Энтропия может интерпретироваться как мера неопределённости (неупорядоченности) некоторой системы, например, какого-либо опыта (испытания), который может иметь разные исходы, а значит, и количество информации. Таким образом, другой интерпретацией энтропии является информационная ёмкость системы. С данной интерпретацией связан тот факт, что создатель понятия энтропии в теории информации (Клод Шеннон) сначала хотел назвать эту величину информацией.
  
  Понятие информационной энтропии применяется как в теории информации и математической статистике, так и в статистической физике (энтропия Гиббса и её упрощённый вариант — энтропия Больцмана). Математический смысл информационной энтропии — это логарифм числа доступных состояний системы (основание логарифма может быть различным, оно определяет единицу измерения энтропии). Такая функция от числа состояний обеспечивает свойство аддитивности энтропии для независимых систем. Причём, если состояния различаются по степени доступности (т. е. не равновероятны), под числом состояний системы нужно понимать их эффективное количество, которое определяется следующим образом. Пусть состояния системы равновероятны и имеют вероятность
  
  
  
  
  
  
  
  p
  
  
  
  
  
  {\displaystyle p}
  
  , тогда число состояний
  
  
  
  
  
  
  
  N
  
  =
  
  1
  
  
  
  /
  
  
  
  p
  
  
  
  
  
  {\displaystyle N=1/p}
  
  , а
  
  
  
  
  
  
  
  log
  
  ⁡
  
  N
  
  =
  
  log
  
  ⁡
  
  (
  
  1
  
  
  
  /
  
  
  
  p
  
  )
  
  
  
  
  
  {\displaystyle \log N=\log(1/p)}
  
  . В случае разных вероятностей состояний
  
  
  
  
  
  
  
  
  
  p
  
  
  
  i
  
  
  
  
  
  
  
  
  
  {\displaystyle p_{i}}
  
  рассмотрим средневзвешенную величину
  
  
  
  
  
  
  
  log
  
  ⁡
  
  
  
  
  
  N
  
  ¯
  
  
  
  
  
  =
  
  
  
  ∑
  
  
  
  i
  
  =
  
  1
  
  
  
  
  
  N
  
  
  
  
  
  
  
  p
  
  
  
  i
  
  
  
  
  
  log
  
  ⁡
  
  (
  
  1
  
  
  
  /
  
  
  
  
  
  p
  
  
  
  i
  
  
  
  
  
  )
  
  
  
  
  
  {\displaystyle \log {\overline {N}}=\sum _{i=1}^{N}p_{i}\log(1/p_{i})}
  
  , где
  
  
  
  
  
  
  
  
  
  
  
  N
  
  ¯
  
  
  
  
  
  
  
  
  
  {\displaystyle {\overline {N}}}
  
  — эффективное количество состояний. Из данной интерпретации непосредственно вытекает выражение для информационной энтропии Шеннона
  
  
  
  
  
  
  
  H
  
  =
  
  log
  
  ⁡
  
  
  
  
  
  N
  
  ¯
  
  
  
  
  
  =
  
  −
  
  
  
  ∑
  
  
  
  i
  
  =
  
  1
  
  
  
  
  
  N
  
  
  
  
  
  
  
  p
  
  
  
  i
  
  
  
  
  
  log
  
  ⁡
  
  
  
  p
  
  
  
  i
  
  
  
  
  
  
  
  
  
  {\displaystyle H=\log {\overline {N}}=-\sum _{i=1}^{N}p_{i}\log p_{i}}
  
  . Подобная интерпретация справедлива и для энтропии Реньи, которая является одним из обобщений понятия информационная энтропия, но в этом случае иначе определяется эффективное количество состояний системы (можно показать, что энтропии Реньи соответствует эффективное количество состояний, определяемое как среднее степенное взвешенное с параметром
  
  
  
  
  
  
  
  q
  
  ≤
  
  1
  
  
  
  
  
  {\displaystyle q\leq 1}
  
  от величин
  
  
  
  
  
  
  
  1

Источник: Википедия

• энтропи́я

  1. физ. физическая величина, характеризующая тепловое состояние системы и возможные изменения этих состояний; мера внутренней неупорядоченности

  2. спец. мера неопределённости какого-либо с конечным или счётным числом исходов

  3. мед. заворот век внутрь

Источник: Викисловарь