Документ взят из кэша поисковой машины. Адрес
оригинального документа
: http://www.sao.ru/hq/educat-Old/educat_old/gorokhov/4v2_2.htm
Дата изменения: Wed Jul 31 14:25:25 2013 Дата индексирования: Sun Apr 10 17:22:11 2016 Кодировка: Windows-1251 Поисковые слова: п п п п п п п |
САНКТ ПЕТЕРБУРГ 1999 |
||||||||||||||||||
|
ГЛАВА 2 |
Принцип максимума энтропии в физике,
технике связи и экологии. |
||||||||||||||||
2.2 |
Первая вариационная задача в технике связи и теории информации. Первая теорема Шеннона. Пропускная способность канала связи без помех, но со штрафами (энергетические ограничения) |
|||||||||||||||||
ПРЕЛЮДИЯ
Рассмотренные выше физические системы типа источников сообщений и каналов связи предполагают, что "хорошие" источники сообщений и каналы связи должны обеспечивать СООБЩЕНИЯ (состояния) наиболее неожиданные, т.е. с наибольшей энтропией, но при этом естественно, что существуют технические (в том числе и энергетические) ограничения на процесс генерации и передачи сообщений. Таким образом, снова встает первая вариационная - задача поиска распределения, которое максимизирует энтропию в присутствии ограничений. В качестве ограничений могут выступать штрафы или ограничения на энергетику системы связи. Такое распределение, максимизирующее энтропию при ограничениях и задает наилучший канал связи. ОСНОВНАЯ ТЕМА
Пусть имеется дискретный канал без помех Y c ограничениями c(y)<a . Назовем пропускной способностью канала связи С, то максимальное значение энтропии, которое может быть достигнуто с учетом ограничений C= sup H(y)= max S(y) . Назовем c(y) функцией штрафов (функцией потерь). Состояния y имеют распределение вероятностей P(y). Усредняем теперь функцию штрафов по всем состояниям и их распределениям. Такого рода величина R называется средние потери или риск. Ограничения тогда приобретают вид: Требуется максимизировать энтропию при этих ограничениях, выбирая соответствующее распределение P(y) : Таким образом технический смысл первой вариационной задачи состоит в определении пропускной способности канала связи С в условиях ограничений на риск. Как уже отмечалось, в случае отсутствия ограничений, решение вариационной задачи дает равномерное распределение для источника сообщений или канала связи. В случае наличия ограничений решение вариационной задач и дает в общем случае распределение Гиббса (в более частных случаях техники связи это нормальное распределение). Этот факт означает, что существуют методы физической реализации таких каналов связи. Подобные утверждения и составляют предмет практически важной и фундаментальной теоремы. Первая асимптотическая теорема термодинамики и теории информации. Первая теорема Шеннона. Существуют способы организации канала связи, при котором пропускная способность канала равна производительности источника. Эти способы реализуются и рассматриваются в теории и практике эффективного кодирования. В задачах дистанционного зондирования эта теорема используются для экономного представления огромных цифровых массивов изображений, благодаря специальным алгоритмам свертки этих изображений.
|
Аннотация
Предисловие Мет. указания Введение |
|||||||||||||||||
ГЛАВА 1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 ГЛАВА 2 2.1 2.2 2.3 |