Кто такой клод шеннон и чем он знаменит. Американский инженер Клод Шеннон и чем он знаменит

Анатолий Ушаков, д. т. н, проф. каф. систем управления и информатики, университет «ИТМО»

Многие поколения технических специалистов второй половины XX века, даже достаточно далекие от теории автоматического управления и кибернетики, выйдя из стен вузов, на всю жизнь запомнили названия «авторских» научно-технических достижений: функции Ляпунова, марковские процессы, частота и критерий Найквиста, винеровский процесс, фильтр Калмана. Среди таких достижений почетное место занимают теоремы Шеннона. В 2016 г. исполняется сто лет со дня рождения их автора - ученого и инженера Клода Шеннона.

«Кто владеет информацией, тот владеет миром»

У. Черчилль

Рис. 1. Клод Шеннон (1916–2001)

Клод Элвуд Шеннон (Claude Elwood Shannon) (рис. 1) родился 30 апреля 1916 г. в городе Петоцки, расположенном на берегу озера Мичиган штата Мичиган (США), в семье юриста и преподавателя иностранных языков. Его старшая сестра Кэтрин увлекалась математикой и со временем стала профессором, а отец Шеннона совмещал работу адвоката с радиолюбительством. Дальним родственником будущего инженера был прославившийся на весь мир изобретатель Томас Эдисон, имевший 1093 патента.

Шеннон закончил общеобразовательную среднюю школу в 1932 г. в возрасте шестнадцати лет, одновременно получив дополнительное образование на дому. Отец покупал ему конструкторы и радиолюбительские наборы и всячески содействовал техническому творчеству сына, а сестра привлекала его к углубленным занятиям математикой. Шеннон полюбил оба эти мира - технику и математику.

В 1932 г. Шеннон поступил в Мичиганский университет, который окончил в 1936 г., получив степень бакалавра по двум специальностям: математика и электротехника. Во время обучения он нашел в библиотеке университета две работы Джорджа Буля (George Boole) - «Математический анализ логики» и «Логическое исчисление», написанные в 1847 и 1848 годах соответственно. Шеннон тщательным образом их изучил, и это, по-видимому, определило его дальнейшие научные интересы.

После окончания университета Клод Шеннон устроился на работу в лабораторию электротехники Массачусетского технологического института (MTИ) ассистентом-исследователем, где работал над задачами модернизации дифференциального анализатора Ванневара Буша (Vannevar Bush), вице-президента МТИ, - аналогового «компьютера». С этого времени Ванневар Буш стал научным наставником Клода Шеннона. Изучая сложные, узкоспециализированные релейные и переключательные электросхемы устройства управления дифференциальным анализатором, Шеннон понял, что концепции Джорджа Буля могут получить в этой области достойное применение.

В конце 1936 г. Шеннон поступает в магистратуру, а уже в 1937 г. он пишет реферат диссертации на соискание степени магистра и на его основе готовит статью «Символьный анализ реле и переключательных схем», которая была опубликована в 1938 г. в издании Американского института инженеров-электриков (AIEE). Эта работа привлекла к себе внимание научного электротехнического сообщества, и в 1939 г. Американским обществом гражданских инженеров (American Society of Civil Engineers) Шеннону была присуждена за нее Премия имени Альфреда Нобеля.

Еще не защитив магистерской диссертации, Шеннон по совету Буша решил работать над докторской по математике в МТИ, касающейся задач генетики. По мнению Буша, генетика могла стать удачной проблемной областью приложения знаний Шеннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 г. и посвящена проблемам генной комбинаторики. Шеннон получил докторскую степень по математике и в это же время защитил диссертацию на тему «Символьный анализ реле и переключательных схем», став магистром электротехники.

Докторская диссертация Шеннона не получила большой поддержки у генетиков и по этой причине никогда не была опубликована. Однако диссертация на степень магистра оказалась прорывной в коммутационной и цифровой технике. В последней главе диссертации было приведено много примеров успешного применения разработанного Шенноном логического исчисления к анализу и синтезу конкретных релейных и переключательных схем: селекторных схем, замка с электрическим секретом, двоичных сумматоров. Все они наглядно демонстрируют совершенный Шенноном научный прорыв и огромную практическую пользу от формализма логического исчисления. Так родилась цифровая логика.

Рис. 2. Клод Шеннон в Bell Labs (середина 1940-х гг.)

Весной 1941 г. Клод Шеннон становится сотрудником математического отделения научно-исследовательского центра Bell Laboratories (рис. 2). Следует сказать несколько слов об атмосфере, в которую попал 25-летний Клод Шеннон, - ее создавали Гарри Найквист (Harry Nyquist), Хенрик Боде (Hendrik Bode), Ральф Хартли (Ralph Hartley), Джон Тьюки (John Tukey) и другие сотрудники Bell Laboratories. Все они уже имели определенные результаты в разработке теории информации, которые Шеннон со временем разовьет до уровня большой науки.

В это время в Европе уже шла война, и Шеннон проводил исследования, которые широко финансировало правительство США. Работа, которую Шеннон выполнял в Bell Laboratories, была связана с криптографией, что привело его к необходимости заняться математической теорией криптографии и со временем позволило проводить анализ зашифрованных текстов информационно-теоретическими методами (рис. 3).

В 1945 г. Шеннон завершил большой секретный научный отчет на тему «Математическая теория криптографии» («Communication Theory of Secrecy Systems»).

Рис. 3. У шифровальной машины

В это время Клод Шеннон был уже близок к тому, чтобы выступить перед научной общественностью с новыми базовыми концепциями по теории информации. И в 1948 г. он опубликовал свой эпохальный труд «Математическая теория связи» . Математическая теория связи Шеннона предполагала трехкомпонентную структуру, составленную из источника информации, приемника информации и «транспортной среды» - канала связи, характеризующегося пропускной способностью и способностью искажать информацию при передаче. Возник определенный круг проблем: как количественно оценить информацию, как ее эффективно упаковывать, как оценить допустимую скорость вывода информации из источника в канал связи с фиксированной пропускной способностью, чтобы гарантировать безошибочную передачу информации, и, наконец, как решить последнюю задачу при наличии помех в канале связи? На все эти вопросы Клод Шеннон дал человечеству исчерпывающие ответы своими теоремами.

Следует сказать, что коллеги по «цеху» помогли Шеннону с терминологией. Так, термин для минимальной единицы количества информации - «бит» - предложил Джон Тьюки, а термин для оценки среднего количества информации на символ источника - «энтропия» - Джон фон Нейман (John von Neumann). Свою основополагающую работу Клод Шеннон изложил в виде двадцати трех теорем. Не все теоремы равноценны, часть из них носит вспомогательный характер или посвящена частным случаям теории информации и ее передачи по дискретным и непрерывным каналам связи, но шесть теорем являются концептуальными и составляют каркас здания теории информации, созданной Клодом Шенноном.

Первая из этих шести теорем связана с количественной оценкой информации, генерируемой источником информации, в рамках стохастического подхода на основе меры в виде энтропии с указанием ее свойств.
Вторая теорема посвящена проблеме рациональной упаковки символов, генерируемых источником, при их первичном кодировании. Она породила процедуру эффективного кодирования и необходимость введения в структуру системы передачи информации «кодера источника».
Третья теорема касается проблемы согласования потока информации из источника информации с пропускной способностью канала связи в условиях отсутствия помех, гарантирующего отсутствие искажения информации при передаче.
Четвертая теорема решает ту же задачу, что и предыдущая, но в условиях наличия в двоичном канале связи помех, действия которых на передаваемую кодовую посылку сообщения способствуют вероятности искажения произвольного бита кода. Теорема содержит условие замедления передачи, гарантирующее заданную вероятность безошибочной доставки кодовой посылки получателю. Данная теорема является методологической основой помехозащитного кодирования, которая привела к необходимости введения в структуру системы передачи «кодера канала».
Пятая теорема посвящена оценке пропускной способности непрерывного канала связи, характеризующегося некоторой частотной полосой пропускания и заданными мощностями полезного сигнала и сигнала помехи в канале связи. Теорема определяет так называемую границу Шеннона.
Последняя из теорем, именуемая теоремой Найквиста - Шеннона-Котельникова, посвящена проблеме безошибочного восстановления непрерывного сигнала по его дискретным по времени отсчетам, которая позволяет сформулировать требование к величине временного интервала дискретности, определяемого шириной частотного спектра непрерывного сигнала, и сформировать базисные функции, именуемые функциями отсчета.

Следует сказать, что изначально у многих математиков мира вызвала сомнения доказательная база этих теорем. Но со временем научная общественность убедилась в корректности всех постулатов, найдя им математические подтверждения. В нашей стране этому делу отдали свои силы Хинчин А.Я. и Колмогоров А.Н. .

В 1956 г. знаменитый Клод Шеннон покидает стены Bell Laboratories, не порывая с ней связей, и становится полным профессором сразу двух факультетов Массачусетского технологического института: математического и электротехнического.

Рис. 4. Лабиринт Шеннона

У Клода Шеннона всегда было много интересов, совершенно не связанных с его профессиональной деятельностью. Выдающийся инженерный талант Шеннона проявлялся в создании всевозможных машин и механизмов, среди которых механическая мышь «Тезей», решающая лабиринтную задачу (рис. 4), вычислительная машина с операциями над римскими цифрами, а также вычислительные машины и программы для игры в шахматы.

В 1966 г. в возрасте 50 лет Клод Шеннон удаляется от преподавательской деятельности и практически полностью посвящает себя своим хобби. Он создает одноколесный велосипед с двумя седлами, складной нож с сотней лезвий, роботов, собирающих кубик Рубика, и робота, жонглирующего шарами. Кроме того, Шеннон и сам продолжает оттачивать мастерство жонглирования, доведя количество шаров до четырех (рис. 5). Свидетели его молодости в Bell Laboratories вспоминали, как он разъезжал по коридорам фирмы на одноколесном велосипеде, при этом жонглируя мячами.

Рис. 5. Клод Шеннон - жонглер

К сожалению, у Клода Шеннона не было тесных контактов с советскими учеными. Тем не менее ему удалось посетить СССР в 1965 г. по приглашению Научно-технического общества радиотехники, электроники и связи (НТОРЭС) имени А.С. Попова. Одним из инициаторов этого приглашения был многократный чемпион мира по шахматам Михаил Ботвинник, доктор технических наук, профессор, который также был электротехником и интересовался шахматным программированием. Между Михаилом Ботвинником и Клодом Шенноном состоялась оживленная дискуссия о проблемах компьютеризации шахматного искусства. Участники пришли к выводу, что это очень интересно для программирования и бесперспективно для шахмат. После дискуссии Шеннон попросил Ботвинника сыграть с ним в шахматы и по ходу игры даже имел небольшое преимущество (ладью за коня и пешку), но все же проиграл на 42-м ходу.

Последние годы жизни Клод Шеннон тяжело болел. Он скончался в феврале 2001 г. в массачусетском доме престарелых от болезни Альцгеймера на 85-м году жизни.

Клод Шеннон оставил богатое прикладное и философское наследие. Им создана общая теория устройств дискретной автоматики и вычислительной техники, технология эффективного использования возможностей канальной среды. Все современные архиваторы, используемые в компьютерном мире, опираются на теорему Шеннона об эффективном кодировании. Основу его философского наследия составляют две идеи. Первая: целью всякого управления должно быть уменьшение энтропии как меры неопределенности и беспорядка в системной среде. Управление, которое не решает этой задачи, является избыточным, т. е. ненужным. Вторая состоит в том, что все в этом мире в каком-то смысле есть «канал связи». Каналом связи является и человек, и коллектив, и целая функциональная среда, и промышленность, и транспортная структура, и страна в целом. И если не согласовывать технические, информационные, гуманитарные, правительственные решения с пропускной способностью канальной среды, на которую они рассчитаны, то хороших результатов не жди.

Вконтакте

Литература

Shannon C. E. A Mathematical Theory of Communication. Bell Systems Technical Journal. July and Oct. 1948 // Claude Elwood Shannon. Collected Papers. N. Y., 1993. P. 8-111.
Shannon C. E. Communication in the presence of noise. Proc.IRE. 1949. V. 37. № 10.
Shannon C. E. Communication Theory of Secrecy Systems. Bell Systems Technical Journal. July and Oct. 1948 // Claude Elwood Shannon. Collected Papers. N. Y., 1993. P. 112-195.
Автоматы. Сборник статей под ред. К. Э. Шеннона, Дж. Маккарти / Пер. с англ. М.: Из-во Ин. лит. 1956.
Robert M. Fano Transmission of information: A statistical theory of communication. Published Jointly by the M.I.T., PRESS and JOHN WILEY & SONS, INC. New York, London. 1961.
www. research.att. com/~njas/doc/ces5.html.
Колмогоров А. Н. Предисловие // Работы по теории информации и кибернетике / К. Шеннон; пер. с англ. под. ред. Р. Л. Добрушина и О.Б. Лупанова; предисл. А. Н. Колмогорова. М., 1963.
Левин В. И. К.Э. Шеннон и современная наука // Вестник ТГТУ. 2008. Том 14. №3.
Винер Н. Я. – математик / Пер. с англ. М.: Наука. 1964.
Хинчин А. Я. Об основных теоремах теории информации. УМН 11:1 (67) 1956.
Колмогоров А. Н. Теория передачи информации. // Сессия Академии Наук СССР по научным проблемам автоматизации производства. 15–20 окт.1956 г. Пленарное заседание. М.: Изд-во АН СССР, 1957.
Колмогоров А. Н. Теория информации и теория алгоритмов. М.: Наука, 1987.

Клод Элвуд Шеннон (англ. Claude Elwood Shannon; 30 апреля 1916, Петоцки, Мичиган, США - 24 февраля 2001, Медфорд, Массачусетс, США) - американский инженер, криптоаналитик и математик. Cчитается «отцом информационного века».

Является основателем теории информации, нашедшей применение в современных высокотехнологических системах связи. Предоставил фундаментальные понятия, идеи и их математические формулировки, которые в настоящее время формируют основу для современных коммуникационных технологий. В 1948 году предложил использовать слово «бит» для обозначения наименьшей единицы информации (в статье «Математическая теория связи»). Кроме того, понятие энтропии было важной особенностью теории Шеннона. Он продемонстрировал, что введенная им энтропия эквивалентна мере неопределённости информации в передаваемом сообщении. Статьи Шеннона «Математическая теория связи» и «Теория связи в секретных системах» считаются основополагающими для теории информации и криптографии. Клод Шеннон был одним из первых, кто подошел к криптографии с научной точки зрения, он первым сформулировал ее теоретические основы и ввел в рассмотрение многие основные понятия. Шеннон внес ключевой вклад в теорию вероятностных схем; теорию игр; теорию автоматов и теорию систем управления - области наук, входящие в понятие «кибернетика».

Биография

Детство и юность

Клод Шеннон родился 30 апреля 1916 года в городе Петоцки (штат Мичиган, США). Отец его, Клод-старший (1862-1934), был бизнесменом, добившимся успеха своими собственными силами, адвокатом и в течение некоторого времени судьей. Мать Шеннона, Мейбел Вулф Шеннон (1890-1945), была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Отец Шеннона обладал математическим складом ума и давал себе отчёт в своих словах. Любовь к науке была привита Шеннону его дедушкой. Дед Шеннона был изобретателем и фермером. Он изобрел стиральную машину вместе с многой другой полезной в сельском хозяйстве техникой. Томас Эдисон был дальним родственником Шеннонов.

Первые шестнадцать лет своей жизни Клод провел в Гэйлорде (Мичиган), где в 1932 году закончил Гэйлордскую общеобразовательную среднюю школу. В юности он работал курьером службы Western Union. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось ремонтировать радиостанции для местного универмага.

Шеннон, по собственным словам, был аполитичным человеком и атеистом.

Университетские годы

В 1932 году Шеннон был зачислен в Мичиганский университет, где на одном из курсов познакомился с работами Джорджа Буля. В 1936 году Клод окончил Мичиганский университет, получив степень бакалавра по двум специальностям (математик и электротехник), и устроился в Массачусетский технологический институт (MIT), где работал ассистентом-исследователем. Он выполнял обязанности оператора на механическом вычислительном устройстве, аналоговом компьютере, называемом «дифференциальный анализатор», разработанным его научным руководителем Вэниваром Бушем. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шеннон увидел, что концепции Буля могут получить достойное применение. После того, как он проработал лето 1937 года в Bell Telephone Laboratories, он написал основанную на своей магистерской работе того же года статью «Символический анализ релейных и переключательных схем». Необходимо отметить, что Фрэнк Лорен Хичкок контролировал магистерскую диссертацию, давал полезную критику и советы. Сама статья была опубликована в 1938 году в издании Американского института инженеров-электриков (AIEE). В этой работе он показал, что переключающиеся схемы могут быть использованы для замены схем с электромеханическими реле, которые использовались тогда для маршрутизации телефонных вызовов. Затем он расширил эту концепцию, показав, что эти схемы могут решить все проблемы, которые позволяет решить Булева алгебра. Также, в последней главе он представляет заготовки нескольких схем, например, 4-разрядного сумматора. За эту статью Шеннон был награждён Премией имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Доказанная возможность реализовывать любые логические вычисления в электрических цепях легла в основу проектирования цифровых схем. А цифровые цепи - это, как известно, основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шеннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».

Годы жизни:1916-2001

Источник шифрования устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.

©Клод Шеннон

Биография

Клод Шэннон родился 30 апреля 1916 года в городе Петоцки, штат Мичиган, США. Первые шестнадцать лет своей жизни Клод провел в Гэйлорде, Мичиган, где в 1932 году он закончил общеобразовательную среднюю школу Гэйлорда. В юности он работал курьером службы Western Union. Отец его был адвокатом и в течение некоторого времени судьей. Его мать была преподавателем иностранных языков и впоследствии стала директором Гэйлордской средней школы. Молодой Клод увлекался конструированием механических и автоматических устройств. Он собирал модели самолетов и радиотехнические цепи, создал радиоуправляемую лодку и телеграфную систему между домом друга и своим домом. Временами ему приходилось исправлять радиостанции для местного универмага. Томас Эдисон был его дальним родственником.

В 1932 году Шэннон был зачислен в Мичиганский университет, где выбрал курс, посещая который начинающий ученый познакомился с работами Джорджа Буля. В 1936 году Клод оканчивает Мичиганский университет, получив степень бакалавра по двум специальностям математика и электротехника, и устраивается в Массачусетский технологический институт (MIT), где он работал ассистентом-исследователем на дифференциальном анализаторе Ванневара Буша - аналоговом компьютере. Изучая сложные, узкоспециализированные электросхемы дифференциального анализатора, Шэннон увидел, что концепции Буля могут получить достойное применение. Статья, написанная с его магистерской работы 1937 года «Символьный анализ реле и коммутаторов», была опубликована в 1938 году в издании Американского института инженеров-электриков. Она также стала причиной вручения Шэннону Премии имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Цифровые цепи - это основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия. Говард Гарднер из Гарвардского университета отозвался о работе Шэннона, как о «возможно, самой важной, а также самой известной магистерской работе столетия».

По совету Буша Шзннон решил работать над докторской диссертацией по математике в MIT. Идея его будущей работы родилась у него летом 1939 года, когда он работал в лаборатории в Колд-Спринг-Харбор (штат Нью-Йорк). Буш был назначен президентом Института Карнеги в Вашингтоне и предложил Шэннону принять участие в работе, которую делала Барбара Беркс по генетике. Именно генетика, по мнению Буша, могла послужить предметом приложения усилий Шэннона. Докторская диссертация Шеннона, получившая название «Алгебра для теоретической генетики», была завершена весной 1940 года. Шэннон получает докторскую степень по математике и степень магистра по электротехнике.

В период с 1941 по 1956 гг. Шэннон преподает в Мичиганском университете и работает в компании Белл (Bell Labs). В лаборатории Белл Шэннон, исследуя переключающие цепи, обнаруживает новый метод их организации, который позволяет уменьшить количество контактов реле, необходимых для реализации сложных логических функций. Он опубликовал доклад, названный «Организация двухполюсных переключающих цепей». Шеннон занимался проблемами создания схем переключения, развил метод, впервые упоминавшийся фон Нейманом и позволяющий создавать схемы, которые были надежнее, чем реле, из которых они были составлены. В конце 1940 года Шэннон получил Национальную научно-исследовательскую премию. Весной 1941 года он вернулся в компанию Белл. С началом Второй мировой войны Т. Фрай возглавил работу над программой для систем управления огнем для противовоздушной обороны. Шэннон присоединился к группе Фрая и работал над устройствами, засекавшими самолеты противника и нацеливавшими зенитные установки, также он разрабатывал криптографические системы, в том числе и правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельтачерез океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула его к созданию теории информации.

С 1950 по 1956 Шэннон занимался созданием логических машин, таким образом, продолжая начинания фон Неймана и Тьюринга. Он создал машину, которая могла играть в шахматы, задолго до создания Deep Blue. В 1952 Шеннон создал обучаемую машину поиска выхода из лабиринта.

Шэннон уходит на пенсию в возрасте пятидесяти лет, в 1966 году, но он продолжает консультировать компанию Белл (Bell Labs). В 1985 году Клод Шэннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шэннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном.

Он был разработчиком первой промышленной игрушки на радиоуправлении, которая выпускалась в 50-е годы в Японии (фото). Также он разработал устройство, которое могло складывать кубик Рубика (фото), мини компьютер для настольной игры Гекс, который всегда побеждал соперника (фото), механическую мышку, которая могла находить выход из лабиринта (фото). Также он реализовал идею шуточной машины «Ultimate Machine» (фото).

Теория связи в секретных системах

Работа Шэннона «Теория связи в секретных системах» (1945) с грифом «секретно», которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шэннон впервые начал изучать криптографию, применяя научный подход. В этой статье Шэннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шэннона является исследования абсолютно стойких систем и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шэннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии.

Статья «Математическая теория связи»

Статья «Математическая теория связи» была опубликована в 1948 году и сделала Клода Шэннона всемирно известным. В ней Шэннон изложил свои идеи, ставшие впоследствии основой современных теорий и техник обработки, передачи и хранения информации. Результаты его работ в области передачи информации по каналам связи запустили огромное число исследований по всему миру. Шэннон обобщил идеи Хартли и ввёл понятие информации, содержащейся в передаваемых сообщениях. В качестве меры информации передаваемого сообщения, Хартли предложил использовать логарифмическую функцию. Шэннон первым начал рассматривать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные, так и непрерывные множества сообщений. Развитая Шэнноном теория информации помогла решить главные проблемы, связанные с передачей сообщений, а именно: устранить избыточность передаваемых сообщений, произвести кодирование и передачу сообщений по каналам связи с шумами.

Решение проблемы избыточности подлежащего передаче сообщения позволяет максимально эффективно использовать канал связи. К примеру, современные повсеместно используемые методы снижения избыточности в системах телевизионного вещания на сегодняшний день позволяют передавать до шести цифровых программ коммерческого телевидения, в полосе частот, которую занимает обычный сигнал аналогового телевидения.

Решение проблемы передачи сообщения по каналам связи с шумами при заданном соотношении мощности полезного сигнала к мощности сигнала помехи в месте приема, позволяет передавать по каналу связи сообщения со сколь угодно малой вероятностью ошибочной передачи сообщения. Также, это отношение определяет пропускную способность канала. Это обеспечивается применением кодов, устойчивых к помехам, при этом скорость передачи сообщений по данному каналу должна быть ниже его пропускной способности.

В своих работах Шэннон доказал принципиальную возможность решения обозначенных проблем, это явилось в конце 40-х годов настоящей сенсацией в научных кругах. Данная работа, как и работы, в которых исследовалась потенциальная помехоустойчивость, дали начало огромному числу исследований, продолжающихся и по сей день, уже более полувека. Ученые из СССР и США (СССР - Пинскер (англ.)русск., Хинчин, Добрушин, Колмогоров; США -Галлагер (англ.)русск., Вольфовиц (англ.)русск., Файнстейн) дали строгую трактовку изложенной Шенноном теории.

На сегодняшний день все системы цифровой связи проектируются на основе фундаментальных принципов и законов передачи информации, разработанных Шэнноном. В соответствии с теорией информации, вначале из сообщения устраняется избыточность, затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь потом сообщение передается по каналу потребителю. Именно благодаря теории информации была значительно сокращена избыточность телевизионных, речевых и факсимильных сообщений.

Большое количество исследований было посвящено созданию кодов, устойчивых к помехам, и простых методов декодирования сообщений. Исследования, проведенные за последние пятьдесят лет, легли в основу созданной Рекомендации МСЭ по применению помехоустойчивого кодирования и методов кодирования источников информации в современных цифровых системах.

Теорема о пропускной способности канала.

Любой канал с шумом характеризуется максимальной скоростью передачи информации, этот предел назван в честь Шеннона. При передаче информации со скоростями, превышающими этот предел, происходят неизбежные искажения данных, но снизу к этому пределу можно приближаться с необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки передачи информации в зашумлённом канале

Теоремы Шэннона

Прямая и обратная теоремы Шэннона для источника общего вида - о связи энтропии источника и средней длины сообщений.
Прямая и обратная теоремы Шэннона для источника без памяти - о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования.
Прямая и обратная теоремы Шэннона для канала с шумами - о связи пропускной способности канала и существования кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю (при увеличении длины блока).
Теорема Найквиста - Шеннона (в русскоязычной литературе - теорема Котельникова) - об однозначном восстановлении сигнала по его дискретным отсчётам.
Теорема Шэннона об источнике шифрования (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.
Теорема Шэннона - Хартли

Анатолий Ушаков, д. т. н, проф. каф. систем управления и информатики, университет «ИТМО»

«Кто владеет информацией, тот владеет миром»

У. Черчилль

Рис. 1. Клод Шеннон (1916–2001)

Рис. 2. Клод Шеннон в Bell Labs (середина 1940-х гг.)

Рис. 3. У шифровальной машины

Первая из этих шести теорем связана с количественной оценкой информации, генерируемой источником информации, в рамках стохастического подхода на основе меры в виде энтропии с указанием ее свойств.
Вторая теорема посвящена проблеме рациональной упаковки символов, генерируемых источником, при их первичном кодировании. Она породила процедуру эффективного кодирования и необходимость введения в структуру системы передачи информации «кодера источника».
Третья теорема касается проблемы согласования потока информации из источника информации с пропускной способностью канала связи в условиях отсутствия помех, гарантирующего отсутствие искажения информации при передаче.
Четвертая теорема решает ту же задачу, что и предыдущая, но в условиях наличия в двоичном канале связи помех, действия которых на передаваемую кодовую посылку сообщения способствуют вероятности искажения произвольного бита кода. Теорема содержит условие замедления передачи, гарантирующее заданную вероятность безошибочной доставки кодовой посылки получателю. Данная теорема является методологической основой помехозащитного кодирования, которая привела к необходимости введения в структуру системы передачи «кодера канала».
Пятая теорема посвящена оценке пропускной способности непрерывного канала связи, характеризующегося некоторой частотной полосой пропускания и заданными мощностями полезного сигнала и сигнала помехи в канале связи. Теорема определяет так называемую границу Шеннона.
Последняя из теорем, именуемая теоремой Найквиста - Шеннона-Котельникова, посвящена проблеме безошибочного восстановления непрерывного сигнала по его дискретным по времени отсчетам, которая позволяет сформулировать требование к величине временного интервала дискретности, определяемого шириной частотного спектра непрерывного сигнала, и сформировать базисные функции, именуемые функциями отсчета.

Рис. 4. Лабиринт Шеннона

Рис. 5. Клод Шеннон - жонглер

Вконтакте

Литература

Shannon C. E. A Mathematical Theory of Communication. Bell Systems Technical Journal. July and Oct. 1948 // Claude Elwood Shannon. Collected Papers. N. Y., 1993. P. 8-111.
Shannon C. E. Communication in the presence of noise. Proc.IRE. 1949. V. 37. № 10.
Shannon C. E. Communication Theory of Secrecy Systems. Bell Systems Technical Journal. July and Oct. 1948 // Claude Elwood Shannon. Collected Papers. N. Y., 1993. P. 112-195.
Автоматы. Сборник статей под ред. К. Э. Шеннона, Дж. Маккарти / Пер. с англ. М.: Из-во Ин. лит. 1956.
Robert M. Fano Transmission of information: A statistical theory of communication. Published Jointly by the M.I.T., PRESS and JOHN WILEY & SONS, INC. New York, London. 1961.
www. research.att. com/~njas/doc/ces5.html.
Колмогоров А. Н. Предисловие // Работы по теории информации и кибернетике / К. Шеннон; пер. с англ. под. ред. Р. Л. Добрушина и О.Б. Лупанова; предисл. А. Н. Колмогорова. М., 1963.
Левин В. И. К.Э. Шеннон и современная наука // Вестник ТГТУ. 2008. Том 14. №3.
Винер Н. Я. – математик / Пер. с англ. М.: Наука. 1964.
Хинчин А. Я. Об основных теоремах теории информации. УМН 11:1 (67) 1956.
Колмогоров А. Н. Теория передачи информации. // Сессия Академии Наук СССР по научным проблемам автоматизации производства. 15–20 окт.1956 г. Пленарное заседание. М.: Изд-во АН СССР, 1957.
Колмогоров А. Н. Теория информации и теория алгоритмов. М.: Наука, 1987.

, кибернетика , математика , криптография

Место работы: Альма-матер : Известен как: Награды и премии

Премия им. А. Нобеля AIEE (1940) ;
Премия памяти М. Либмана (англ.) русск. IRE (1949) ;
Медаль Почёта IEEE (1966) ;
Национальная научная медаль (1966) ;
Премия Харви (1972) ;
Премия Киото (1985) .

Биография

В 1985 году Клод Шеннон со своей супругой Бетти посещает Международный симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал международные конференции, и сначала его даже не узнали. На банкете Клод Шеннон дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому, сравнивая его с сэром Исааком Ньютоном .

Он был разработчиком первой промышленной игрушки на радиоуправлении, которая выпускалась в 50-е годы в Японии (фото). Также он разработал устройство, которое могло складывать кубик Рубика (фото), мини компьютер для настольной игры Гекс , который всегда побеждал соперника (фото), механическую мышку, которая могла находить выход из лабиринта (фото). Также он реализовал идею шуточной машины «Ultimate Machine» (фото).

Теория связи в секретных системах

Работа Шеннона «Теория связи в секретных системах» (1945) с грифом «секретно», которую рассекретили и опубликовали только лишь в 1949 году, послужила началом обширных исследований в теории кодирования и передачи информации, и, по всеобщему мнению, придала криптографии статус науки. Именно Клод Шеннон впервые начал изучать криптографию, применяя научный подход. В этой статье Шеннон определил основополагающие понятия теории криптографии, без которых криптография уже немыслима. Важной заслугой Шеннона является исследования абсолютно стойких систем и доказательство их существования, а также существование криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже привычными понятия рассеивания и перемешивания, а также методы создания криптостойких систем шифрования на основе простых операций. Данная статья является отправным пунктом изучения науки криптографии.

Статья «Математическая теория связи»

Теорема Найквиста - Шеннона (в русскоязычной литературе - теорема Котельникова) - об однозначном восстановлении сигнала по его дискретным отсчётам.
(или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.
Теорема Шеннона - Хартли

См. также

Интерполяционная формула Уиттекера - Шеннона

Примечания

Литература

Shannon C. E. A Mathematical Theory of Communication // Bell System Technical Journal . - 1948. - Т. 27. - С. 379-423, 623-656.
Shannon C. E. Communication in the presence of noise // Proc. Institute of Radio Engineers . - Jan. 1949. - Т. 37. - № 1. - С. 10-21.
Шеннон К. Работы по теории информации и кибернетике. - М .: Изд-во иностранной литературы, 1963. - 830 с.

Ссылки

Библиография (англ.)

Категории:

Персоналии по алфавиту
Учёные по алфавиту
Родившиеся 30 апреля
Родившиеся в 1916 году
Родившиеся в Мичигане
Умершие 24 февраля
Умершие в 2001 году
Умершие в Массачусетсе
Математики США
Теория информации
Криптографы
Кибернетики
Пионеры компьютерной техники
Исследователи искусственного интеллекта
Учёные в области науки о системах
Выпускники Массачусетского технологического института
Выпускники Мичиганского университета
Преподаватели Массачусетского технологического института
Члены и члены-корреспонденты Национальной академии наук США
Иностранные члены Лондонского королевского общества
Математики XX века
Лауреаты премии Харви
Награждённые Национальной медалью науки США
Награждённые медалью почёта IEEE
Персоналии:Компьютерные шахматы
Электротехники США

Wikimedia Foundation . 2010 .

Шенников Александр Петрович
Шеннен Доэрти

Смотреть что такое "Шеннон, Клод" в других словарях:

ШЕННОН Клод - (полн. Клод Элвуд Шеннон, Claude Elwood Shannon) (16 апреля 1916, Гейлорд, Мичиган 24 февраля 2001, Кембридж, Массачусетс), американский математик, один из создателей математической теории информации; автор трудов по теории релейно контактных… … Энциклопедический словарь

Шеннон, Клод Элвуд

Шеннон Клод Элвуд - Клод Элвуд Шеннон (англ. Claude Elwood Shannon; родился 30 апреля 1916, Петоцки (Petoskey, Michigan) Мичиган, США, умер 24 февраля 2001, Медфорд, Массачусетс, США) американский математик и электротехник, один из создателей математической теории… … Википедия

Шеннон Клод Элвуд - Шеннон (Shannon) Клод Элвуд (р. 30.4.1916, Гейлорд, шт. Мичиган, США), американский учёный и инженер, один из создателей математической теории информации, с 1956 ‒ член национальной АН США и Американской академии искусств и наук. Окончил… … Большая советская энциклопедия