Клод Элвуд Шеннон, Claude Elwood Shannon
-
(30 апреля 1916, Петоцки, Мичиган, США - 24 февраля 2001, Медфорд, Массачусетс, США),
американский инженер и математик, его работы являются синтезом физико-математических идей
Людвига Больцмана об энтропии с конкретным анализом проблем передачи данных
по каналам связи их технической реализации. Клод Шеннон является основателем теории передачи информации, нашедшей применение в
современных высокотехнологических системах связи. Шеннон внес огромный вклад
в теорию вероятностных схем, теорию автоматов и теорию систем управления -
области наук, входящие в понятие "кибернетика". В 1948 году предложил
использовать слово "бит" для обозначения наименьшей единицы информации
(в статье "Математическая теория связи").
Биография Клода Шеннона
Клод Шеннон родился 30 апреля 1916 года в городе Петоцки, штат Мичиган, США.
Первые шестнадцать лет своей жизни Клод провел в Гэйлорде, Мичиган, где в 1932
году он закончил общеобразовательную среднюю школу Гэйлорда. В юности он
работал курьером службы Western Union. Отец его был адвокатом и в течение
некоторого времени судьей. Его мать была преподавателем иностранных языков и
впоследствии стала директором Гэйлордской средней школы. Молодой Клод увлекался
конструированием механических и автоматических устройств. Как и многие его
сверстники, он собирал модели самолетов и радиотехнические цепи, создал
радиоуправляемую лодку и телеграфную систему между домом друга и своим домом.
Временами ему приходилось исправлять радиостанции для местного универмага.
Томас Эдисон был его дальним родственником по еврейской линии.
В 1932 году Шеннон, окончив школу и работая разносчиком, поступил в
Мичиганский университет, где выбрал курс, посещая который начинающий ученый
познакомился с работами Джорджа Буля. В 1936
году Клод оканчивает Мичиганский университет, получив степень бакалавра по двум
специальностям математика и электротехника, и устраивается в Массачусетский
технологический институт (MIT), где он работал ассистентом-исследователем на
дифференциальном анализаторе Ванневара Буша — аналоговом компьютере. Изучая
сложные, узкоспециализированные электросхемы дифференциального анализатора,
Шэннон увидел, что концепции Буля могут получить достойное применение. Статья,
написанная с его магистерской работы 1937 года “Символьный анализ реле и
коммутаторов”, была опубликована в 1938 году в издании Американского института
инженеров-электриков AIEE. Она также стала причиной вручения Шэннону Премии
имени Альфреда Нобеля Американского института инженеров-электриков в 1940 году. Цифровые цепи — это основа современной вычислительной техники, таким образом, результаты его работ являются одними из наиболее важных научных результатов ХХ столетия.
По совету Буша Шеннон решил работать над докторской диссертацией по
математике в MIT. Идея его будущей работы родилась у него летом 1939 года,
когда он работал в лаборатории в Колд-Спринг-Харбор (штат Нью-Йорк). Буш был
назначен президентом Института Карнеги в Вашингтоне и предложил Шеннону принять
участие в работе, которую делала Барбара Беркс по генетике. Именно генетика, по
мнению Буша, могла послужить предметом приложения усилий Шеннона. Докторская
диссертация Шеннона, получившая название “Алгебра для теоретической генетики”,
была завершена весной 1940 года. Шеннон получает докторскую степень по
математике и степень магистра по электротехнике.
В период с 1941 по 1956 гг. Шеннон преподает в Мичиганском университете и
работает в компании Белл (Bell Labs). В лаборатории Белл Шеннон, исследуя
переключающие цепи, обнаруживает новый метод их организации, который позволяет
уменьшить количество контактов реле, необходимых для реализации сложных
логических функций. Он опубликовал доклад, названный “Организация двухполюсных
переключающих цепей”. Шеннон занимался проблемами создания схем переключения,
развил метод, впервые упоминавшийся фон Нейманом и позволяющий создавать схемы,
которые были надежнее, чем реле, из которых они были составлены. В конце 1940
года Шеннон получил Национальную научно-исследовательскую премию. Весной 1941
года он вернулся в компанию Белл. С началом Второй мировой войны Т. Фрай
возглавил работу над программой для систем управления огнем для
противовоздушной обороны. Шеннон присоединился к группе Фрая и работал над
устройствами, засекавшими самолеты противника и нацеливавшими зенитные
установки, также он разрабатывал криптографические системы, в том числе и
правительственную связь, которая обеспечивала переговоры Черчилля и Рузвельта
через океан. Как говорил сам Шеннон, работа в области криптографии подтолкнула
его к созданию теории передачи информации.
С 1950 по 1956 Шеннон занимался созданием логических машин, таким образом,
продолжая начинания фон Неймана и Тьюринга. Он создал машину, которая могла
играть в шахматы, задолго до создания Deep Blue. В 1952 Шеннон создал обучаемую
машину поиска выхода из лабиринта.
Шеннон уходит на пенсию в возрасте пятидесяти лет, в 1966 году, но он
продолжает консультировать компанию Белл (Bell Labs).
В 1985 году Клод Шеннон со своей супругой Бетти посещает Международный
симпозиум по теории информации в Брайтоне. Шеннон довольно долго не посещал
международные конференции, и сначала его даже не узнали. На банкете Клод Шеннон
дал короткую речь, пожонглировал всего тремя мячиками, а затем раздал сотни и
сотни автографов изумленным его присутствием ученым и инженерам, отстоявшим
длиннейшую очередь, испытывая трепетные чувства по отношению к великому ученому,
сравнивая его с Исааком Ньютоном (что весьма символично и поучительно для
тех, кто реально мыслит и реально знает, кто такой И. Ньютон).
Он был разработчиком первой промышленной игрушки на радиоуправлении, которая
выпускалась в 50-е годы в Японии. Также он разработал устройство, которое могло
складывать кубик Рубика, мини компьютер для настольной игры Гекс, который
благодаря продуманному жульничеству всегда побеждал соперника, механическую
мышку, которая могла находить выход из лабиринта. Также он реализовал идею
шуточной машины “Ultimate Machine”.
Клод Шеннон скончался 24 февраля 2001 года в возрасте 84 года, прожив
34 года на пенсии.
Теория связи в секретных системах
Работа Шеннона “Теория связи в секретных системах” (1945) с грифом
“секретно”, которую рассекретили и опубликовали только лишь в 1949 году,
послужила началом обширных исследований в теории кодирования и передачи
информации, и, по всеобщему мнению, придала криптографии статус науки.
Именно Клод Шеннон впервые среди американцев начал изучать криптографию,
применяя научные подходы, разработанные математиками еще в XIX веке.
В этой статье Шеннон определил основополагающие понятия теории криптографии,
без которых криптография уже немыслима. Важной заслугой Шеннона является
исследования абсолютно стойких систем (которых на самом деле не существует в
принципе) и доказательство их существования, а также существование
криптостойких шифров, и требуемые для этого условия. Шеннон также сформулировал
основные требования, предъявляемые к надежным шифрам. Он ввёл ставшие уже
привычными понятия рассеивания и перемешивания, а также методы создания
криптостойких систем шифрования на основе простых операций. Данная статья
является отправным пунктом изучения науки криптографии в США.
Статья “Математическая теория связи”
Статья “Математическая теория связи” была опубликована в 1948 году и сделала
Клода Шеннона всемирно известным. В ней Шеннон изложил свои идеи, ставшие
впоследствии основой современных американских теорий и техник обработки,
передачи и хранения информации. Шеннон обобщил идеи Хартли и ввёл понятие
информации, содержащейся в передаваемых сообщениях, эквивалентное тому, что
было известно в термодинамике со времен Больцмана (1873) под названием "энтропия".
В качестве меры информации передаваемого сообщения, Хартли предложил
использовать логарифмическую функцию
I = log M
Шеннон первым начал рассматривать передаваемые сообщения и шумы в каналах
связи с точки зрения статистики Больцмана, рассматривая как конечные, так и
непрерывные множества сообщений. Развитая Шенноном теория передачи информации
помогла решить проблемы, связанные с передачей сообщений, а именно: устранить
избыточность передаваемых сообщений, произвести кодирование и передачу
сообщений по каналам связи с шумами.
Решение проблемы передачи сообщения по каналам связи с шумами при заданном
соотношении мощности полезного сигнала к мощности сигнала помехи в месте
приема, позволяет передавать по каналу связи сообщения с достаточно малой
вероятностью ошибки при передаче сообщения. Также, это отношение определяет
пропускную способность канала. Это обеспечивается применением кодов, устойчивых
к помехам, при этом скорость передачи сообщений по данному каналу должна быть
ниже его пропускной способности.
В своих работах Шеннон доказал принципиальную возможность решения
обозначенных проблем, это явилось в конце 40-х годов настоящей сенсацией в
американских научных кругах.
Ученые из СССР и США (СССР — Хинчин, Добрушин, Колмогоров; США — Галлагер,
Вольфовиц, Файнштейн дали строгую математическую трактовку изложенной Шенноном
теории.
На сегодняшний день системы цифровой связи всё ещё проектируются на основе
принципов передачи информации, разработанных Шенноном (что, к сожалению,
характерно для вузовских программ обучения). В соответствии с теорией
передачи информации Шеннона, вначале из сообщения устраняется избыточность,
затем информация кодируется при помощи кодов, устойчивых к помехам, и лишь
потом сообщение передается по каналу потребителю (В XXI веке новые технологии
уже не используют таких примитивных схем).
Благодаря теории передачи информации Шеннона была значительно сокращена
избыточность телевизионных, речевых и факсимильных сообщений в XX веке.
Большое количество исследований было посвящено созданию кодов, устойчивых к
помехам, и простых методов декодирования сообщений.
Теорема о пропускной способности канала (теорема Котельникова, 1933,
приписываемая американской пропагандой Шеннону, которому в 1933 году было 17
лет, и он в это время работал разносчиком газет):
любой канал с шумом характеризуется максимальной скоростью передачи информации, этот предел назван в честь Шеннона.
При передаче информации со скоростями, превышающими этот предел, происходят
неизбежные искажения данных, но снизу к этому пределу можно приближаться с
необходимой точностью, обеспечивая сколь угодно малую вероятность ошибки
передачи информации в зашумлённом канале.
Теоремы Клода Шеннона
Прямая и обратная теоремы Шеннона для источника общего вида — о связи энтропии источника и средней длины сообщений.
Прямая и обратная теоремы Шеннона для источника без памяти — о связи энтропии источника и достижимой степени сжатия с помощью кодирования с потерями и последующего неоднозначного декодирования.
Прямая и обратная теоремы Шеннона для канала с шумами — о связи пропускной способности канала и существования кода, который возможно использовать для передачи с ошибкой, стремящейся к нулю при увеличении длины блока. (В теории информации, по традиции, утверждения типа “для любого кода имеет место некоторое свойство” называются обратными теоремами, а утверждения типа “Существует код с заданным свойством” — прямыми теоремами).
Шеннон повторно в 1949 году доказал теорему Котельникова 1933 года, которая на Западе называется теоремой Найквиста — Шеннона — об однозначном восстановлении сигнала по его дискретным отсчётам.
Теорема Шеннона об источнике шифрования (или теорема бесшумного шифрования) устанавливает предел максимального сжатия данных и числовое значение энтропии Шеннона.
Теорема Шеннона — Хартли
Труды Клода Шеннона
Shannon C. E. A Mathematical Theory of Communication // Bell System Technical Journal. — 1948. — Т. 27. — С. 379—423, 623—656.
Shannon C. E. Communication in the presence of noise // Proc. Institute of Radio Engineers. — Jan. 1949. — Т. 37. — № 1. — С. 10—21.
Шеннон К. Работы по теории информации и кибернетике. — М.: Изд-во иностранной литературы, 1963. — 830 с.
Знаете ли Вы, что релятивистское объяснение феномену CMB (космическому микроволновому излучению) придумал человек выдающейся фантазии Иосиф Шкловский (помните книжку миллионного тиража "Вселенная, жизнь, разум"?). Он выдвинул совершенно абсурдную идею, заключавшуюся в том, что это есть "реликтовое" излучение, оставшееся после "Большого Взрыва", то есть от момента "рождения" Вселенной. Хотя из простой логики следует, что Вселенная есть всё, а значит, у нее нет ни начала, ни конца... Подробнее читайте в FAQ по эфирной физике.
