ナイキスト・シャノンの定理
定理 [ ] あらゆる多重かつ多相の符号化技法を考慮すると、シャノン・ハートレーの定理から導かれる通信路容量 C （誤り無しか低誤り率で転送可能な最大レート）は、信号の平均の強さを S、ノイズの強さを N としたとき次のように与えられる。 歴史 [ ] 1920年代後半ごろ、とは様々な情報転送に関する基本概念を生み出した。 特に通信システムとしてを対象としていた。 当時、それらの概念は強力なブレークスルーではあったが、理論として体系化されるまでには至らなかった。 1940年代、はナイキストやハートレーの業績に基づいて通信路容量の概念を生み出し、として体系化した。 ナイキスト・レート [ ] 1927年、ナイキストは、電報の通信路に単位時間当たりに送り込めるパルス数がの2倍に制限されていることを示した。 式で表すと次のようになる。 2 B という値は後に「」と呼ばれるようになり、限界である 2 B のパルスを送ることを「ナイキスト・レートでの信号送信」と呼ぶようになった。 ナイキストは、これを1928年の論文 "Certain topics in Telegraph Transmission Theory" の一部として発表した。 ハートレーの法則 [ ] 同年、ハートレーは通信路で転送できる情報の量とレートを定式化した。 後にハートレーの法則と呼ばれるようになり、シャノンの伝送路符号化理論の重要な先駆けとなった。 ハートレーの主張は、通信路上で確実に区別して転送可能な最大の信号振幅のレベルの数は、信号の振幅のダイナミックレンジと受信側がその振幅レベルを識別できる精度によって制限されるということである。 特に、転送される信号の振幅が [ — A... ハートレーの法則という用語はこの比例のことを指す場合もある。 そして、ハートレーはナイキスト・レートを取り入れて達成可能な情報レート R （ビット毎秒）を以下のように定式化した。 この形式をハートレーの法則とする場合もある。 そのため、システム設計者は低い誤り率を達成するために M を安全側に設定せざるを得なかった。 誤りのない容量の定量化はクロード・シャノンまで待たねばならなかった。 シャノンは、ハートレーの業績（パルス数の対数が情報量）とナイキストの業績（帯域幅による制限）に基づいて理論を構築した。 ハートレーの定式化した容量は、誤りのない M 値の通信路で毎秒 2 B 個の記号（ビット）を送る場合に相当する。 これを通信路容量という場合もあるが、誤りのない通信路は一種の理想化であり、シャノン・ハートレーの定理で示される誤りのある通信路での通信路容量に比べると実用性は低い。 通信路符号化と通信路容量の理論 [ ] 詳細は「」を参照 のは第二次世界大戦中に構築され、ノイズのある通信路上で確実に通信できる情報量を把握するための大きな進歩となった。 ハートレーの成果を発展させ、シャノンがに発表したは、ノイズの影響下での方法の効率の最大値を示した。 この定理の証明によって、無作為に構築された誤り訂正符号が本質的に最高の符号でもあることを示した。 証明はそのような無作為な符号の統計的操作によって行われた。 シャノンの定理は通信路の統計的記述からを計算する方法を示している。 従って、通信路容量を超えて意味のある情報を転送することはできない。 この定理では転送レートと通信路容量が同じという稀な状況については特に何も示していない。 シャノン・ハートレーの定理 [ ] シャノン・ハートレーの定理は、有限の帯域幅でガウスノイズのある連続時間の通信路での通信路容量を明らかにした。 無限の帯域幅でノイズのないアナログ通信路があったとしたら、単位時間当たりに誤りなしで転送可能なデータの量は無限となるだろう。 しかし、実際の通信路には帯域幅の面でもノイズの面でも制限がある。 さて、帯域幅やノイズはアナログ通信路での情報転送レートにどのような影響を与えるのだろうか? 驚くべきことに、帯域幅の制限は最大情報転送レートを制限しない。 これはつまり、ノイズさえなければ信号の様々なレベルに異なる意味（あるいはビット列）を割り当てることで多量の情報を送ることが出来、これを突き詰めて行けば、瞬間の信号レベルだけで無限の情報を送ることも原理的には可能なのである。 しかし、帯域幅とノイズの両方を考慮した場合、転送可能な情報量は制限される。 シャノン・ハートレーの定理が想定した通信路では、信号のノイズは足しあわされる。 つまり、受信側が観測する信号は、元々の符号化された信号とノイズの無作為な値の総和である。 この加算によって、元々の信号がどうであったかが不確かになる。 受信側がノイズを生成する確率過程について情報を持っていれば、理論的には、ノイズがある時点でとりうる値を考慮することで元々の情報を復活させることができる。 シャノン・ハートレーの定理では、ノイズは分散の明らかになっているガウスノイズとされている。 ガウス過程の分散はその電力と等価なので、それをノイズの電力と便宜的に呼ぶ。 このような通信路を加算性ホワイトガウスノイズ AWGN 通信路と呼ぶ。 「ホワイト」と付くのは、帯域幅の全周波数においてノイズが同じ強さであるためである。 このようなノイズは何らかのエネルギー源が発生する場合もあるし、送信機や受信機での誤作動によって発生する場合もある。 独立したガウス確率変数の総和もガウス確率変数であるため、ノイズ発生源が複数あったとしても解析は容易である。 このような両法則の類似から、 M個のパルスレベルが文字通り何の混乱もなく転送できると解釈されるべきではない。 冗長で誤り訂正可能な符号化をするにはそれ以上のレベルが必要であり、それも含めて全体としてのデータ転送レートの最大がハートレーの法則の M になるのである。 その他の形式 [ ] 周波数依存の場合 [ ] これまでの単純な想定では、信号とノイズには全く相関がなかった。 そのため、以下のように近似される。 035 であるから、SNR は -14. 5 dB となる。 つまり、通信によるノイズよりも弱い信号で転送が可能であることが示されている。 参考文献 [ ]• , "Transmission of Information," Bell System Technical Journal, July 1928. , The Mathematical Theory of Communication. Urbana, IL:University of Illinois Press, 1949 reprinted 1998. Shannon, , Proc. Institute of Radio Engineers, vol. 37, no. 1, pp. 10-21, Jan. 1949. Herbert Taub, Donald L. Schilling 1986. Principles of Communication Systems. McGraw-Hill• John M. Wozencraft and Irwin Mark Jacobs 1965. Principles of Communications Engineering. 外部リンク [ ]•
次の
シャノンの通信路符号化定理
定理 [編集 ] あらゆる多重かつ多相の符号化技法を考慮すると、シャノン・ハートレーの定理から導かれる通信路容量 C （誤り無しか低誤り率で転送可能な最大レート）は、信号の平均の強さを S、ノイズの強さを N としたとき次のように与えられる。 歴史 [編集 ] 1920年代後半ごろ、とは様々な情報転送に関する基本概念を生み出した。 特に通信システムとしてを対象としていた。 当時、それらの概念は強力なブレークスルーではあったが、理論として体系化されるまでには至らなかった。 1940年代、はナイキストやハートレーの業績に基づいて通信路容量の概念を生み出し、として体系化した。 ナイキスト・レート [編集 ] 1927年、ナイキストは、電報の通信路に単位時間当たりに送り込めるパルス数がの2倍に制限されていることを示した。 式で表すと次のようになる。 2 B という値は後に「」と呼ばれるようになり、限界である 2 B のパルスを送ることを「ナイキスト・レートでの信号送信」と呼ぶようになった。 ナイキストは、これを1928年の論文 "Certain topics in Telegraph Transmission Theory" の一部として発表した。 ハートレーの法則 [編集 ] 同年、ハートレーは通信路で転送できる情報の量とレートを定式化した。 後にハートレーの法則と呼ばれるようになり、シャノンの伝送路符号化理論の重要な先駆けとなった。 ハートレーの主張は、通信路上で確実に区別して転送可能な最大の信号振幅のレベルの数は、信号の振幅のダイナミックレンジと受信側がその振幅レベルを識別できる精度によって制限されるということである。 特に、転送される信号の振幅が [ — A... ハートレーの法則という用語はこの比例のことを指す場合もある。 そして、ハートレーはナイキスト・レートを取り入れて達成可能な情報レート R （ビット毎秒）を以下のように定式化した。 この形式をハートレーの法則とする場合もある。 そのため、システム設計者は低い誤り率を達成するために M を安全側に設定せざるを得なかった。 誤りのない容量の定量化はクロード・シャノンまで待たねばならなかった。 シャノンは、ハートレーの業績（パルス数の対数が情報量）とナイキストの業績（帯域幅による制限）に基づいて理論を構築した。 ハートレーの定式化した容量は、誤りのない M 値の通信路で毎秒 2 B 個の記号（ビット）を送る場合に相当する。 これを通信路容量という場合もあるが、誤りのない通信路は一種の理想化であり、シャノン・ハートレーの定理で示される誤りのある通信路での通信路容量に比べると実用性は低い。 通信路符号化と通信路容量の理論 [編集 ] 詳細は「」を参照 のは第二次世界大戦中に構築され、ノイズのある通信路上で確実に通信できる情報量を把握するための大きな進歩となった。 ハートレーの成果を発展させ、シャノンがに発表したは、ノイズの影響下での方法の効率の最大値を示した。 この定理の証明によって、無作為に構築された誤り訂正符号が本質的に最高の符号でもあることを示した。 証明はそのような無作為な符号の統計的操作によって行われた。 シャノンの定理は通信路の統計的記述からを計算する方法を示している。 従って、通信路容量を超えて意味のある情報を転送することはできない。 この定理では転送レートと通信路容量が同じという稀な状況については特に何も示していない。 シャノン・ハートレーの定理 [編集 ] シャノン・ハートレーの定理は、有限の帯域幅でガウスノイズのある連続時間の通信路での通信路容量を明らかにした。 無限の帯域幅でノイズのないアナログ通信路があったとしたら、単位時間当たりに誤りなしで転送可能なデータの量は無限となるだろう。 しかし、実際の通信路には帯域幅の面でもノイズの面でも制限がある。 さて、帯域幅やノイズはアナログ通信路での情報転送レートにどのような影響を与えるのだろうか? 驚くべきことに、帯域幅の制限は最大情報転送レートを制限しない。 これはつまり、ノイズさえなければ信号の様々なレベルに異なる意味（あるいはビット列）を割り当てることで多量の情報を送ることが出来、これを突き詰めて行けば、瞬間の信号レベルだけで無限の情報を送ることも原理的には可能なのである。 しかし、帯域幅とノイズの両方を考慮した場合、転送可能な情報量は制限される。 シャノン・ハートレーの定理が想定した通信路では、信号のノイズは足しあわされる。 つまり、受信側が観測する信号は、元々の符号化された信号とノイズの無作為な値の総和である。 この加算によって、元々の信号がどうであったかが不確かになる。 受信側がノイズを生成する確率過程について情報を持っていれば、理論的には、ノイズがある時点でとりうる値を考慮することで元々の情報を復活させることができる。 シャノン・ハートレーの定理では、ノイズは分散の明らかになっているガウスノイズとされている。 ガウス過程の分散はその電力と等価なので、それをノイズの電力と便宜的に呼ぶ。 このような通信路を加算性ホワイトガウスノイズ AWGN 通信路と呼ぶ。 「ホワイト」と付くのは、帯域幅の全周波数においてノイズが同じ強さであるためである。 このようなノイズは何らかのエネルギー源が発生する場合もあるし、送信機や受信機での誤作動によって発生する場合もある。 独立したガウス確率変数の総和もガウス確率変数であるため、ノイズ発生源が複数あったとしても解析は容易である。 このような両法則の類似から、 M個のパルスレベルが文字通り何の混乱もなく転送できると解釈されるべきではない。 冗長で誤り訂正可能な符号化をするにはそれ以上のレベルが必要であり、それも含めて全体としてのデータ転送レートの最大がハートレーの法則の M になるのである。 その他の形式 [編集 ] 周波数依存の場合 [編集 ] これまでの単純な想定では、信号とノイズには全く相関がなかった。 そのため、以下のように近似される。 035 であるから、SNR は -14. 5 dB となる。 つまり、通信によるノイズよりも弱い信号で転送が可能であることが示されている。 参考文献 [編集 ]• , "Transmission of Information," Bell System Technical Journal, July 1928. , The Mathematical Theory of Communication. Urbana, IL:University of Illinois Press, 1949 reprinted 1998. Shannon, , Proc. Institute of Radio Engineers, vol. 37, no. 1, pp. 10-21, Jan. 1949. Herbert Taub, Donald L. Schilling 1986. Principles of Communication Systems. McGraw-Hill. John M. Wozencraft and Irwin Mark Jacobs 1965. Principles of Communications Engineering. 関連項目 [編集 ]• 外部リンク [編集 ]•
次の
シャノンの通信容量定理と切れづらい無線｜無線技術・理論｜技術情報｜産業用ラジコン｜双葉電子工業株式会社
において、 シャノンの通信路符号化定理（シャノンのつうしんろふごうかていり、: noisy-channel coding theorem）とは、のレベルがどのように与えられたとしても、その通信路を介して計算上の最大値までほぼエラーのない離散データ（デジタル）を送信することが可能であるという定理である。 この定理は、1948年にによって発表されたが、これはとの初期の仕事とアイデアに一部基づいていた。 シャノンの第一基本定理（）に対して シャノンの第二基本定理とも言い、単に シャノンの定理とも言う。 上記の「計算上の最大値」を 通信路容量（またはシャノン限界、シャノン容量とも）といい、特定の雑音レベルについて、通信路の理論上の最大情報転送である。 概要 [編集 ] 1948年にによって定式化されたこの定理は、の可能な最大効率と雑音干渉およびデータ破損のレベルを記述している。 シャノンの定理は、通信との両方に幅広く応用されている。 この定理は、現代的なの分野にとって根本的に重要なものである。 シャノンは証明の概要を記述しただけで、離散した場合の最初の厳密な証明は、1954年のAmiel Feinsteinによるものである。 全ての符号は、ある正の最小レベルよりも大きい誤り率を有し、このレベルは、レートが増加するにつれて増加する。 従って、情報は、通信路容量を超えた速度で通信路を介して確実に伝送されることを保証することはできない。 この定理は、速度と容量が等しい稀な状況に対処するものではない。 通信路容量 C は、通信路の物理的特性から計算することができる。 を伴う帯域制限された通信路に対しては、を用いる。 「メッセージが3回送信され、受信されたメッセージが異なる場合に、3つの中で最良の2つを使用する」などの単純なスキームは、非効率的な誤り訂正法であり、データブロックが誤りなしに通信できることを漸近的に保証することはできない。 、 LDPC 、などの高度な技術は、理論的な通信路容量に近づくが、計算上の複雑さを犠牲にしている。 今日のでは、これらの高性能な符号化と計算能力を使用することで、通信路容量に非常に近いところまで到達することが可能になっている。 実際、LDPC符号は、非常に長いブロック長を有する2進AWGNチャネルの場合に、通信路容量の0. 0045dB以内に到達することができることが示された。 数学的な記述 [編集 ] 定理 Shannon, 1948 : 1. ビットの誤り率 p b が許容可能である場合、 R p b までのレートが達成可能である。 任意の p b について、 R p b より大きいレートは達成できない。 証明の概要 [編集 ] 情報理論における他のいくつかの主要な結果と同様に、雑音のある通信路符号化定理の証明は、達成可能な結果と、一致する逆の結果を含む。 この場合、これらの2つの成分は、ノイズの多い通信路を介して通信できる可能なレートのセットに結びつき、これらの境界が狭い境界であることを示すために役立つ。 以下の概要は、情報理論の教科書による学習で利用できる多くの異なるスタイルのうちの1つのセットである。 離散無記憶通信路の達成可能性 [編集 ] この達成可能性の証明は、 漸近的等分配性 （） AEP を利用する証明のスタイルに従う。 誤り指数 （）を用いた情報理論の教科書では、別のスタイルが使用されている。 どちらのタイプの証明でも、通信路全体で使用される符号一覧表がランダムに構成されているランダムな符号化引数を使用する。 これは、通信路容量以下の任意のデータレートで所望の低い誤り率を満足する符号の存在を証明しながら、解析をより簡単にするのに役立つ。 この符号は送信者と受信者に公開される。 メッセージ W は、通信路を介して送信される。 同時典型な符号語が存在しない場合、または2つ以上存在する場合は、誤りが宣言される。 復号された符号語が元の符号語と一致しない場合にも誤りが発生する。 これを典型集合復号 typical set decoding という。 このスキームの誤り率は、以下の2つの部分に分割される。 受信されたY系列に対して同時典型のX系列が見つからない場合、誤りが発生する可能性がある。 誤ったX系列が受信されたY系列と同時典型である場合、誤りが発生する可能性がある。 符号構成のランダム性によって、全ての符号にわたって平均化された平均誤り率は、送信されたインデックスに依存しないと仮定することができる。 同時AEPから、 n が大きくなるにつれて同時典型な X が存在しない確率は0になる。 最後に、平均符号一覧表が「良好」であると仮定すると、性能が平均より優れている符号一覧表が存在することがわかっており、雑音の多い通信路全体で通信する任意の低い誤り確率の必要性を満たす。 W をこの集合の上に一様に索引として描く。 R が C より小さい場合、任意の低いレートか、誤りしか得られない。 非定常無記憶通信路のための通信路符号化定理 [編集 ] 通信路は無記憶であると仮定しているが、その遷移確率は送信機および受信機において既知の方法で時間と共に変化する。 最大値は、それぞれの通信路の分配を達成する容量で達成される。 証明の概要 [編集 ] この証明は、通信路符号化定理とほぼ同じ方法で実行される。 達成可能性は、その特定の通信路のための容量を達成する能力から無作為に選択された各シンボルを用いたランダム符号化に続く。 典型的な引数は、 漸近的等分配性 （）の記事で定義る非定常情報源の典型集合の定義を使用する。 関連項目 [編集 ]• 漸近的等分配性 （） AEP• レート歪み理論 （）• 脚注 [編集 ]• Sae-Young Chung, G. David Forney, Jr. , Thomas J. 2001. ISSN 1089-7798• MacKay 2003 , p. 162; cf Gallager 1968 , ch. 5; Cover and Thomas 1991 , p. 198; Shannon 1948 thm. ここで、"sup"関数はを表す。 Robert Gallager. Information Theory and Reliable Communication. New York: , 1968. 0-471-29048-3 出典 [編集 ]• Cover T. （）, Thomas J. , Elements of Information Theory, , 1991. 0-471-06259-6• , Transmission of information; a statistical theory of communications, , 1961. 0-262-06001-9• Feinstein, Amiel, "A New basic theorem of information theory", IEEE Transactions on Information Theory, 4 4 : 2-22, 1954. MacKay, David J. （）, , , 2003. 0-521-64298-1 [free online]• , Urbana, IL: University of Illinois Press, 1949 reprinted 1998. Wolfowitz, J. （）, "The coding of messages subject to chance errors", Illinois J. Math. , 1: 591—606, 1957. 外部リンク [編集 ]•
次の