5ちゃんねる ★スマホ版★ ■掲示板に戻る■ 全部 1- 最新50  

■ このスレッドは過去ログ倉庫に格納されています

情報理論・符号理論を語るスレ

1 :Nanashi_et_al.:05/01/09 16:06:56
無かったので立ててみました。

2 :Nanashi_et_al.:05/01/09 16:09:01
人生につかれています

3 :Nanashi_et_al.:05/01/09 16:11:10
シャノン賞

この賞は情報理論の創始者であるシャノンの業績を称えて
IEEEの情報理論ソサイエティが1973年に創設したもので
同ソサイエティ最高の賞であります。
第1回目の受賞者はシャノン先生です。
各年の受賞者は高々1名です。


4 :Nanashi_et_al.:05/01/09 16:11:17
ホ食え

5 :Nanashi_et_al.:05/01/09 16:11:37
>第1回目の受賞者はシャノン先生です。

知らなかった。

6 :Nanashi_et_al.:05/01/09 16:12:55
>>2
卒論ですか?

7 :Nanashi_et_al.:05/01/10 07:14:45
なんか語ろーぜってことでネタ振り.

LDPC符号ってどうなんやろうね.最近研究する人むっちゃ増えてるが…
俺にはいまいちすごい符号とは思えん.

8 :Nanashi_et_al.:05/01/10 19:19:08
Turing賞ってどうなんだろうね?
Shannon賞 > Turing賞 ?

9 :Nanashi_et_al.:05/01/10 19:45:43
>>8 逆かと。

10 :Nanashi_et_al.:05/01/11 17:56:56
応用数学科で情報理論やってる人って将来何になるの??

11 :Nanashi_et_al.:05/01/11 20:04:54
ユニバーサル符号とかターボ符号とか?

12 :Nanashi_et_al.:05/01/11 23:33:11
>11
そうだと思うんだが

13 :Nanashi_et_al.:05/01/19 09:21:28
産総研てどうよ?

14 :Nanashi_et_al.:05/01/19 21:43:34
津田さん

15 :Nanashi_et_al.:05/01/21 13:23:12
誰ですか???

16 :Nanashi_et_al.:05/01/30 09:56:15
津田さん有名じゃん

17 :Nanashi_et_al.:05/02/16 21:24:03
マックスプランク研究所に移ってた

18 :Nanashi_et_al.:05/02/16 21:52:23
日本人でもらった人いる?> Shannon賞

19 :Nanashi_et_al.:05/02/16 23:37:45
ユニバーサル符号ってどんなの?

20 :Nanashi_et_al.:2005/04/02(土) 21:27:35
ハミングの必要条件の方は分かるのだが、
十分条件が分からん。
2t-1ってどこから出てくるの?


21 :Nanashi_et_al.:2005/05/31(火) 13:31:11
誰か情報量の定義の導出の仕方教えてください
(1)生起確率pが大きければ大きいほど情報量は小さくなる、つまり情報量I(p)はpの単調減少関数である
(2)I(p1・p2)=I(p1)+I(p2)

以上から情報量I(p)=-klog(p)

(2)からklog(p)が導けません・・・・


22 :Nanashi_et_al.:2005/06/03(金) 10:22:29
http://d.hatena.ne.jp/keyword/%A5%A8%A5%F3%A5%C8%A5%ED%A5%D4%A1%BC

23 :Nanashi_et_al.:2005/06/03(金) 18:18:28
それは導出って言わない希ガス

24 :Nanashi_et_al.:2005/06/03(金) 21:26:06
積分すればいいんじゃない?

25 :Nanashi_et_al.:2005/06/03(金) 22:47:56
どうでもいいから>>22でも読んどけw

26 :Nanashi_et_al.:2005/06/04(土) 06:13:20
宿題やってろ

27 :Nanashi_et_al.:2005/06/04(土) 09:23:08
>>21

【entropy】無秩序さや乱雑さの度合い。

1. 熱力学的には、可逆な過程で系に与えられた熱量を系の絶対温度で除したものが過程の前後のエントロピーの差と定義される。
2. 統計力学的には、系が取りうる状態の数の自然対数?にボルツマン定数をかけた量。
3. 情報科学的には情報量?と同義。単位はビットになる。

 たとえば情報量の計算では、確率 P で起こる事象に関する情報量は -log_2 Pビットと計算される。
確率 1/8 で起こることなら 3bit、など。稀な事象が起こったという情報ほど情報としての重要性が大きいと言うこと。
たとえば「今日は中央線が人身事故のため遅れています」という情報はよくあることなので情報量が低い。
しかし「阪神が日本シリーズで優勝した」という情報は稀なことなので情報量が多い。

なぜ -Log Pなのかというと、例えば「中央線が止まってて、阪神が日本シリーズで優勝した」という情報の情報量は
それぞれの情報量の和になるが、そういう事が起こる確率はこの場合二つの事象がほぼ独立と考えられるので、
中央線が止まる確率 Pa と阪神優勝の確率 Pb の積 Pa・Pb となる。
log(Pa・Pb)=log Pa + log Pb となるので、Log ならばちゃんと二つの情報量の和になることが分かる。




28 :21:2005/06/04(土) 20:50:09
自己解決しました
微分の定義を使って導出できました

29 :Nanashi_et_al.:2005/06/05(日) 13:55:13
情報理論やるんだったら今井の本なんかじゃなくて
Thomas M Coverの「Elements of Information Theory」
読んで, Fellerで確率論勉強しましょう.
符号ならGallagerやMcelliceやBlahutかな?

30 :Nanashi_et_al.:2005/06/18(土) 19:33:11
情報エントロピーに関して,とても分かりやすくてしっかり計算方法が書いてあるおすすめの本ってないですか?

31 :Nanashi_et_al.:2005/07/04(月) 21:21:58
Richard Blahutの"Principle and Practice of Information Theory"

32 :Nanashi_et_al.:2005/07/04(月) 22:59:22
今井秀樹の情報理論 いいとおもいます。
工学部ならまずこれで勉強して言いと思います。

5 KB
■ このスレッドは過去ログ倉庫に格納されています

★スマホ版★ 掲示板に戻る 全部 前100 次100 最新50

read.cgi ver 05.04.00 2017/10/04 Walang Kapalit ★
FOX ★ DSO(Dynamic Shared Object)