Shannonç†è®ºä¸Žæ— æ¡ä»¶å®‰å ¨ - åŒ—äº¬å¤§å­¦è®¡ç®—æœºç§‘å­¦æŠ€æœ¯ç ”ç©¶æ‰€

内 容1. 引 言2. 概 率 论 基 础3. 完 善 保 密 性4. 熵5. 熵 的 性 质6. 伪 密 钥 和 唯 一 解 距 离7. 成 绩 密 码 体 制

12Ù ShannonnØ2.1Úó1949c§Shannon35Bell Systems Technical Journal6þuLØ©/Communication Theory of Secrecy System0¦Ï&—d²âC¤‰Æ"·‚òÆSShannonn:gŽµõ—5½Â§±9õ——èN›"—èN›Ž˜)ål§9Ž˜)ålO"—èO{µ¦È—è"

12Ù ShannonnØ2.1Úóµd—èN›S5A‡OKOŽS5µXJ¦^ ÐŽ{ô»˜‡—èN›I‡–NgöŠ§ùpN´˜‡š~Œêi§K@ ù‡—èN›´OŽS"vk˜‡—èN›y²´OŽS"Œy²S5µr˜‡—èN›S58( ,‡êÆJK"XrRSAS58( Œê©)(J5" Uy²S5†,˜‡¯Kƒ'§¿vky²´S"Ã^‡S5µbôÂöOscarPkà OŽ]§E,Ã{ô»—èXÚ§K@ T—èN›´Ã^‡S"

根 据 敌 手 的 计 算 能 力 :无 条 件 安 全 : 无 限 计 算 能 力 的 敌 手计 算 复 杂 理 论 下 的 安 全 : 多 项 式 计 算 能 力 的 敌 手 计 算 复 杂 理 论 下 安 全 协 议 的 可 证 明 性 :可 证 明 安 全 : 安 全 性 可 归 约 到 困 难 问 题 假 设计 算 安 全 : 敌 手 攻 击 被 限 制 在 一 个 确 定 的 计 算 能 力 基 础 上 不 可 被 证 明 的 情 况 事 实 上 , 我 们 只 严 格 区 分 敌 手 的 计 算 能 力 同 一 个 密 码 协 议 , 不 同 的 攻 击 对 应 不 同 的 安 全 例 如 : 零 知 识 证 明 , 证 明 者 是 Poly: 不 可 欺 骗 验 证 者 是 无 限 能 力 : 不 能 获 得 知 识

12Ù ShannonnØ2.2 VÇØÄ:y²ShannonSnØI‡^VÇØÄ:µÎÒ`²µX ‘ÅCþ§Pr[x] Pr[X = x]{"½n2.1£Bayes½n¤ XJPr[y] > 0§@oµPr[x|y] = Pr[x]Pr[y|x]Pr[y]íØ2.2 XÚY ´ÚOÕá‘ÅCþ§…=é¤kx ∈ XÚy ∈ Y §ÑkPr[x|y] = Pr[x]"

12Ù ShannonnØ2.3õ—5é—èN›(P, C, K, E, D)µ²©˜mP3˜‡VÇ©Ù§Ïd²©ƒ½Â˜‡‘ÅCþX"Pr[X = x]L«²©u)kVÇ"KL«—‘ÅCþ§@oPr[K = K ]L«—K u)VÇ"CL«—©‘ÅCþ"½Â2.3(õ—5)˜‡—èN›äkõ—5§=XJéu?¿x ∈ PÚy ∈ C§ÑkPr[x|y] = Pr[x]Ò´`§‰½—©y§²©xÇ"VÇu²©xkV

12Ù ShannonnØ2.3õ—5õ—5½Ân)µd?¿—©y²© xVǧÚØ—©xž²©xu)Vǘ§=—©¿ØUJø²©?Û&E§ùÚôÂöPkOŽ]´Ã'§=õ——èN›´Ã^‡S"e¡òy²˜—èN›§XJ— ^u˜g\—§@o´õ—" ¡Ñb—èN›— ^u˜g\—"Äky²Pr[x|y]LˆªµPr[X = x|Y = y] = Pr[X = x] × ∑ {K :x=d K (y)} Pr[K = K ]∑{K :y∈C(K )} Pr[K = K ]Pr[X = d K (y)](1)

12Ù ShannonnØ2.3õ—5éu—K ∈ K§½ÂµC(K ) = {e K (x) : x ∈ P} = —´K ž¤kŒU—©@oµ∑Pr[Y = y] = Pr[K = K ]Pr[X = d K (y)] (2){K :y∈C(K )}∑Pr[Y = y|X = x] =Pr[K = K ] (3){K :x=d K (y)}rþ¡ü‡ªf“\BayesúªPr[x|y] = Pr[x]Pr[y|x]Pr[y]ÒŒ±Ñª(1)"

a b PkK 1 1 2 1/2K 2 2 3 1/4K 3 3 4 1/41/4 3/4

12Ù ShannonnØ2.3õ—5e¡‰ÑA‡õ—5—èN›µ£ —èäkõ—5"½n2.4^‡e—èN›´õ—˜g˜——èN›÷v½n2.4§´õ—"5¿µ±þ—èN›õ—5´Äu— ^˜g^‡e"

12Ù ShannonnØ2.3õ—5½n2.3b£ —è26‡—Ñ´±ƒÓVÇ1/26¦^§Kéu?¿²©VÇ©Ù§£ —èäkõ—5"`²µ±þ½n`²XJ£ —è— ´^u˜g\—§@o´/ØŒô»0§ÚôÂöPkOŽ]Ã'"— ^u˜g\—§ØuƒÓ—K ^u˜g\—¥§ŒU3 ¡\—¥E,¬¦^—K §´zg\—ÀJ—Ñ´ÚOÕᧅz‡ŠVÇþ"

12Ù ShannonnØ2.3õ—5y²µPr[Y = y] = ∑K ∈Z 26Pr[K = K ]Pr[X = d K (y)]= ∑ 126 Pr[X = y − K ] ⇐= Pr[K ] = 1 26 , d K (y) = y − KK ∈Z 26= 1 ∑Pr[X = y − K ]26K ∈Z 26= 1 · 126⇐= Ï y − K (K = 0, . . . , 25)Ц= 1260, . . . , 25þz‡Š˜g

12Ù ShannonnØ2.3õ—5Pr[y|x] = Pr[K = (y − x) mod 26] ⇐= y = (x + K ) mod 26= 1 26A^Bayesúª§OŽµPr[x|y] = Pr[x]Pr[y|x]Pr[y]= Pr[x] 126126= Pr[x]Ïdy²£ —è´õ—5"

12Ù ShannonnØ2.3õ—5XJbPr[y] > 0£ù‡b´Ün§Ï XJPr[y] = 0§·‚Œ±r§l—©˜mC¥K¤§@okõ—7‡^‡µ|K| ≥ |C|µdBayes½n§éu?¿x ∈ P, y ∈ CkµPr[x|y] = Pr[x] ⇐⇒ Pr[y|x] = Pr[y]é½²©x§Pr[y|x] = Pr[y] > 0`²éuz‡y ∈ C§˜½–3˜‡—K ÷ve K (x) = y§¿…éØÓy 1 ≠ y 2 §ee K1 (x) = y 1 §e K2 (x) = y 2 §@o7kK 1 ≠ K 2 §Ïdk|K| ≥ |C|"|C| ≥ |P|µéÓ˜—§z‡²©\—¤ØÓ—©§Ïd|C| ≥ |P|"

12Ù ShannonnØ2.3õ—5½n2.4b—èN›(P, C, K, E, D) ÷v|K| = |C| = |P|"ù‡—èN›´õ—§…=z‡—¦^VÇÑ´1/|K| §¿…éu?¿x ∈ PÚy ∈ C§3Ž˜—K¦e K (x) = y"`²µ£ —è´½n2.4AÏœ/"½n2.4,˜‡Í~f´/˜g˜—0—èN›"õ— ˜„¿©7‡^‡d12ÙSK2.11‰Ñµ—èN›´õ—…=H(P|C) = H(P)"

12Ù ShannonnØ2.3õ—5y²µ£1¤Äky²7‡5"b—èN›´õ—5"dc¡?ØPr[x|y] = Pr[x] ⇐⇒ Pr[y|x] = Pr[y] > 0ù`²é?¿x ∈ PÚy ∈ C§˜½–3˜‡—K ÷ve K (x) = y§ÄK¬kPr[y|x] = 0§Ïd¬kتµ·‚b|C| = |K|§@oµ|C| = |e K (x) : K ∈ K| ≤ |K||e K (x) : K ∈ K| = |K|ù`²§Ø3ü‡ØÓ—K 1 ÚK 2 §¦e K1 (x) = e K2 (x) = y"Ïdéux ∈ PÚy ∈ C§fÐ3˜‡—K ¦e K (x) = y"

12Ù ShannonnØ2.3õ—5y²YµPn = |K|"P = {x i : 1 ≤ i ≤ n}¿…½˜‡—©y ∈ C"— K 1 , K 2 , . . . , K n §¿…e Ki (x i ) = y, 1 ≤ i ≤ n"¦^Bayes½n§·‚kPr[x i |y] = Pr[y|x i]Pr[x i ]Pr[y]= Pr[K = K i]Pr[x i ]⇐= ¦^—K i ž§Pr[y]x i \—¤y, ÏdPr[y|x i ] = Pr[K i ]Pr[x i |y] = Pr[x i ] ⇐= õ—^‡⇓Pr[K i ] = Pr[y], 1 ≤ i ≤ n⇓Pr[K i ] = 1 ⇐= z‡—Vǃӧ—oê|K| |K|

12Ù ShannonnØ2.3õ—5y²Yµ(2)¿©5"Ú½n2.3y²aq"—èN›2.1£˜g˜—¤bn ≥ 1´ê§P = C = K = (Z 2 ) n "éx = (x 1 , x 2 , . . . , x n )§K = (K 1 , K 2 , . . . , K n )§½Âe K (x) = (x 1 ⊕ K 1 , x 2 ⊕ K 2 , . . . , x n ⊕ K n ))—Ú\—´˜§XJy = (y 1 , y 2 , . . . , y n )§@od K (y) = (y 1 ⊕ K 1 , y 2 ⊕ K 2 , . . . , y n ⊕ K n )

12Ù ShannonnØ2.3õ—5/˜g˜—0 @dGilbert Vernamu1917c^u©žEgÄ\—Ú)—§¿ž;|"/˜g˜—0´½n2.4AÏœ¹§÷võ—5"˜g˜—Ã{-|®²©©Û§XJ²©ÚéA—©§ÒŒ±OŽÑ—"˜g˜—¥‡¦n'A²©I‡^n'A—\—§ùux—©§I‡Ï&V ÏLSÏ“—ûÐÓÝ—§ØBu—+n§ ›û’A^"6—èÙ¢´[/˜g˜—0§|^—6u)ìd«f—)¤—6§—6[/˜g˜—0¥ ¦^˜g—"

12Ù ShannonnØ2.4þ˜!?Ø—^u˜g\—žõ—5"!?Ø—\—õ‡žEž§b—è©Ûökvõžm§?1˜g¤õ —©©ÛI‡õ—©"&E´©Û±þ¯Kóä§dShannon31948cJÑ"´&E½Ø(½5êÆÝþ´‘ÅCþXVÇ©Ù˜‡¼ê"½ÂATÎÜ

12Ù ShannonnØ2.4b‘ÅCþX3k8ÜXþŠ§K‘ÅCþX½ÂH(X) = − ∑ x∈XPr[x]lbPr[x]Ù¥¼êlb(x) = log 2 (x)"

12Ù ShannonnØ2.4Ú?è'Xµ‘ÅCþXL«é‘ÅCþ¥z‡ŒU¯‡?1?›?èÏ"Ýe §¿…‘X|X| → ∞§é‘ÅCþX?›?èÏ"ݪ•u§"¦^Huffman?螧‘ÅCþX?›?èÏ"Ý"~2.5µbX = {a, b, c, d, e}kXeVÇ©ÙµPr[a] = 0.05§Pr[b] = 0.1§Pr[c] = 0.12§Pr[d] =0.13§Pr[e] = 0.6"Huffman?è(JXeµ?èÏ"Ý µa 000 b 001 c 010d 011 e 1l(f ) = 0.05 × 3 + 0.10 × 3 + 0.12 × 3 + 0.13 × 3 + 0.60 × 1 = 1.8 µH(X) = 1.7402

12Ù ShannonnØ2.55Ÿ5ŸH(X) ≥ 0"H(X)ïþ´‘ÅCþXØ(½5§Ø(½5Œ§@oX¥˜‡¯‡u)¼&EŒ"H(X) = 0 ⇐⇒é,‡x 0 ∈ X§Pr[x 0 ] = 1§é¤kx ∈ x 0 , Pr[x] = 0"¿ÂµXJx 0 u)´(½§@o&E 0§½öØ(½5 0"XJ|X| = n§H(X) ≤ lbn§…=Pr[x] = 1 n§x ∈ X"¿Âµz‡¯‡u)VÇþž§Ø(½5ˆ Œ§@o¯‡u)¼&E´ Œ"

12Ù ShannonnØ2.55Ÿ5Ÿ£Y¤H(X, Y ) ≤ H(X) + H(Y )§…=XÚYÚOÕážÒ¤á"¿ÂµXJ‘ÅCþXL«Š©Á¤1§‘ÅCþYL«êÆÁ¤1§H(X)ÚH(Y)©OL«êÆ©Û¤1Ú“ê¤1Ø(½5§H(X, Y )L«êÆ©Û¤1Ú“ê¤1éÜØ(½5§Ï êÆ©Û¤1Ú“ê¤1ƒmŒU¬k'X§~X§XJêÆ©ÛЧ@o“ê ЧÏdÓžü€¤1éÜØ(½5Ø'§‚Ø(½ƒÚŒXJXÚY©OL«êÆ©Û¤1Úo“ê¤1§…¦‚p؃£§ˆg¤1ƒpÕá§@o¦‚¤1éÜØ(½5´ˆgØ(½5ƒÚ"

12Ù ShannonnØ2.55Ÿ^‡bXÚY´ü‡‘ÅCþ"éuY?Û½Šy§˜‡Xþ£^‡¤VÇ©Ù§PƒA‘ÅCþ X|y"w,H(X|y) = − ∑ xPr[x|y]lbPr[x|y]½Â^‡H(X|Y) H(X|y)H¤ky\²þŠ£êÆÏ"¤"OŽúªH(X|Y) = − ∑ ∑Pr[y]Pr[x|y]lbPr[x|y]y x^‡ÝþY«X²þ&Eþ"

12Ù ShannonnØ2.6–—Ú ˜)ål½n2.10(P, C, K, E, D)´˜‡—èN›§@oµH(K|C) = H(K) + H(P) − H(C)`²µH(K|C)¡Ø(½5"—¹Ý§Ýþ‰½—©œ¹e—

12Ù ShannonnØ2.6–—Ú ˜)ål–—µOscarl¼—©UüØ,—§´ k˜‡—´(§@Ã{üØØ(—¡ –—"~µOscar¼£ —è\——©GWANJW§…²©´k¿Â£š‘Ť§©Û k2‡—)—(Jk¿Â²©G§©O— )—²©5 river22 arena@oùü‡ŒU—¥ k˜‡´(§˜‡´–—"

12Ù ShannonnØ2.6–—Ú ˜)ålXJ²©´k¿Â§é‰½—©§–—Ï"Š´õº†*aúµ²©Ø(½5£¤§@oé½Ý—©§–—êþAT§‡ƒŒ"Ïdlg,ŠóLH L \Ã"H L †*aúAT´k¿Â²©G¥z‡i1²þ&EÝþµXJL´‘Å©ÙÕáÚOi1G§@o§ˆ Œ§lb(26) = 4.7"XJPL«ü‡i1‘ÅCþ§@oH L ≈ H(P)§é=©H(P) ≈ 4.19"XJP 2 L«V‡i1‘ÅCþ§@oOH L ≈ H(P2 )2"XJP n L«V‡i1‘ÅCþ§@oOH L ≈ H(Pn )n§¿…nŒ°("°(°(

12Ù ShannonnØ2.6–—Ú ˜)ål(y²Y)rH(K|C n )Ú–—‡ês n éÜå5µH(K|C n ) = ∑ y∈C n Pr[y]H(K|y)= ∑ y∈C n Pr[y]lbK(y)= lb ∑ y∈C n Pr[y]K(y) é¼êlb(x)A^Jensenت£½n2.5¤H(K|C n ) = lb(s n + 1) ⇐= Šâþ¡s n + 1Lˆª (2.3)(ܪ(2.2)Ú(2.3)µlb(s n + 1) ≥ H(K) − nR L lb|P|Ï —´VÇÀ§ÏdH(K) = lb|K|§“\þª¿£Ò½n2.11"

12Ù ShannonnØ2.6–—Ú ˜)ålN¹£Y¤éÝ n—©Gy§¦^¤k—)—|K|‡²©§@oŒU—‡êuù²©¥k¿Â²©‡ê§ µ1t n ≈ |K| ·|P| nR L˜)ål´4t n = 1nꊣdž—)˜¤§-11 = |K| ·|P| nR L ˜)ålOŠn = lb|K|R L lb|P| "£.œ¤

12Ù ShannonnØ2.7¦È—èéSi—èN›S 1 , S 2 , S 3 §Ù¦È$Ž´Œ(ܧ=µ(S 1 × S 2 ) × S 3 = S 1 × (S 2 × S 3 )XJS 1 × S 2 = S 2 × S 1 K¡S 1 ÚS 2 Œ†"S × SP S 2 §Sn­¦ÈP S n "XJS 2 = SK¡—èN›S´˜µŒ„XJS´˜§S 2 Ø'SS§XJ—èN›Ø´˜§@oõgS“(õ­¦È)ŒUJpS5"XJS 1 ÚS 2 Ñ´˜§¿…´Œ†§KS 1 × S 2 ´˜µù`²þ¡^‡e(S 1 × S 2 ) n ¿Ø'S 1 × S 2 S"XJS 1 ÚS 2 Ñ´˜§S 1 × S 2 Ø´˜§KS 1 ÚS 2´ØŒ†µ^˜ØŒ†{ü—èÏLS“ {E,S—è"