熵 on BrightPan Bloghttps://www.brightpan.app/tags/%E7%86%B5/Recent content in 熵 on BrightPan BlogHugo -- 0.146.0en-usThu, 16 Apr 2026 14:45:00 +0800信息论学习笔记：从数学基础到工程应用，再到语言现象https://www.brightpan.app/programming/information_theory_learning_notes/Thu, 16 Apr 2026 14:45:00 +0800https://www.brightpan.app/programming/information_theory_learning_notes/一份偏复习型的信息论学习笔记：先把熵、条件熵、联合熵、互信息和交叉熵讲清楚，再看它们在计算机、通信、风控和 LLM 中怎么用，最后发散到诗词、文言文与日常语言的“信息密度”。