交叉熵 on BrightPan Bloghttps://www.brightpan.app/tags/%E4%BA%A4%E5%8F%89%E7%86%B5/Recent content in 交叉熵 on BrightPan BlogHugo -- 0.146.0en-usThu, 16 Apr 2026 19:00:00 +0800硬币 vs 违约：从一个对比走通信息论与概率统计https://www.brightpan.app/programming/coin_vs_default_information_theory_and_statistics/Thu, 16 Apr 2026 19:00:00 +0800https://www.brightpan.app/programming/coin_vs_default_information_theory_and_statistics/抛硬币和预测违约，都是二元结果、都有概率——但为什么一个不需要模型，另一个养活了整个行业？沿着这个对比，一层层展开信息论与概率统计的核心概念。信息论学习笔记：从数学基础到工程应用，再到语言现象https://www.brightpan.app/programming/information_theory_learning_notes/Thu, 16 Apr 2026 14:45:00 +0800https://www.brightpan.app/programming/information_theory_learning_notes/一份偏复习型的信息论学习笔记：先把熵、条件熵、联合熵、互信息和交叉熵讲清楚，再看它们在计算机、通信、风控和 LLM 中怎么用，最后发散到诗词、文言文与日常语言的“信息密度”。