信息论学习笔记：从数学基础到工程应用，再到语言现象
最近重新整理信息论，发现它概念不多但关系很紧——一个地方没想透，后面就越背越乱。所以这篇笔记不写成公式大全，而是按我自己复习的顺序来： 数学基础：熵、条件熵、互信息、交叉熵 工程实践：压缩、通信、ML、风控、LLM 语言现象：诗词、文言文和日常所说的”信息量” 原始讨论来自这个 ChatGPT 对话。把这些概念串成体系的人是 Claude E. Shannon（1916-2001），他的贡献在第一部分末尾展开。 ...
最近重新整理信息论，发现它概念不多但关系很紧——一个地方没想透，后面就越背越乱。所以这篇笔记不写成公式大全，而是按我自己复习的顺序来： 数学基础：熵、条件熵、互信息、交叉熵 工程实践：压缩、通信、ML、风控、LLM 语言现象：诗词、文言文和日常所说的”信息量” 原始讨论来自这个 ChatGPT 对话。把这些概念串成体系的人是 Claude E. Shannon（1916-2001），他的贡献在第一部分末尾展开。 ...