信息论学习笔记：从数学基础到工程应用，再到语言现象
最近重新整理信息论，发现它概念不多但关系很紧——一个地方没想透，后面就越背越乱。所以这篇笔记不写成公式大全，而是按我自己复习的顺序来： 数学基础：熵、条件熵、互信息、交叉熵 工程实践：压缩、通信、ML、风控、LLM 语言现象：诗词、文言文和日常所说的”信息量” 原始讨论来自这个 ChatGPT 对话。把这些概念串成体系的人是 Claude E. Shannon（1916-2001），他的贡献在第一部分末尾展开。 ...
Mermaid
从 TCP 到 HTTP/3：一篇讲清 HTTP 协议栈演进、长连接、WebSocket 与轮询机制
打开一个网页，看起来只是点了一下链接。 但在这背后，浏览器、HTTP、TCP、TLS，甚至 QUIC，要一起配合，才能把页面安全、完整、尽快地送到你眼前。 ...
让 Agent 睡一觉：一个记忆清理与巩固系统设计
最近在想一个问题： 人类会通过睡眠来清理噪音、巩固记忆、重组经验，那 agent 能不能也有一个类似的“睡眠机制”？ 如果把 agent 的记忆系统只理解为“存更多”，最后通常会变成信息垃圾堆。真正有价值的不是记得更多，而是： ...