Intelligent UI 实验室
用一段自然语言写下想法,让 AI 编译成可以拖、点、翻的交互块。
这篇文章演示 Garden 的 Intelligent UI:作者在稿里写一段 intent,AI 把它编译成 ui 块,站点画成可交互的组件。下面每一块都写在它要讲的那一段旁边。
1KV cache 到底占多少显存
每个 token 在每一层都要存一份 K 和一份 V。以 32 层、8 个 KV 头、每头 128 维、fp16 的模型为例:
所以长上下文推理的瓶颈往往不是算力,而是显存。
2Prefill 和 Decode 有什么不同
Prefill 阶段一次处理整段 prompt;之后每生成一个 token,都只为这个新 token 算 K/V。
这就是 decode 阶段每步计算量和序列长度无关的原因。
3读多写少时选哪把锁
假设每次读和写都要 10 ms,几个读者和一个写者同时到达。
代价是 RwLock 自身更重,写多的场景反而更慢。
4为什么 ECB 会泄露图案
相同的明文块在 ECB 下总是得到相同的密文块,图案就这样漏了出来。
5人数一变,采购量跟着变
来自开放网络的回应
引用、喜欢、转发和站外回复会通过 Webmention 回到这里。
正在读取开放网络回应…
评论
评论还没开放。配好下面四项后,这里才会出现评论框。
打开 Giscus,安装到一个已开启 Discussions 的公开仓库,把仓库、仓库 ID、分类、分类 ID 写入
.env.local和 GitHub Actions Variables:GISCUS_REPO、GISCUS_REPO_ID、GISCUS_CATEGORY、GISCUS_CATEGORY_ID。