Intelligent UI 实验室 永久链接

Intelligent UI 实验室

用一段自然语言写下想法,让 AI 编译成可以拖、点、翻的交互块。

这篇文章演示 Garden 的 Intelligent UI:作者在稿里写一段 intent,AI 把它编译成 ui 块,站点画成可交互的组件。下面每一块都写在它要讲的那一段旁边。

1KV cache 到底占多少显存

每个 token 在每一层都要存一份 K 和一份 V。以 32 层、8 个 KV 头、每头 128 维、fp16 的模型为例:

`ui` 已改为 `garden interactive`

所以长上下文推理的瓶颈往往不是算力,而是显存。

2Prefill 和 Decode 有什么不同

Prefill 阶段一次处理整段 prompt;之后每生成一个 token,都只为这个新 token 算 K/V。

`ui` 已改为 `garden interactive`

这就是 decode 阶段每步计算量和序列长度无关的原因。

3读多写少时选哪把锁

假设每次读和写都要 10 ms,几个读者和一个写者同时到达。

`ui` 已改为 `garden interactive`

代价是 RwLock 自身更重,写多的场景反而更慢。

4为什么 ECB 会泄露图案

`ui` 已改为 `garden interactive`

相同的明文块在 ECB 下总是得到相同的密文块,图案就这样漏了出来。

5人数一变,采购量跟着变

`ui` 已改为 `garden interactive`

来自开放网络的回应

引用、喜欢、转发和站外回复会通过 Webmention 回到这里。

正在读取开放网络回应…

评论

评论还没开放。配好下面四项后,这里才会出现评论框。

打开 Giscus,安装到一个已开启 Discussions 的公开仓库,把仓库、仓库 ID、分类、分类 ID 写入 .env.local 和 GitHub Actions Variables:GISCUS_REPO、GISCUS_REPO_ID、GISCUS_CATEGORY、GISCUS_CATEGORY_ID。

目录