外网大神创建的一个小型LLM可视化的网页

类似于 ChatGPT 背后的那种。它以 3D 形式呈现,显示了运行单个令牌推理的所有步骤。(生物学中的链接)在桌面上效果最好。左键单击拖动,右键单击旋转,滚动缩放。并将鼠标悬停在张量单元上。蓝色单元格是权重/参数,绿色单元格是中间值。每个单元格都是一个数字!
网页链接: https://bbycroft.net/llm/

它还包含步骤的演练/指南,以及一些可供使用的互动元素。

解压缩一组抽象,将它们扁平化有一个真正的优势。抽象对于简洁和管理很有用,但它们可能成为看到大局的真正障碍。有了这个,用户可以一次看到整个事情。可以看到计算发生的位置,它的复杂性,以及张量和权重的相对大小。

带有所有动画的模型都是整洁的,以使其易于处理。为了进行比较,他加入了一些较大的模型(GPT-2、GPT-3),仅渲染。

当你看到在mat-mul中只产生一个价值需要什么时,这些东西的规模就变得显而易见了。

这是计算矩阵乘法的_single_输出值的内容

外网大神创建的一个小型LLM可视化的网页外网大神创建的一个小型LLM可视化的网页

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索