图形可视化在机器学习 (ML) 开发过程中起着关键作用。模型的可视化表示可帮助研究人员和工程师调试转换和量化问题、识别性能瓶颈、找到优化模式并深入了解模型架构。这些做法对许多类型的模型都很有用，特别是在将模型部署到资源有限的设备（例如移动设备和浏览器）时。然而，现代 ML 和 AI 模型（例如Transformers和 diffuser）的规模和复杂性不断增加，对现有的可视化工具提出了重大挑战。大规模基于 Transformer 的模型通常会让传统的图形可视化工具不堪重负，导致渲染失败或视觉复杂性难以管理。此外，缺乏清晰的视觉层次结构会使人们难以理解节点关系。

Model Explorer 是什么？

    团队描述了 Model Explorer 如何结合 3D 游戏和动画制作中使用的图形技术（例如实例化渲染和多通道符号距离场(MSDF)），并使其适应 ML 图形渲染。团队展示了 Model Explorer 支持三种类型的用例来开发大型模型：了解模型架构、调试转换错误以及调试性能和数值问题。各位看官可以看看这个（使用Google Genie AI从草图创建一个完整的可玩游戏世界）

Model Explorer 以平滑的可视化大型模型并提供分层信息

可视化的挑战

    可视化大型模型图有两个主要的技术挑战。首先，布局算法难以适应更大的图：随着节点数量的增加，其计算复杂性急剧上升，导致布局阶段的速度显著减慢，并且偶尔会完全失败。即使是成功的布局也往往过于密集和复杂，从而降低了其可解释性。其次，大多数现有的模型可视化工具使用基于可扩展矢量图形的渲染，该渲染不是为渲染大量对象而设计的。缩放和滚动操作变得缓慢且无响应，导致可视化工具无法使用。白话就是像大家用的 PPT 或者 Excel 上面元素越多，拖动和缩放就越卡。

    受到 Tensorboard 图形可视化器中分层布局概念的启发，团队开发了一个库，可以从 TensorFlow、PyTorch 和 JAX 等主流创作框架中提取分层信息。然后，构建了一个交互式系统，从最顶层开始可视化节点，允许用户通过逐层展开来逐步导航图形，或通过折叠层恢复到更高级别的层。这允许用户以他们需要的粒度检查图表中的内部结构和连接。由于布局算法是按层运行的，因此当用户选择打开层时，模型资源管理器会计算布局计算。该方法避免了在初始图加载期间对所有节点进行不必要的计算，并显著提高了大型模型的性能。

    通过使用WebGL和Three.js实现 GPU 加速的图形渲染来解决第二个挑战。因此，团队实现了流畅的 60 帧/秒 (FPS) 用户体验（牛逼的，60 fps 基本就是大家常用的帧，视觉感受不到卡顿），即屏幕上每秒显示 60 个单独的图像，在交互和动画中创建流畅且逼真的运动，即使图形包含数十个图像数千个节点。此外，我们利用实例渲染技术在场景中的不同位置同时渲染对象的多个副本。下面的示例展示了如何在具有集成 GPU 的 2019 Macbook Pro 上以 60 FPS 流畅渲染具有 50,000 个节点和 5,000 个边（出于演示目的随机生成）的图形。为了提高视觉连续性，我们为图层导航添加了流畅的动画，帮助用户了解自己在模型结构中的位置。

模型架构

    在部署到特定硬件（例如手机或笔记本电脑）之前，ML 模型必须经历转换过程：例如将 PyTorch 模型转换为 Tensorflow Lite 模型。然而，有关转换的信息在转换过程中经常丢失。为了帮助比较多个图形，模型资源管理器提供了并排比较模式。下面的示例重点介绍了一层内的子图（即torch.nn.modules.linear.Linear_attn）在从 PyTorch 转换为 TensorFlow Lite 期间如何变化。比较层的输入和输出的形状和数据类型信息可以帮助突出显示转换错误。

原始 PyTorch 模型（左）和优化的 TensorFlow Lite 模型（右）并排比较– 调试转换时非常有用

• 要查找受量化影响的麻烦过程，使用模型资源管理器。
• 要识别质量下降，根据错误指标对操作进行排序，获取每一层的结果并比较各种量化结果，以确定最佳模型大小与质量之间的权衡。
  
  

调试性能和数值准确性

    谷歌用户研究的参与者报告说，当与层次视图结合使用时，他们可以更轻松地立即将性能或数值困难集中在图表的特定区域。如果没有这种可视化，获得这些见解将会困难得多。此图比较了浮点模型与量化 TFLite 模型的均方误差。用户能够通过使用 Model Explorer 立即确定质量损失接近图表底部，并且他们还能够修改量化方法。

    要更深入地了解调试和基准测试工具的结果，请使用 Model Explorer。了解哪些操作与 GPU 兼容、如何根据延迟对操作进行排序，以及每个操作的性能在整个加速器中如何变化。

    有两种方法可以使用 Google 的 Model Explorer。您可以在浏览器窗口本地运行它，也可以在 Colab 笔记本上运行它。按照GitHub 说明，可以轻松地将 Model Explorer 安装在本地计算机上。您的所有数据都是本地的，并且在浏览器窗口中运行。支持 Mac、Windows 和 Linux。由于模型资源管理器在 Colab 中运行顺利，因此可以将其合并到当前的模型创建过程中。要将其添加到自己的 Colab note 中，请尝试试用版或按照安装说明进行操作。

model-explorer

https://ai.google.dev/edge/model-explorer?hl=zh-cn