跳转至

AI 互联

互联工具用于在灵闪和灵闪深度学习平台建立数据互通:让灵闪对样本图的处理可以方便应用到深度学习平台;深度学习平台对样本的标记可以参与到灵闪主流程的模型验证中。

版本要求

  • 灵闪 3.8+ 软件
  • IntelliBlinkAI 2.9+(推荐 2.10.5.4)

启动流程

确保 IntelliBlinkAI 软件保持打开状态,启动灵闪,新建或打开一个解决方案。

导入需要检测的图片:

在上方工具栏点击 AI 互联工具按钮:

标记同步

将灵闪深度学习平台样本上的标记同步到灵闪对应的同一张图片上,以便灵闪的深度学习工具、比较工具进行结果对比与统计。

"同一张图"的两种概念:

  • 灵闪深度学习平台和灵闪的图片均导入自系统文件夹的同一个位置,或同一批图片的复制
  • 灵闪深度学习平台的图片导入自灵闪,是某一批图片的前处理(使用互联工具可以将这批前处理图片同步到灵闪对应的来源图)

使用方式:

  • 连接本机的深度学习平台:直接点连接按钮即可
  • 连接局域网内其他机台上的深度学习平台:输入该机器的 IP 地址,端口使用 8411

选择项目

选择想要建立连接的深度学习平台项目。连接建立成功后,深度学习平台的项目列表会刷新在下拉菜单中,从中选择目标项目:

选择需要同步的分组

选择项目后,该项目的分组会刷新在下方左侧列表。从中选择目标分组,所选分组就会显示在右侧列表。点击下方的应用按钮,连接建立成功。

可以将多个深度学习平台项目的分组同步到同一个灵闪解决方案——选择多个 AI 项目,勾选目标分组即可。

注意:如果深度学习平台中多个相同的样本图同步到灵闪一个解决方案,会造成灵闪出现多个标记重叠,可能会导致统计错误。所以在灵闪统计时要注意不要将深度学习平台中的重复样本图多次同步。

刷新分组状态

将深度学习平台最新的分组状态显示在互联工具:

  • 刷新后分组名称是黄色:该分组被重命名
  • 刷新后分组名称是红色:该分组已被删除

用户在弹窗"是否刷新成最新"选"是",则重命名分组自动刷新成最新名称,已删除分组被自动移除。

模型验证

导入灵闪的标记,需要借助深度学习工具/比较工具显示。在用户框出的检测范围中,和深度学习模型/比较工具目标名称一致的标记会显示并统计检测结果。

灵闪的深度学习工具包含以下四个:

目标检测模型验证

在解决方案中新增一个深度学习-目标检测工具,在右上角窗口的参数选项卡载入模型,打开比较标记。

深度学习平台中对样本图的标记就会显示在灵闪(绿色框是模型检测结果,红色框是标记同步结果):

右侧窗口的目标检测工具,可以看到推理和验证结果:

触发方式设置为"内触发",打开摄像机,点击开始取图。列表所有图片都运行一次后,可在目标检测工具右上角的统计窗口看到所有图片的模型验证结果:

分割模型验证

分割模型的验证流程和目标检测类似。区别是分割模型的推理结果是掩膜:

  • 左:灵闪 AI 工具中标记的掩膜
  • 中:灵闪分割模型推理结果
  • 右:目标分割的推理结果 IoU

分类模型验证

分类模型标记同步后不显示在图片上,但是在验证结果中可以看到标记类型和推理类型。

推理评估工具

多个深度学习工具的结果汇总:在"推理结果轮廓"输入多个目标检测工具的分割轮廓(推理结果),点击初始化,推理评估工具会将多个目标检测工具的推理结果汇总后作为输出。

灵闪传统算法结果与灵闪 AI 平台的标记做对比验证:使用互联工具同步标签后,将灵闪 AI 平台的标签名称作为字符串输入到"推理结果类别",在"推理结果轮廓"的对应行输入灵闪传统算法的结果,推理评估工具就会对这两个输入进行比较并输出结果。

传统算法与灵闪 AI 平台标记对比、并和深度学习工具推理结果汇总输出: