PG电子官方网站举动一款生长成熟的机械进修开源框架，TensorFlow 的图像照料经典案例也许能够给你谜底。
2020 谷歌拓荒者大会上，谷歌为大家供给了一个能够“亲密接触”用机械进修告竣动态逮捕与视觉筑模的好机遇 ——“谷歌面馆”线上互动体验。
“谷歌面馆” 是基于 TensorFlow.js 中的 PoseNet 来告竣动态逮捕，将用户的肢体举措与“拉面”观点做集合，造造出的兴味好玩的互动体验，让群多正在寓目 Google 拓荒者大会演讲间隙勾当双手，填充满满元气，同时指望借此胀励拓荒者的造造力，用代码探求更多恐怕性。
互动的玩法也很容易，每个玩家入手和上半身来创造虚拟“面条”，就像拉面巨匠那样，正在 1 分钟内尽恐怕地拉扯和拉伸面条，同时搜求独特或避免不须要的配料，以增添面条长度的点数来获胜。你进入创造的面条越多，取得的强人徽章就越多，就有机遇取得更多中央演讲以及拓荒科技进修机遇。疾去大会官网亲身体验一下吧！
看到这里，你恐怕不禁好奇，兴趣拉面互动体验结果是怎么告竣的？它所利用的 PoseNet 又是什么？
本来，“谷歌面馆” 利用了一种叫 PoseNet 的视觉模块，它能够通过检测人体症结部位的地方，来估测图像或视频中的人体状貌。比如，PoseNet 能够估测图像中人物手肘和膝盖的所正在地方。状貌估测模子只会识别人体症结部位的地方，而不会去鉴别图像中的人物。目前，PoseNet 已正在 GitHub 上开源，并被渊博用于分歧项目中。比如，拓荒者可遵循人体图像加强实际创造盘算推算机图形人物动画以及为运动中的运带动说明步态。
总之，借帮 PoseNet 这款示例运用，拓荒者和机械进修专家可能更轻松地探求轻量级搬动模子的各样恐怕性。接下来，咱们将诈欺 TensorFlow.js 中的 PoseNet 和Facemesh（来自 Mediapipe）模子，露出一个通过容易的汇集摄像头告竣人体举措逮捕的项目实例，手把手教你从零动手落地一个用身体限造浏览器中 SVG 脚色的兴趣运用。
采用 2D 矢量图并遵循 PoseNet 和 FaceMesh 的识别结果及时更新其矢量弧线。为此，Pose Animator 模仿了盘算推算机图形技巧中骨骼动画的思绪，并将其运用于矢量脚色。
正在 Pose Animator 中，表皮由输入 SVG 文献中的 2D 矢量道途界说。对付骨骼构造，Pose Animator 基于 PoseNet 和 FaceMesh 的症结点供给了预订义的（骨骼层级）绑定暗示 (Rig Representation)。正在输入 SVG 文献中以及字符插图中指定了此骨骼构造的初始状貌，同时通过机械进修模子的识别结果来及时更新骨骼地方。
● 解析输入的 SVG 文献以获取矢量图和预订义的骨架，两者均为 T 状貌（初始状貌）。
● 遍历矢量道途中的每个分段，利用线性混淆蒙皮（Linear Blend Skinning，本文中稍后会作出注释）盘算推算每根骨骼的权重影响和变换矩阵 (Transformation)。
● 正在每个输入帧上及时运转 FaceMesh 和 PoseNet，并利用结果症结点更新骨骼地方。
尚有其他器械也可供给仿佛的木偶操作成效，不过，大大批器械仅改革人物图像的地方，而不会通过识别症结点改革脚色的现实几何形式。其余，很少有器械能供给全身识别和动画表现。Pose Animator 能让单条弧线变形，以是相当擅长逮捕面部和全身运动的轻细之处，并希望带来更具展现力的动画恶果。
绑定构造遵从 PoseNet 和 FaceMesh 的输出症结点计划。PoseNet 将返回 17 个全身症结点，极度容易，能够直接蕴涵正在绑定中。不过，FaceMesh 将供给 486 个症结点，于是我必要拘束采取将囊括哪些症结点。终末，我从 FaceMesh 输出落采取了 73 个症结点，如此咱们就具有了一个由 90 个症结点和 78 根骨骼构成的全身绑定，如下所示：
每个输入 SVG 文献都该当正在默认地方蕴涵这个骨架。更全部地说，Pose Animator 将寻找一个名为“骨骼”的组，此中蕴涵以它们所代表的各个合节定名的锚点元素。可正在此处查看绑定 SVG 示例。计划师能够正在计划文献中自正在地搬动合节，让骨骼最理念地嵌入到脚色中。Pose Animator 将遵循 SVG 文献中的默认地方来盘算推算蒙皮，但有时绑定算法恐怕无法很好地撑持少少至极情景（比如，腿/手臂骨骼极度短），并有恐怕让表现的恶果不天然。
Pose Animator 通过一种最常用的绑定算法，利用骨骼构造让表皮变形，这种算法称为线性混淆蒙皮 (Linear Blend Skinning，LBS)，该算法通过将每根骨骼独自限造的变换相混淆，再由每根骨骼的影响因子加权，来变换表皮的极点。正在咱们的例子中，极点是指矢量道途上的锚点，骨骼由上述绑定中的两个相连症结点界说（比如，“leftWrist”和“leftElbow”症结点界说了骨骼“leftWrist-leftElbow”）。
骨骼的影响因子可主动天生，也能够通过权重绘造来手动分派。Pose Animator 眼前仅撑持主动权重分派。极点 i 上骨骼 j 的原始影响因子盘算推算式样如下：
此中 d 是从 vi 到骨骼 j 上近来点的间隔。终末，咱们将一个极点上总共骨骼的权重准则化，使其总和为 1。
现正在，要将 LBS 运用于由直线D 矢量道途智能，咱们必要通过进出图柄对贝塞尔弧线分段实行少少独特照料。咱们必要分歧盘算推算弧线点、进限造点和出限造点的权重。因为如此能够更精准地搜捕限造点的骨骼影响因子，以是会形成更好的表观恶果。
这是一个独特的例子。当进限造点、弧线点和出限造点共线时，咱们对这三个点同时利用弧线点权重，以确保正在以动画式样表现时它们仍保留共线。这有帮于保留弧线的光滑智能。
LBS 曾经为咱们供给了动画帧，不过 FaceMesh 和 PoseNet 原始输出引入了显着的颤栗。为淘汰颤栗，取得更畅达的动画，咱们能够利用预测结果中的信赖值分数对每个输入帧实行不屈均加权，让信赖值较低的帧所带来的影响也较幼。
恪守这一思绪，Pose Animator 会按如下算式盘算推算合节 i 正在第 t 帧的光滑地方
思考至极情景。当两个陆续帧的可托度均为 1 时，地方将以 50% 的速率亲热最新地方，这看起来很聪敏且相当光滑。（要进一步降低相应速率，能够通过更改最新帧的权重来调治亲热速率。）当最新帧的置信度为 0 时，其影响将被全部漠视，以是可抗御低信赖值结果酿成的顿然颤栗。
除了利用可托度对合节地方实行插值表，咱们还引入了最幼阈值来确定是否该当绘造道途。
道途的可托度是其分段点的均匀可托度得分，而反过来它又是影响骨骼分数的加权均匀值。当特定帧的分数低于特定阈值时，全数道途将被隐秘。
这对付隐秘低信赖值区域的道途相当有效，这些区域中往往是镜头规模除表的身体部位。遐念一下有一张上半身照：尽量腿部和臀部的症结点预测的可托度很低，但 PoseNet 永远会返回这些症结点预测。通过这种局限机造，咱们能够确保下半身被稳当隐秘，而不显示为卓殊扭曲的道途。
您能够点击这里进入及时演示，您能够正在此中照料现有脚色，也能够增添本人的 SVG 脚色，看它们怎么变得跃然纸上。尽量演示的是人类脚色，但 Pose Animator 可用于任何 2D 矢量计划，以是您能够斗胆测试任何笼统/前卫的计划。
要创筑本人的动画插图，请查看本指南！不要忘了正在社交媒体上通过 #PoseAnimator# 与咱们分享您的创作。如有任何题目或念直接查看源代码，可赶赴Github。
除了诈欺 PoseNet 接续拓荒和探求各样创意的交互体验表，TensorFlow 和谷歌也将接续推动技巧的生长和迭代，尽力于用科技造造代价。AI 自身不会思量为什么叫做人为智能？