HeadPose 属性を使用する
このガイドでは、検出された顔の HeadPose 属性を使用していくつかの重要なシナリオを実現する方法について説明します。
重要
顔属性は統計的アルゴリズムを使用して予測されます。 必ずしも正確とは限りません。 属性データに基づいて意思決定を行う場合は、注意が必要です。 スプーフィング対策には、これらの属性を使用しないようにしてください。 代わりに、Face Liveness 検出を使用することをお勧めします。 詳細については、「チュートリアル: 顔のライブネスを検出する」を参照してください。
顔の四角形を回転する
顔矩形は、検出される顔ごとに返されますが、これはイメージ内の顔の位置とサイズをマーク付けします。 既定では、この四角形は常に (辺は垂直方向および水平方向) イメージに揃えますが、顔が傾斜している場合は合わせるのが非効率になります。 プログラムでイメージ内の顔をトリミングする場合、トリミングする四角形を回転する方が良いでしょう。
Azure AI Face WPF (Windows Presentation Foundation) サンプル アプリでは、HeadPose 属性を使用して、検出された顔の長方形を回転します。
サンプル コードの検証
HeadPose 属性を使用すれば、顔矩形を回転するようプログラミングできます。 顔を検出する際に、この属性を指定する場合 (「検出 API を呼び出す」を参照)、クエリは後で実行きます。 Azure AI Face WPFアプリの次のメソッドから、 DetectedFaceオブジェクトの一覧を取得しFaceオブジェクトの一覧を返します。 ここでFaceはカスタム クラスであり、更新された四角形の座標など顔データを保存します。 新しい値は、上部、左、幅、および高さ用に計算し新しいフィールドのFaceAngleは回転を指定します。
/// <summary>
/// Calculate the rendering face rectangle
/// </summary>
/// <param name="faces">Detected face from service</param>
/// <param name="maxSize">Image rendering size</param>
/// <param name="imageInfo">Image width and height</param>
/// <returns>Face structure for rendering</returns>
public static IEnumerable<Face> CalculateFaceRectangleForRendering(IList<DetectedFace> faces, int maxSize, Tuple<int, int> imageInfo)
{
var imageWidth = imageInfo.Item1;
var imageHeight = imageInfo.Item2;
var ratio = (float)imageWidth / imageHeight;
int uiWidth = 0;
int uiHeight = 0;
if (ratio > 1.0)
{
uiWidth = maxSize;
uiHeight = (int)(maxSize / ratio);
}
else
{
uiHeight = maxSize;
uiWidth = (int)(ratio * uiHeight);
}
var uiXOffset = (maxSize - uiWidth) / 2;
var uiYOffset = (maxSize - uiHeight) / 2;
var scale = (float)uiWidth / imageWidth;
foreach (var face in faces)
{
var left = (int)(face.FaceRectangle.Left * scale + uiXOffset);
var top = (int)(face.FaceRectangle.Top * scale + uiYOffset);
// Angle of face rectangles, default value is 0 (not rotated).
double faceAngle = 0;
// If head pose attributes have been obtained, re-calculate the left & top (X & Y) positions.
if (face.FaceAttributes?.HeadPose != null)
{
// Head pose's roll value acts directly as the face angle.
faceAngle = face.FaceAttributes.HeadPose.Roll;
var angleToPi = Math.Abs((faceAngle / 180) * Math.PI);
// _____ | / \ |
// |____| => |/ /|
// | \ / |
// Re-calculate the face rectangle's left & top (X & Y) positions.
var newLeft = face.FaceRectangle.Left +
face.FaceRectangle.Width / 2 -
(face.FaceRectangle.Width * Math.Sin(angleToPi) + face.FaceRectangle.Height * Math.Cos(angleToPi)) / 2;
var newTop = face.FaceRectangle.Top +
face.FaceRectangle.Height / 2 -
(face.FaceRectangle.Height * Math.Sin(angleToPi) + face.FaceRectangle.Width * Math.Cos(angleToPi)) / 2;
left = (int)(newLeft * scale + uiXOffset);
top = (int)(newTop * scale + uiYOffset);
}
yield return new Face()
{
FaceId = face.FaceId?.ToString(),
Left = left,
Top = top,
OriginalLeft = (int)(face.FaceRectangle.Left * scale + uiXOffset),
OriginalTop = (int)(face.FaceRectangle.Top * scale + uiYOffset),
Height = (int)(face.FaceRectangle.Height * scale),
Width = (int)(face.FaceRectangle.Width * scale),
FaceAngle = faceAngle,
};
}
}
更新された四角形の表示
ここでは、返された使えるFaceオブジェクトをディスプレイで使用できます。 FaceDetectionPage.xamlの次の行は、新しい四角形をこのデータからレンダリングする方法を示します。
<DataTemplate>
<Rectangle Width="{Binding Width}" Height="{Binding Height}" Stroke="#FF26B8F4" StrokeThickness="1">
<Rectangle.LayoutTransform>
<RotateTransform Angle="{Binding FaceAngle}"/>
</Rectangle.LayoutTransform>
</Rectangle>
</DataTemplate>
次のステップ
- 回転した顔矩形の実施例については、GitHub の Azure AI Face WPF アプリを参照してください。
- または、Face HeadPose Sample アプリを参照してください。HeadPose 属性をリアルタイムに追跡して頭の動きを検出します。