Wysyłanie danych pisma odręcznego do interfejsu API rozpoznawania pisma odręcznego

  • Artykuł

Uwaga

Interfejs API rozpoznawania pisma odręcznego zakończył swoją wersję zapoznawcza 26 sierpnia 2020 r. Jeśli masz istniejące zasoby rozpoznawania pisma odręcznego, możesz nadal z nich korzystać, dopóki usługa nie zostanie w pełni wycofana 31 stycznia 2021 r.

Cyfrowe pismo odręczne odnosi się do technologii, które umożliwiają tworzenie cyfrowych reprezentacji danych wejściowych, takich jak pismo ręczne i rysunki. Zwykle jest to realizowane przy użyciu digitizatora, który przechwytuje ruchy urządzeń wejściowych, takich jak rysik. Urządzenia udostępniają zaawansowane środowiska cyfrowego pisma odręcznego, dlatego sztuczna inteligencja i systemy uczenia maszynowego umożliwiają rozpoznawanie napisanych kształtów i tekstu w dowolnym kontekście. Interfejs API rozpoznawania pisma odręcznego umożliwia wysyłanie pociągnięć pisma odręcznego i uzyskiwanie szczegółowych informacji o nich.

Interfejs API rozpoznawania pisma odręcznego a usługi OCR

Interfejs API rozpoznawania pisma odręcznego nie używa optycznego rozpoznawania znaków (OCR). Usługi OCR przetwarzają dane pikseli z obrazów w celu zapewnienia rozpoznawania pisma ręcznego i tekstu. Jest to czasami nazywane rozpoznawaniem w trybie offline. Zamiast tego interfejs API rozpoznawania pisma odręcznego wymaga cyfrowych danych pociągnięcia pisma odręcznego przechwyconych podczas stosowania urządzenia wejściowego. Przetwarzanie cyfrowych danych pisma oddyskowego w ten sposób może generować dokładniejsze wyniki rozpoznawania w porównaniu z usługami OCR.

Wysyłanie danych pisma oddyskowego

Interfejs API rozpoznawania pisma odręcznego wymaga współrzędnych X i Y, które reprezentują pociągnięcia odręczne utworzone przez urządzenie wejściowe, od momentu dotknięcia powierzchni wykrywania do momentu jego podniesienia. Punkty każdego pociągnięcia muszą być ciągiem wartości rozdzielanych przecinkami i być sformatowane w formacie JSON, jak w poniższym przykładzie. Ponadto każdy pociągnięcie pisma oddyskowego musi mieć unikatowy identyfikator w każdym żądaniu. Jeśli identyfikator jest powtarzany w ramach tego samego żądania, interfejs API zwróci błąd. W przypadku najbardziej dokładnych wyników rozpoznawania mają co najmniej osiem cyfr po przecinku dziesiętny. Przyjmuje się, że początek kanwy (0,0) to lewy górny róg kanwy pisma odręcznego.

Uwaga

Poniższy przykład nie jest prawidłowym kodem JSON. Pełne żądanie JSON rozpoznawania pisma odręcznego można znaleźć w witrynie GitHub.

{
  "language": "en-US",
  "strokes": [
   {
    "id": 43,
    "points": 
        "5.1365, 12.3845,
        4.9534, 12.1301,
        4.8618, 12.1199,
        4.7906, 12.2217,
        4.7906, 12.5372,
        4.8211, 12.9849,
        4.9534, 13.6667,
        5.0958, 14.4503,
        5.3299, 15.2441,
        5.6555, 16.0480,
        ..."
   },
    ...
  ]
}

Odpowiedź rozpoznawania pisma odręcznego

Interfejs API rozpoznawania pisma odręcznego zwraca odpowiedź analizy na temat obiektów rozpoznanych na podstawie zawartości pisma odręcznego. Odpowiedź zawiera jednostki rozpoznawania opisujące relacje między różnymi pociągnięciami pisma odręcznego. Na przykład pociągnięcia tworzące odrębne, oddzielne kształty będą zawarte w różnych jednostkach. Każda lekcja zawiera szczegółowe informacje na temat pociągnięć pisma odręcznego, w tym rozpoznanego obiektu, jego współrzędnych i innych atrybutów rysunku.

Kształty rozpoznawane przez interfejs API rozpoznawania pisma odręcznego

Interfejs API rozpoznawania pisma odręcznego może identyfikować najczęściej używane kształty podczas tworzenia notatek. Na poniższej ilustracji przedstawiono kilka podstawowych przykładów. Aby zapoznać się z pełną listą kształtów i inną zawartością pisma oddyskowego rozpoznawaną przez interfejs API, zobacz artykuł dokumentacji interfejsu API.

Lista kształtów rozpoznawanych przez interfejs API rozpoznawania pisma odręcznego

Interfejs API REST rozpoznawania pisma odręcznego można wywołać w różnych wzorcach zgodnie z aplikacją.

Wywołania interfejsu API inicjowane przez użytkownika

Jeśli tworzysz aplikację, która pobiera dane wejściowe użytkownika (na przykład aplikację do tworzenia notatek lub adnotacji), możesz nadać im kontrolę nad tym, kiedy i które pisma odręczne są wysyłane do interfejsu API rozpoznawania pisma odręcznego. Ta funkcja jest szczególnie przydatna, gdy tekst i kształty są obecne na kanwie, a użytkownicy chcą wykonywać różne akcje dla każdego z nich. Rozważ dodanie funkcji wyboru (takich jak lasso lub inne narzędzie do wybierania geometrycznego), które umożliwiają użytkownikom wybieranie elementów wysyłanych do interfejsu API.

Wywołania interfejsu API inicjowane przez aplikację

Możesz również wywołać interfejs API rozpoznawania pisma odręcznego po przekroczeniu limitu czasu. Dzięki rutynowym wysyłaniu bieżących pociągnięć pisma odręcznego do interfejsu API można przechowywać wyniki rozpoznawania podczas ich tworzenia, skracając czas odpowiedzi interfejsu API. Na przykład możesz wysłać wiersz tekstu odręcznego do interfejsu API po wykryciu, że użytkownik go ukończył.

Posiadanie wyników rozpoznawania z wyprzedzeniem zapewnia informacje o cechach pociągnięć pisma odkowego, ponieważ odnoszą się do siebie nawzajem. Na przykład, które pociągnięcia są pogrupowane w celu utworzenia tego samego wyrazu, wiersza, listy, akapitu lub kształtu. Te informacje mogą ulepszyć funkcje wyboru pisma odwrotowego aplikacji, umożliwiając na przykład wybranie grup pociągnięć.

Integrowanie interfejsu API rozpoznawania pisma odręcznego z Windows Ink

Windows Ink udostępnia narzędzia i technologie umożliwiające cyfrowe środowiska pisma odręcznego na różnych urządzeniach. Możesz połączyć platformę Windows Ink z interfejsem API rozpoznawania pisma odręcznego w celu utworzenia aplikacji, które wyświetlają i interpretują cyfrowe pociągnięcia pisma odręcznego.

Następne kroki