Épisode

Sketch2Code

Le processus de conception de l’interface utilisateur nécessite beaucoup de créativité qui commence sur un tableau blanc où les concepteurs partagent des idées. Une fois qu’une conception est dessinée, elle est généralement capturée au sein d’une photographie et traduite manuellement en un filframe HTML de travail à lire dans un navigateur web. Cela prend des efforts et retarde le processus de conception.

 

Solution - Dans Microsoft Cognitive Services, nous hébergeons Vision par ordinateur Service. Le modèle derrière ce service a été formé avec des millions d’images et permet la détection d’objets pour un large éventail de types d’objets. Dans ce cas, nous devons créer un modèle personnalisé et l’entraîner avec des images d’éléments de conception dessinés manuellement comme une zone de texte, un bouton ou une zone de liste modifiable. Le service Custom Vision nous donne la possibilité d’entraîner des modèles personnalisés et d’effectuer la détection d’objets pour eux. Une fois que nous pouvons identifier des objets HTML, nous utilisons la fonctionnalité de reconnaissance de texte présente dans le service Vision par ordinateur pour extraire du texte écrit manuellement présent dans la conception. En combinant ces deux informations, nous pouvons générer les extraits HTML des différents éléments de la conception. Nous pouvons ensuite déduire la disposition de la conception à partir de la position des éléments identifiés et générer le code HTML final en conséquence.

 

Produits et services - Vision par ordinateur (modèles OCR manuscrits), Custom Vision, Azure Functions, Blob Stockage, WebApp

Créer un compte gratuit (Azure)