{"id":4835,"date":"2017-09-26T10:49:54","date_gmt":"2017-09-26T09:49:54","guid":{"rendered":"https:\/\/qdraw.nl\/blog\/?p=4835"},"modified":"2025-11-23T17:57:43","modified_gmt":"2025-11-23T16:57:43","slug":"train-een-tensorflow-gezicht-object-detectie-model","status":"publish","type":"post","link":"https:\/\/qdraw.nl\/blog\/design\/train-een-tensorflow-gezicht-object-detectie-model\/","title":{"rendered":"Train een tensorflow gezicht object detectie model"},"content":{"rendered":"

Met Artificial Intelligence wordt het mogelijk om beelden slim te analysen en dit slim toe te passen. Dit artikel is een follow-up van Objectherkenning met de Computer Vision library Tensorflow<\/a>.
\nIn het vorige deel zet ik een getraind model in om 80 objecten, te vinden en te identificeren en de locatie in het beeld te bepalen. Ik ga nu nog een stap verder want ik ga een eigen model trainen dat gezichten kan vinden in een afbeelding. In deze tutorial wordt technisch stap voor stap uitgelicht hoe het proces verloopt. In de stap \u2018Gebruik van het frozen model\u2019<\/a> <\/em>staat toegelicht hoe het mogelijk is om het model snel te testen.<\/p>\n

There is a english version of How to train a Tensorflow face object detection model<\/a> available at Medium.com<\/em><\/p>\n


\n

<\/p>\n

Setup van de slim en object_detection module<\/h2>\n

De eerste stap is het clonen van de Tensorflow models. In deze repository staan Machine Leaning-modelen die getraind zijn met Tensorflow. Voor deze tutorial gebruiken we alleen de slim<\/em> module en object_detection<\/em><\/a>.<\/p>\n

$ nano .profile
\nexport PYTHONPATH=$PYTHONPATH:\/home\/dion\/tensorflow_models\/research:\/home\/dion\/tensorflow_models\/research\/slim<\/span><\/p>\n

Vervolgens zorg je ervoor dat de protobuf libraries zijn gecompiled<\/p>\n

$ protoc object_detection\/protos\/*.proto --python_out=.<\/span><\/p>\n

Clone de tutorial repository en install dependencies<\/h2>\n

In een losse repository heb ik alle inhoud verzameld van deze tutorial. Met de onderstaande opdracht kopieer je de map vanuit Github.<\/p>\n

$ git clone https:\/\/github.com\/qdraw\/tensorflow-face-object-detector-tutorial.git<\/span><\/p>\n

Mocht je snel even het model willen proberen er is een protobuf en de checkpoint files staan in deze repository.<\/p>\n

Het volgende deel van de uitleg voeren we uit vanuit de onderstaande map:<\/p>\n

$ cd tensorflow-face-object-detector-tutorial\/<\/span><\/p>\n

De benodigdheden het trainen moeten nog worden ge\u00efnstalleerd. Denk eraan dat OpenCV ook ge\u00efnstalleerd staat met Python bindings<\/a><\/p>\n

$ pip install -r requirements.txt<\/span><\/p>\n

Downloaden van de training en validatie data<\/h2>\n

De Chinese Universiteit van Hongkong (CUHK) heeft een grote dataset van foto\u2019s met mensen met daarbij exact aangegeven waar het gezicht zich bevindt in de afbeelding. In het onderstaande voorbeeld is staat in het kladblok de co\u00f6rdinaten van de afbeelding geselecteerd. Op de achtergrond heb ik labelImg<\/a> geopend en is dezelfde foto te zien met annotaties.<\/p>\n


\n

WIDER example using labelImg (credits: http:\/\/shuoyang1213.me\/WIDERFACE\/<\/a><\/em><\/p>\n

Met het script 001_down_data.py<\/em> wordt WIDERFace<\/a> en ssd_mobilenet_v1_coco_11_06_2017<\/a> gedownload. WIDERFace is de dataset die ik hiervoor gebruik. Daarnaast maak ik ook nog gebruik van \u2018pre-trained\u2019 model om de trainingstijd te versnellen. Wanneer je zelf gaat trainen zorg er dan voor dat er voldoende schijfruimte beschikbaar is. Er komt al minimaal 6GB in de map data\/<\/em> te staan.<\/p>\n

$ python 001_down_data.py<\/span><\/p>\n

WIDERFace omzetten naar Pascal XML<\/h2>\n

Er komt eerst nog een conversieslag. De dataset die de universiteit beschikbaar heeft gesteld is in een ander formaat dan bruikbaar is in een labelImg en Tensorflow. Met een script gaan we deze data omzetten. De afbeeldingen die gedownload zijn staan in de map WIDER_train, eerst maakt 002_data-to-pascal-xml.py <\/em>een los xml-bestand in dezelfde map met de annotatie data gestructureerd opgeslagen. Nadat alle afbeeldingen met een goede tag voorzien zijn van een los xml bestand wordt de inhoud gekopieerd naar een losse map (tf_wider_train). Met het onderstaande script wordt de WIDERFace data omgezet in Pascal XML en worden er losse mappen aangemaakt. Op mijn computer duurt dit 5 minuten aangezien er 9263 afbeeldingen worden verwerkt.<\/p>\n

$ python 002_data-to-pascal-xml.py<\/span><\/p>\n


\n

Pascal XML naar Tensorflow CSV index<\/h2>\n

Wanneer de data is omgezet naar Pascal XML wordt er een index gemaakt. Met het trainen en valideren van de dataset gebruiken we deze bestanden als input om TFRecords van te maken. Het is echter ook mogelijk om met een tool als labelImg handmatig afbeeldingen te labelen en deze stap te gebruiken om hier een index van te maken.<\/p>\n


\n

$ python 003_xml-to-csv.py<\/span><\/p>\n

Maak een TFRecord file<\/h2>\n

Een TFRecords file is een groot binair bestand dat uit gelezen kan worden om het Machine Learning model te trainen. Het bestand wordt in de volgende stap sequentieel uitgelezen door Tensorflow. De training en validatie data wordt omgezet d.m.v. onderstaande commando opdrachten omgezet in binaire blobs\n<\/p>\n

Trainingsdata naar TFRecord (847.6 MB)<\/p>\n

$ python 004_generate_tfrecord.py --images_path=data\/tf_wider_train\/images --csv_input=data\/tf_wider_train\/train.csv --output_path=data\/train.record<\/span><\/p>\n

Validatiedata naar TFRecord (213.1MB)<\/p>\n

$ python 004_generate_tfrecord.py --images_path=data\/tf_wider_val\/images --csv_input=data\/tf_wider_val\/val.csv --output_path=data\/val.record<\/span><\/p>\n

Prepareren van het config bestand<\/h2>\n

In de repository staat ssd_mobilenet_v1_face.config,<\/em> dit is een configuratiebestand dat gebruikt wordt om een Artificial Neural Network te trainen. Dit bestand is gebaseerd op een huisdieren detector.
\nHet aantal num_classes <\/em>blijft in dit geval \u00e9\u00e9n omdat er alleen gezichten zullen worden herkend.
\nDe variabel fine_tune_checkpoint<\/em> wordt gebruikt om het pad naar een eerder model aan te geven om learnings te halen. Deze locatie pas je aan in dit bestand. Het finetune checkpoint bestand wordt gebruikt om transfer learning toe te passen. Transfer learning is een methode in Machine Learning dat gefocust is om kennis wat opgedaan van \u00e9\u00e9n context toe te passen op een andere context.
\nIn de class train_input_reader <\/em>wordt een link gelegd met de TFRecord bestanden voor het trainen van het model. In het config-bestand moet je deze aanpassen naar de juiste locatie.
\nDe variabel label_map_path <\/em>bevat een index id\u2019s en namen. Bij dit bestand wordt nul als placeholder gebruikt en beginnen we dus met nummeren vanaf \u00e9\u00e9n.\n<\/p>\n


\nitem {
\n    id: 1
\n    name: "face"
\n}
<\/span>\n<\/p>\n

Voor het valideren zijn er twee variabelen belangrijk. De variabel num_examples<\/em> binnen de class eval_config<\/em> wordt gebruikt om het aantal voorbeelden in te stellen.
\nIn de class eval_input_reader<\/em> staat de locatie van de validatie data beschreven. Op deze locatie staat ook een pad.
\nVerder is het nog mogelijk om learning rate, batch size en nog meer instellingen te veranderen. Voor nu heb ik de standaard instellingen aangehouden.<\/p>\n

Let\u2019s train \ud83d\ude09<\/h2>\n

Nu gaat het echte werk beginnen. De computer gaat learnings halen uit de dataset en hier een Neural Network van maken. Aangezien ik het model train op een CPU gaat dit een aantal dagen kosten om een goed resultaat te krijgen. Met krachtige Nvidia grafische kaart is het mogelijk om dit te verkorten naar enkele uren.<\/p>\n

$ python ~\/tensorflow_models\/object_detection\/train.py --logtostderr --pipeline_config_path=ssd_mobilenet_v1_face.config --train_dir=model_output<\/span><\/p>\n

<\/p>\n

Omzetten van checkpoint naar protobuf<\/h2>\n

Om het model te kunnen gebruiken in Objectherkenning met de Computer Vision library Tensorflow<\/a>. Het onderstaande commando staat een locatie naar de models repository en naar het laatste checkpoint. In de map model<\/em> komt frozen_inference_graph.pb <\/em>te staan.<\/p>\n

$ python ~\/tensorflow_models\/object_detection\/export_inference_graph.py \\
\n--input_type image_tensor \\
\n--pipeline_config_path ssd_mobilenet_v1_face.config \\
\n--trained_checkpoint_prefix model_output\/model.ckpt-12262 \\
\n--output_directory model\/
<\/span>\n<\/p>\n

TL;DR;<\/h3>\n

In de map model\/frozen_inference_graph.pb <\/em>op de github repository staat een frozen model van het Artificial Neural Network. De Chinese Universiteit van Hongkong heeft WIDERFace beschikbaar gesteld. In deze tutorial wordt deze dataset gebruikt om een gezichtsherkenings Machine Learning model te trainen.<\/p>\n

Evaluatie<\/h2>\n

Naast de data die gebruikt wordt voor het trainen is er ook een evaluatie-dataset. Op basis van deze evaluatie-dataset is het mogelijk om de nauwkeurigheid uit te rekenen. Voor mijn model heb ik de nauwkeurigheid (Mean Average Precision) uitgerekend. Ik kwam op een score van 83.80% bij 14337 stappen (epochs). Voor dit proces heeft Tensorflow een los script en wordt het mogelijk om in Tensorboard te zien wat de score is. Er wordt aangeraden om naast het trainen ook een evaluatieproces te draaien. Je kunt dan het proces monitoren met Tensorboard.\n<\/p>\n

$ python ~\/tensorflow_models\/object_detection\/eval.py --logtostderr --pipeline_config_path=ssd_mobilenet_v1_face.config --checkpoint_dir=model_output --eval_dir=eval<\/span><\/p>\n

$ tensorboard --logdir=eval --port=6010<\/span><\/p>\n

Conclusie en het gebruik van het frozen model<\/h2>\n

Het is gelukt om een gezichtsherkenning model te trainen. Het frozen model model\/frozen_inference_graph.pb<\/em> kan ingezet worden in bijvoorbeeld Objectherkenning met de Computer Vision library Tensorflow<\/a>.
\nMocht de wereld van Computer Vision je interesse hebben gewekt, maar weet je nog niet hoe je dit kunt toepassen en heb je de nodige vragen? Stuur mij dan een mailtje<\/a> dan kunnen we een kopje koffie drinken.<\/p>\n


\n

Deze blogpost verscheen op Qdraw<\/a>. Er is een Engelse vertaling beschikbaar op: Towards Data Science \u2013 Medium<\/a><\/em><\/p>\n","protected":false},"excerpt":{"rendered":"Met Artificial Intelligence wordt het mogelijk om beelden slim te analysen en dit slim toe te passen. Dit artikel is een follow-up van Objectherkenning met de Computer Vision library Tensorflow. In het vorige deel zet ik een getraind model in om 80 objecten, te vinden en te identificeren en de locatie in het beeld te… Bekijk artikel<\/a>","protected":false},"author":2,"featured_media":4834,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"qdraw_kf_afstand":"","qdraw_kf_uren":"","qdraw_kf_minuten":"","qdraw_kf_startpunt":"","qdraw_kf_eindpunt":"","qdraw_kf_waardering":"","footnotes":""},"categories":[2136],"tags":[2718,2724,2708,2725],"content_hub":[],"class_list":["post-4835","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-design","tag-artificial-intelligence","tag-computer-vision","tag-machine-learning","tag-tensorflow"],"_links":{"self":[{"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/posts\/4835","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/comments?post=4835"}],"version-history":[{"count":0,"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/posts\/4835\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/media\/4834"}],"wp:attachment":[{"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/media?parent=4835"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/categories?post=4835"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/tags?post=4835"},{"taxonomy":"content_hub","embeddable":true,"href":"https:\/\/qdraw.nl\/blog\/wp-json\/wp\/v2\/content_hub?post=4835"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}