Computer haben gelernt, Bilder zu identifizieren
Für die Bildersuche im Netz spielt die Bilderkennung die Hauptrolle. Und sie ist ein zentrales Thema des Machine Learning. Mit Hilfe von Lern-Algorithmen werden Computer solange trainiert, Bilder zu analysieren und zu klassifizieren, bis sie diese automatisch identifizieren können.
Liebe Leser, seit meinen beiden Blogbeiträgen über Suchmaschinen habe ich wieder viele Streifzüge im Internet und im World Wide Web unternommen. Wenn es jetzt Winter und draußen kalt und unfreundlich ist, dann ist die Zeit gekommen, Euch über manche Themen zu berichten. Wie zum Beispiel diesmal über das medial so präsente Machine Learning und das Deep Learning. Und zwar heute über das Teilgebiet der Bildersuche im Netz. Und es ist ein weiterer Blogbeitrag über Suchmaschinen: nämlich über die speziellen Bildersuchmaschinen.
Einzelne konkrete Bilder im Internet/WWW suchen und auffinden…
Ein bestimmtes Bild im Internet finden. Geht das überhaupt? Muss man dazu die Quelle, das Dokument, den URL eingeben? Oder reicht es, einfach ein Foto eines Gemäldes, eines Bauwerks, einer Skulptur…, ohne einen hinweisenden Begleittext, einzugeben? Um herauszufinden, wer es gemalt, fotografiert, gestaltet, gebaut… hat. Wo es sich derzeit befindet? Auf welchen Webseiten es davon Abbildungen gibt?
Überlegen wir einmal, wie Bilder in´s Internet, in´s World Wide Web gelangen: Firmen, Forscher, Wissenschaftler, Medien, Privatpersonen, Institutionen… stellen Dokumente, die auch oft Bilder enthalten können, in´s Netz der Netze.
Dabei können es Bilder aus der Werbung, Bilder in Publikationen, Bilder aus Archiven, Bibliotheken, Museen, Galerien,…sein. Diese Bilder können verschiedenste Formate, Farben, Untertitel, Wasserzeichen…haben.
Alle Bilder im Netz sind öffentlich, sind für jedermann zugänglich, solange sie nicht dezidiert gesperrt sind.
(Bilder kann man auch bewusst in Clouds bunkern. Google Fotos ist z.B. so eine Cloud. Dort hat aber nur Zugriff, wer dazu befugt ist.)
Wie findet man ein konkretes Bild im Netz?
Was tun, wenn man ein ganz bestimmtes Bild im Sinne hat und wissen will, wo es zu finden ist? Wer es gemalt hat?…
Zum Beispiel dieses Bild:
Wo finde ich den Namen des Malers?
Oder dieses Bild:
Von wem stammt dieses eigenartige Gebilde?
Oder dieses Bild:
Soll man selber danach im Internet suchen? Wenn man vielleicht schon einen bestimmten Verdacht hat, wo es zu finden wäre, dann kann die persönliche Suche eine Option sein. Ansonsten…viel Glück zur Stecknadelsuche im Heuhaufen der Milliarden Webseiten!
Bildersuche, Bildanalyse, Bildklassifikation, Image Recognition…mehr als mediale Schlagworte? JA!
Seit Beginn der Computer-Zeitrechnung ist es eine der Top-Herausforderungen für Forscher und Praktiker im IT-Feld:
Ein Bild allein auf Grund seines Aussehens, ohne weitere Hinweise, automatisch zu erkennen, es zu klassifizieren und wenn möglich im Netz aufzufinden.
Daher haben seit Jahrzehnten ambitionierte IT-Teams spezielle (Lern-)Algorithmen für das automatische Analysieren und Zuordnen von Bildern entwickelt: die automatische Bilderkennung oder Image Recognition.
Google, Microsoft, und viele andere entwickeln und nutzen diese Technologien und stellen sie uns Web-Usern jetzt zur Verfügung: als
Zu finden sind sie vor allem unter Google Bilder oder Bing Bilder.
Ich zeige Euch jetzt eine erste Bildersuche im Web mit einem noch nicht veröffentlichten Bild:
Über meinen Browser suche ich nach Google Bilder: hier der Screenshot:
Das Fotoapparat-Icon zeigt mir an, dass ich ein Bild hinein laden kann, das dann Google im Internet suchen wird. (Ihr kennt das Foto-Icon von Facebook und vielen anderen Social Media Diensten).
Also stelle ich ein erst kürzlich von mir gestaltetes Bild per drag&drop hinein, das Google noch nicht kennen kann (es stammt aus einem meiner Blender-Projekte):
Der Screenshot zeigt das Ergebnis der Bildsuche:
Wie zu sehen ist, dauert es nur 72 Hundertstel-Sekunden!!!, bis die Auskunft auf meinem Monitor erscheint. Zu lesen ist:
„Vermutung für dieses Bild: triangle.“ Dazu nennt Google die Bildgröße: 356×252.
Und gibt einen Link auf eine Wikipedia-Erklärung, was denn nun Dreiecke seien.
Dazu noch zwei Links zu Werbeeinschaltungen von Modefirmen, die zum Online-Kauf ihrer Produkte auffordern wollen. (Google finanziert sich ja bekanntlich über Werbung).
Und dazu noch eine Galerie: Optisch ähnliche Bilder. Sie haben alle bunte Dreiecke als Klassenmerkmal…
- Ich demonstriere eine zweite Bildsuche im Netz, diesmal mit einem bereits veröffentlichten Bild:
Präziser ist das Ergebnis einer Bildsuche, wenn das gesuchte Bild bereits im Internet irgendwo auf mindestens einer der Milliarden Webseiten gespeichert ist.
Dazu gebe ich als Testbild ein Tiefenstrukturbild ein, das ich auf meiner eigenen Webseite, in einem Blogbeitrag, verwendet und dadurch veröffentlicht habe:
Der Screenshot zeigt das Ergebnis der Recherche:
Google Bilder findet dieses Bild im riesigen World Wide Web mit seinen vielen Milliarden(!) Webseiten und gibt mir nach 5 Zehntelsekunden(!!) die Informationen dazu:
- Vermutete Klasse: colorfulness
- Bildgröße: 356×252
- Wikipedia-Erklärung bzgl. der Klasse colorfulness
- Beispiele optisch ähnlicher Bilder (aus der Klasse colorfulness)
- Links zu 2 Seiten, wo dieses Bild zu finden ist:
- Es ist punktgenau meine eigene Website http://www.burkhardzimmermann.at, auf der Ihr, liebe Leser, Euch gerade befindet!
- Eine dritte Bildrecherche im Netz mit dem Foto eines weltbekannten Kunstwerks:
Nun biete ich Google Bilder ein Museumsbild an, und zeige Euch das Ergebnis der Recherche im Screenshot:
In nur 1,13 Sekunden hat die Suchmaschine ca. 22,6 Millionen(!!) Dokumente gefunden und für mich aufgelistet, auf denen dieses Gemälde gezeigt wird.
Google „vermutet“, dass es sich dabei um Die Madonna im Grünen von Raffael handelt und gibt Informationen dazu. (Mein eingegebenes Foto zeigt übrigens nicht das ganze Gemälde. Trotzdem hat es Google richtig identifiziert.)
Bildersuchmaschinen
Wie schaffen Bildersuchmaschinen solche „Herkules“aufgaben?
Die Antwort lautet:
Google und die anderen Bildersuchmaschinen verwenden Verfahren der Künstlichen Intelligenz (KI)/Artificial Intelligence (AI).
Was sich hinter Abkürzungen wie KI, AI, ML, DL, NN, CNN… verbirgt, darüber möchte ich in weiteren Blogbeiträgen schreiben. Für diesmal nur so viel:
Insbesondere das Machine Learning (ML), also das Trainieren von Groß und Super-Computern mittels Neuronalen Netzen (NN) hat in den letzten Jahren eine stürmische Entwicklung erlebt.
Derzeit wird besonders das Thema Deep Learning (DL) als das „Herz“ von Machine Learning und Artificial Intelligence bezeichnet.
Und Machine Learning und Deep Learning entwickeln sich rasant weiter: Mit großer Spannung werden von der Community jedes Jahr die neuesten Ergebnisse des internationalen Wettbewerbs IMAGENET (Imagenet Large Scale Visual Recognition Challenge) erwartet.
Einer Meldung der österreichischen Tageszeitung Kurier vom 16.12.2017/Futurezone entnehme ich, dass der Smartphone-Hersteller Huawei in seinem neuen Modell Mate 10 Pro bereits einen KI-Chip einbaut, der über Lern-Algorithmen verfügt! Also, was bis vor Kurzem nur mit mächtigen Computern möglich war, ist ab sofort auch den schmächtigen Artgenossen zugänglich!
Deep Learning für die Analyse und Klassifizierung von Bildern.
Bilder im Netz bestehen zumeist aus Pixeln (Ausnahme z.B. Vektorgrafiken). Die Bilderkennung (Image Recognition) erfolgt in einem vielstufigen, antrainierten Filter-/Pixel-Reduktionsprozess (CNN u.a.), um vordefinierte Bildmerkmale zu extrahieren.
Die im Bild identifizierten einzelnen Merkmale werden dann in einem mehrstufigen Integrationsprozess vordefinierten Klassen zugeordnet.
Das Verfahren ist auch als Deep Learning (DL) bekannt geworden.
In den oben demonstrierten Beispielen sind triangle und colorfulness solche vordefinierten und in unzähligen überwachten Trainingseinheiten optimierte Bildklassen.
Die Madonna im Grünen muss keiner Klasse (wie etwa „Mutter mit Kind“) zugeordnet werden. Das Bild ist ja ein Direkttreffer, ein bekanntes Unikat.
Und warum gibt Google Bilder jeweils nur eine „Vermutung“ ab? Weil die automatische Bilderkennung nie ganz fehlerfrei sein kann:
Ein Beweis:?
Ich gebe nur Ausschnitte des obigen Raffael-Gemäldes ein.
Google Bilder erkennt den Ausschnitt als Teil des Gemäldes und tippt beim Ausschnitt „Jesuskind“ richtig auf Die Madonna im Grünen.
Die Suchmaschine scheint sich aber anscheinend beim Ausschnitt „Portrait der Maria“ zu irren,
wie der Screenshot zeigt:
Da ist kein Hinweis auf Die Madonna im Grünen zu finden.
Des Rätsels Lösung:
Jacques Duquesne, Schriftsteller, Jg. 1930, hat ein Buch über Maria, die Mutter Jesu geschrieben, das vom Verlag Perlentaucher mit dem Portraitausschnitt der Madonna im Grünen illustriert wurde! Und da das eine Antiquariats-Anzeige ist, kommentiert Google Bilder dieses Cover-Bild nicht!
Also doch kein Irrtum der Bildersuchmaschine!
Liebe Leser, macht zur Vertiefung in das Thema Bildersuche im Netz doch gleich selbst Experimente! Denn Übung macht den Meister…
Bis zum nächsten Mal sage ich Tschüss!
