In dieser Lektion werdet ihr…
- lernen wie man ein KI-Modell in ein Projekt integriert.
- damit beginnen, euer KI-Projekt zu programmieren.
Schlüsselbegriffe
- Software – Bezeichnung für Programme oder Anwendungen, die auf einem Computer oder Gerät betrieben werden.
Eure Plattform integrieren
An dieser Stelle habt ihr das KI-Modell zusammen im Team mit einem „gesunden“ Datensatz trainiert. Um sicherzugehen, dass euer KI-Modell zuverlässig und genau arbeitet, habt ihr es zudem mit neuen und vielfältigen Daten getestet. Damit ist die Arbeit aber noch nicht getan! Euer Ziel ist es ja, dass euer KI-Modell Handlungen ausführt, die von den Vorhersagen ausgehen, welche das Modell selbst getroffen hat.
Damit euer Modell nützlich ist und somit das von euch gewählte Problem lösen kann, müsst ihr es in eine Plattform oder ein Software-System übertragen.
In den meisten vorgestellten Plattformen aus der Lektion Künstliche Intelligenz 4 könnt ihr innerhalb der Plattform an eurem KI-Modell arbeiten. Ihr könnt also dort direkt eine App oder Programm entwickeln, die euch beim Erreichen eurer Ziele unterstützt. Eine dieser Plattformen für die Erstellung eures KI-Modells ist Teachable Machine. Um mittels eures KI-Modells Handlungen ausführen zu können, benötigt ihr Scratch-Versionen vom MIT Media Lab oder Stretch3.
Mit einem Klick auf die von euch gewählte Plattform gelangt ihr zu dem entsprechenden Abschnitt. Dort erfahrt ihr, wie ihr euer trainiertes Modell integrieren könnt.
Dabei wird euer Model in den Teachable Machine-Server geladen. Anschließend erhaltet ihr eine URL, die ihr in Stretch3 nutzen könnt. Kopiert die URL.
Öffnet in Stretch3 ein neues Projekt: https://stretch3.github.io.
Klickt auf den Button, um eine Erweiterung hinzuzufügen.
Durch einen Klick fügt ihr die TM2Scratch-Erweiterung hinzu.
Jetzt habt ihr Zugang zu den TM2-Blöcken. Zieht den Block der Klassifizierungsmodell-URL heraus. Wir haben in diesem Beispiel ein Modell für Töne verwendet. Ihr könnt aber natürlich auch ein Klassifizierungsmodell für Bilder oder Posen nehmen.
Fügt die URL, die ihr aus eurem Modell in Teachable Machine kopiert habt, in das leere URL-Feld ein.
Um euer Modell zu aktivieren und es zum Laufen zu bringen, müsst ihr jetzt auf die grüne Klassifizierungsmodell-URL klicken. Die URL wird nun gelb angezeigt. Sobald die gelbe Markierung weg ist, ist euer Modell geladen. Jetzt habt ihr Zugang zu euren unterschiedlichen Klassen.
Beispielsweise könnt ihr den Block when received sound label nutzen. Dieser Event Handler wird ausgelöst, wenn das Programm einen der Töne erkennt, auf die das Modell trainiert wurde. Das Label-Dropdown-Menü sollte alle unterschiedlichen Klassen enthalten, mit denen ihr das Modell trainiert habt. In diesem Beispiel erkennt das Modell Schnipsen (Snaps), Klatschen (Claps), Pfeifen (Whistles) und Hintergrundgeräusche (Background Noise).
Ihr könnt euer Projekt so programmieren, dass es eine Handlung ausgeführt, wenn ein Label klassifiziert wird. Ihr könntet zum Beispiel ein Bild anzeigen lassen, das sich ändert, je nachdem, welchen Ton es hört. Passt euren Code eurem eigenen KI-Projekt an!
In diesem Video könnt ihr sehen, wie man das Modell „Schnipsen, Klatschen, Pfeifen“ in Stretch3 integriert.
Nehmt das Klassifizierungsmodell für die Schwertlilien aus der Lektion Künstliche Intelligenz 4 und fügt es in Scratch3 ein. Ihr seht dann, dass mit diesem Modell das Bild der passenden Schwertlilienart erscheint, wenn Nutzer:innen die Größe des Kelchblattes und des Blütenblattes eingeben.
Nach dem Trainieren eures Bild- oder Tonmodells mit den Classifier-Webseiten von App Inventor könnt ihr die Erweiterung PersonalImageClassifier oder PersonalAudioClassifier in App Inventor aufrufen, um das Modell in eurer mobilen App zum Einsatz zu bringen.
Hier findet ihr sämtliche Erweiterungen von App Inventor. Ihr könnt sie herunterladen und in App Inventor importieren.
- Klickt in der Design-Palette auf Extension.
- Klickt auf Import extension.
- Klickt auf Choose File und wählt die Extension-Datei, die ihr oben auf der Extensions-Seite heruntergeladen habt.
- Klickt auf den Import-Button, um die Erweiterung und deren Blöcke zu importieren.
Darüber hinaus müsst ihr in eurem Projekt eine WebViewer-Komponente hinzufügen. Die Komponente findet ihr im Bereich „User Interface“.
Wir zeigen euch in diesem Beispiel, wie der Image Classifier eingerichtet wird. Dieser funktioniert allerdings fast genauso wie der Audio Classifier, weil dieser Spektrogramme heranzieht, bei denen es sich um Bildversionen von Tönen handelt.
Um euer Model vom Classifier zu verbinden, müsst ihr zuallererst das Model von der Classifier-Webseite herunterladen und danach
- die PersonalImageClassifier-Komponente wählen.
- im Bereich „Properties“ (Eigenschaften) unter „Model“ auf „None“ klicken und die heruntergeladene Datei model.mdl hochladen. (Die Datei kann beliebig umbenannt werden, muss aber unbedingt den Zusatz „.mdl“ im Namen enthalten).
- beim WebViewer auf „None“ klicken und die WebViewer-Komponente, die ihr kurz davor im Projekt hinzugefügt habt, wählen.
Beachtet die Eigenschaft „InputMode“, die entweder als Video oder als Bild angegeben werden kann. Wenn ihr euch für die Video-Option entscheidet, wird das Modell fortlaufend versuchen, den Video-Feed zu klassifizieren, der im WebViewer angezeigt wird. Falls ihr die Image-Funktion wählt, müsst ihr, um an ein Bild für die Klassifizierung zu gelangen, die Camera- oder ImagePicker-Komponente hinzufügen. Damit die Klassifizierung von Bildern funktionieren kann, benötigt ihr dafür unbedingt auch die WebViewer-Komponente.
In den folgenden Videos erfahrt ihr, wie ihr das Modell mit den gesunden und kranken Obstsorten aus der Lektion Künstliche Intelligenz 4 in App Inventor hinzufügen könnt. Auf diese Weise lernt ihr, wie man eine App entwickelt, die mithilfe der Handy-Kamera gesunde von kranken Obstsorten unterscheidet.
Teil 1
Teil 2
Es gibt bereits einige Community-Projekte, welche die mblock KI-Erweiterungen anwenden. Hier könnt ihr euch ein paar dieser Projekte genauer ansehen. In vielen dieser Beispiele wurde Hardware, wie bspw. Arduino, eingesetzt.
Aktivität: Euer KI-Projekt programmieren
Aufgabe:
- Überprüft, was ihr für eure jeweilige Plattform braucht, damit euer trainiertes KI-Modell in einem Projekt hinzugefügt werden kann.
- Legt ein neues Projekt in der von euch ausgewählten Plattform an und importiert euer Modell. Wie das alles geht, hängt von den Vorgängen der jeweiligen Plattform ab.
- Los geht’s! Importiert die Komponenten und den Code in die Plattform, sodass euer Projekt eine Handlung ausführt, die auf den Vorhersagen eures Modells basiert.
Reflexion
Ihr habt endlich mit dem Programmieren angefangen und somit den Grundstein dafür gelegt, dass euer KI-Projekt Entscheidungen treffen und Handlungen ausführen kann. An dieser Stelle angekommen, seid ihr in der Lage zu erkennen, wie euer Modell aussieht und was es so alles kann!
Jetzt ist auch ein guter Moment, um in euren Projektplan/Project Canvas reinzuschauen und zu überprüfen, wie euer Projekt vorankommt. Unter Umständen ist es notwendig, den Zeitplan und die Aufgaben anzupassen. Vielleicht sind neue Aufgaben dazugekommen, weil ihr eine andere Plattform verwendet. Eventuell müsst ihr auch die Schritte, die für das Erreichen eurer Ziele erforderlich sind, ändern oder berichtigen.
Sobald euer Code funktioniert, ist es Zeit, dass ihr euch wieder mit euren Nutzer:innen beschäftigt. Macht euch auf die Suche nach Menschen, die euer Projekt testen und euch mit hilfreichem Feedback versorgen.
Zusatzmaterial
Fortgeschrittene KI-Integrationen
Unten findet ihr weitere Tutorials für das Programmieren mit Plattformen, die ein KI-Modell einbinden können.
Ihr möchtet Hardware wie micro:bit einsetzen?
Technovation Challenge
Bewertungskriterien für den internationalen App-Wettbewerb
Am Ende der Technovation-Saison wird die App anhand von bestimmten Kriterien in verschiedenen Kategorien von einer Jury bewertet. Diese Lektion hilft euch, Punkte für die Erklärung eures KI-Modells im Abschnitt „Demo-Video“ zu sammeln. Hier könnt ihr den Bewertungsbogen einsehen.
technovationgirls@dkjs.de