Teil B · Die Zucht beobachten: Bildwächter auf dem Pi, Lernen und Erkennen auf dem Jetson

Fassung 1.0 vom 06.11.2026 · Prof. Dr.-Ing. Ralph Wystup M.Sc. und Claude (Anthropic, Claude Code) — gemeinsam erstellt. Teil A (Kapitel 1–8) beschreibt den motorischen Autofokus; Teil B setzt darauf auf.

9 · Die Aufgabe: eine Salzkrebszucht überwachen

Salzkrebse (Artemia) sind das Lebendfutter der Aquakultur. Wer sie zieht, will wissen, wie viele Tiere im Wasser sind, ob sie sich bewegen, wie groß sie werden und wie schnell. Unter dem USB-Mikroskop mit dem Autofokus aus Teil A liegt die Probe in einer flachen Schale; die Kamera liefert 640 × 480 Bildpunkte mit 30 Bildern je Sekunde, ein Bildpunkt entspricht etwa 10,5 µm in der Schärfeebene (Maßstab aus Teil A, gültig nur im Fokus).

Daraus folgen vier Messgrößen: Tiere je Bild (daraus die Dichte), bewegt oder ruhend, Körperlänge und Tempo. Und zwei Vorgaben, die den Aufbau bestimmen:

1. Der Pi läuft allein. Bild, Schärfe, Anzeige, Aufzeichnung und die einfache Verfolgung der Tiere laufen auf dem Raspberry Pi 5 und müssen weiterlaufen, wenn alles andere ausfällt — der zweite Rechner, das Netz zum Arbeitsbereich, die KI-Sitzung.
2. Der Jetson lernt und erkennt. Ein Jetson Orin Nano (8 GB, 1024 CUDA-Kerne) liest den Livestrom des Pi mit, sammelt die Aufnahmen, lässt sich Lernbilder vom Menschen bewerten, lernt daraus ein YOLO-Modell und liefert die Statistik an die Seite des Pi zurück. Fällt er aus, fehlt nur die Statistik.

Der Rest dieses Teils folgt dem Weg eines Bildes: vom Pi (Kapitel 10) über die Datenstrecke (11) zu den Lernbildern (12), dem Training und dem Livedienst auf dem Jetson (13), zurück auf die Seite (14), geprüft als Ganzes (15), vermessen (16) und eingeordnet (17).

10 · Der Bildwächter auf dem Pi

Der Bildwächter (Auswertung 1.4) läuft als Dienst neben dem Autofokus und liest denselben Kamerastrom. Er arbeitet mit Regeln, nicht mit gelernten Netzen — das macht ihn auf dem Pi schnell (27–28 Bilder je Sekunde) und ohne Fremdhilfe lauffähig.

Bewegung. Ein Hintergrundmodell aus Gaußmischungen (MOG2 in OpenCV) hält für jeden Bildpunkt eine Verteilung der zuletzt gesehenen Grauwerte. Was von der Verteilung abweicht, ist Vordergrund. Eine morphologische Öffnung tilgt Einzelpunkte, ein Flächenfenster lässt nur Flecken in der Größe eines Tieres durch (Körperlänge 0,4–1,5 mm, also 40–150 Bildpunkte).

Aussehen. Ein Fleck gilt als Tier, wenn seine Form länglich ist (Verhältnis der Hauptachsen) und seine Farbe im Braun der Artemia liegt (Farbraum HSV, Sättigung und Farbton in einem Fenster). Körner sind grau und rund, Luftblasen hell.

Verfolgung. Flecken aufeinanderfolgender Bilder werden nach Nähe zu Bahnen verbunden. Jede Bahn trägt Länge, Tempo (Verschiebung je Zeit, in mm/s über den Maßstab) und Alter. Die Marken im Livebild („Punkte”) stammen aus diesen Bahnen.

Aufzeichnung. Sobald Bewegung vorliegt, schreibt der Pi einen Satz: ein kurzes Video (MJPEG, 640 × 480) und eine Zeilendatei mit allen Flecken und Bahnen je Bild. Ein Satz dauert einige Sekunden; am 06.11.2026 entstanden rund 2 200 Sätze. Die Seite zeigt die Punkte im Livebild, den Zustand des Wächters und die Aufzeichnungen (Teil A, Reiter „Bedienen”).

Wo die Regeln an ihre Grenze kommen. Ruhende Tiere sind für ein Bewegungsmodell unsichtbar; der Befund zu Problem 4 (Kapitel 16) zeigt, dass drei Viertel der verpassten Tiere schon am Vordergrund scheitern, nicht an Form oder Farbe. Ein Versuch, ruhende Tiere über eine Nachsuche im Aussehen mitzunehmen (Fassungen 1.5–1.8), erzeugte Marken ohne Tier an grauen Körnern und wurde nach dem Augenschein zurückgenommen. Die Regelmaschine bleibt bei 1.4; das Lernen übernimmt der Jetson.

11 · Die Datenstrecke zwischen Pi und Jetson

Beide Rechner stehen im selben Heimnetz, der Pi im WLAN (2,4 GHz, Bandwechsel abgeschaltet, Teil A), der Jetson am Kabel. Gemessen am 06.11.2026: Ping 1 ms, Kopieren Jetson → Pi 37 Mbit/s, Livestrom 30 Bilder je Sekunde bei 11 Mbit/s.

Der Jetson-Dienst (Fassung 1.10, ein Python-Programm unter systemd) tut im Minutentakt vier Dinge:

Dazu liest der Dienst den Livestrom des Pi dauernd mit (MJPEG, Wiederverbindung 2–30 s), hält das letzte Bild bereit, nimmt Aufträge entgegen (Skripte, die der Pi in einen Ordner legt) und gibt Dateien stückweise über HTTP heraus (Base64, 45 000 Zeichen je Stück, SHA-256 am Ende). Dieser Auftrags- und Dateiweg braucht kein Kennwort — das war die Lehre eines Vormittags, an dem der Sicherheitsfilter der KI-Sitzung auf ein mehrfach ausgelesenes Kennwort ansprang und die Sitzung sperrte.

12 · Lernbilder und die Lernseite

Ein Modell lernt aus Bildern mit Rahmen. Die Rahmen zeichnet nicht der Mensch von Null an, sondern die Maschine schlägt sie vor und der Mensch korrigiert:

1. Auswahl der Bilder. Je Satz die drei tierreichsten Bilder, mindestens 25 Bilder auseinander, Lernarchiv zuerst; insgesamt 301.
2. Vorschlagsrahmen. Vereinigung aus Farbwahrheit und Verfolgung des Pi (Rahmen, die sich zu mehr als 50 % überdecken, werden verschmolzen), jeder Rahmen um 6 Bildpunkte vergrößert.
3. Vorsortierung. Die 50 aussagekräftigsten Bilder (viele Rahmen, hohe Schärfe nach dem Laplace-Maß, höchstens zwei je Satz) kommen zuerst, der Rest ist „zurückgestellt” und bleibt für spätere Runden.
4. Die Lernseite läuft auf dem Jetson und ist mit der Maus bedienbar: Linksklick löscht einen Rahmen, Ziehen zeichnet einen neuen in der gewählten Klasse, Rechtsklick wechselt die Klasse (Tier, Korn, Maßstab), grün speichert und blättert, rot verwirft das Bild. Jede Bewertung wird sofort als Datei abgelegt, man kann jederzeit aufhören. Der Knopf „Fertig” meldet dem Dienst das Ende einer Runde; er baut den Datensatz und startet das Training (Kapitel 13).

Die erste Runde am 06.11.2026: 52 Bilder geprüft mit 209 Tier-, 14 Korn- und 12 Maßstabsrahmen, 6 Bilder verworfen, 243 zurückgestellt. Eine Lehre aus der ersten Fassung der Seite: ein Knopf „weiter”, der nicht speichert, kostet eine halbe Stunde Arbeit — seit Fassung 1.3 speichert jeder grüne Knopf.

13 · YOLO auf dem Jetson: Datensatz, Training, Livedienst

Datensatz. Nur geprüfte Bilder (und offene mit Vorschlagsrahmen, wenn man es will), nie verworfene oder zurückgestellte. Die Rahmen gehen in das YOLO-Format (Klasse, Mitte, Breite, Höhe, normiert), die Aufteilung in Lern- und Prüfbilder folgt dem MD5-Hash des Bildnamens (85 : 15), damit sie bei jeder Runde gleich bleibt.

Modell. YOLOv8n (3,2 Mio. Parameter) aus ultralytics, Eingabe 640 Bildpunkte, Stapel 8, 40 Epochen mit frühem Halt (15 Epochen ohne Gewinn). Ein Lauf mit 52 Bildern dauert auf dem Jetson 3,5 min. Die Güte wird als mAP@0,5 auf den Prüfbildern angegeben — der Mittelwert der Präzision über die Trefferquote, wobei ein Rahmen als Treffer gilt, wenn er den wahren Rahmen zu mindestens 50 % überdeckt (IoU, Schnitt durch Vereinigung):

IoU = |A ∩ B| / |A ∪ B|

Das zweite Modell ist das ehrlichere: seine Prüfbilder tragen menschliche Rahmen, nicht die Vorschläge derselben Maschine. Dass die Zahl mit nur neun Prüfbildern grob ist, liegt auf der Hand; die 243 zurückgestellten Bilder sind die nächste Runde.

Speicher — die Lehren des Tages. Der Jetson hat 7,4 GB, die sich CPU und GPU teilen (vereinheitlichter Speicher, nvmap). Vier Dinge mussten gelernt werden, jedes an einem Abbruch:

1. CUDA braucht beim Start physisch freien Speicher. Der Seitencache des Dienstes (Videos per rsync, bis 5 GB je Stunde) zählt nicht als frei → vor jedem GPU-Start sync; echo 3 > drop_caches über einen Helfer mit sudoers-Regel.
2. Eine Speicherobergrenze (MemoryHigh) am Dienst drosselt auch seine Kinder → Training und Livedienst sind eigene systemd-Einheiten.
3. Zwei GPU-Prozesse passen nicht nebeneinander → die Trainingseinheit hält den Livedienst an (ExecStartPre=+systemctl stop) und startet ihn danach (ExecStopPost=+systemctl start); die Seite zeigt solange „YOLO pausiert — Training läuft”.
4. Der TensorRT-Export hing zweimal am Speicher → kein Export; PyTorch in halber Genauigkeit liefert 49,8 Bilder je Sekunde, mehr als der Strom bringt.

Und eine fünfte, systemd-eigene: Mit User= laufen auch ExecStartPre-Schritte als dieser Benutzer. Der Cache-Helfer scheiterte still mit „Permission denied”, sichtbar nur im Journal — Root-Schritte tragen das Präfix +.

Livedienst. Der YOLO-Livedienst (Fassung 1.3) liest den Livestrom des Pi, lässt jedes Bild durch das Modell und verfolgt die Rahmen mit ByteTrack (Zuordnung über Bildfolgen, Spur-Nummern). Daraus je Bild: Tiere, bewegt oder ruhend (Spurgeschwindigkeit über 0,5 s gegen 0,2 mm/s), Körpergröße als längste Rahmenseite mal Maßstab, Tempo als Median der Spuren, Körner. Ein Stundenzähler hält Höchstwert und Mittel je Stunde. Der Dienst gibt die Zahlen (/stand) und einen MJPEG-Strom der Bilder mit eingezeichneten Rahmen, Klasse und Sicherheit heraus — die Funktionsanzeige in Echtzeit. Gemessen: 28,8 von 28,8 Bildern je Sekunde verarbeitet, Körpergröße 1,0–1,2 mm, Tempo 0,4 mm/s (16:07 und 16:14 Uhr). Ein neues best.pt wird im Lauf erkannt und nachgeladen.

14 · Die Seite: Statistik, Lernen und der Rückfall ohne Jetson

Die Seite des Pi (Teil A) bekam drei Dinge dazu, ohne dass der Reiter „Bedienen” sich änderte:

• Jetson-Block im Reiter „Bedienen”: Verbindung, Auslastung (CPU, GPU, Speicher, Temperatur), letzter Abgleich, Livestrom, eine YOLO-Zeile. Eigener Abruf alle 2 s mit eigener Fehlerbehandlung; nach 6 s ohne Antwort fällt die Lampe, sonst ändert sich nichts.
• Reiter „Statistik”: Lampe und Zustand des YOLO-Dienstes, das Livebild mit Rahmen (nur geladen, solange der Reiter offen ist), Kacheln für Tiere je Bild (Mittel über 5 s), bewegt/ruhend, Größe, Tempo, Bilder je Sekunde, Körner, dazu die Stundentafel und die Satzstatistik des Jetson-Dienstes. Läuft ein Training, steht dort „YOLO pausiert — Training läuft seit hh:mm:ss”.
• Reiter „Lernen”: die Lernseite des Jetson in einem Rahmen, geladen erst beim Öffnen und nur, wenn der Jetson antwortet; sonst ein Satz, der sagt, woran es fehlt. Klicks und der Fertig-Knopf gehen direkt an den Jetson.

Die Regel dahinter ist Kernforderung 42 des Verfassers: Der Pi wartet nie auf den Jetson. Jeder Abruf zum Jetson hat ein eigenes Zeitlimit, nichts anderes auf der Seite hängt daran. Die Browserprobe P8 (Kapitel 15) stellt den Jetson ab und prüft, dass Livebild, Fokus und Punkte weiterlaufen.

15 · Das Zusammenspiel prüfen

Fünf Teile arbeiten zusammen — Pi, Jetson, die Brücke auf dem PC des Verfassers, der Arbeitsbereich der KI und der Browser. Ein Prüfer (Fassung 1.5) fährt 17 Schritte ab und schreibt ein Protokoll; die Sollwerte stehen im Prüfer, nicht im Prüfling.

Lauf vom 06.11.2026, 16:53 Uhr: 16 von 17 bestanden, P2 fiel an einem Aussetzer der Brücke (sie holt etwa 5 s nach einem Python-Auftrag für 40–60 s keine Befehle ab, gemessen mit einer Reihe von neun Abfragen) und wurde durch Wiederholung belegt. Das Protokoll liegt bei. Die Tafel „Was ohne den Arbeitsbereich weiterläuft” darin ist die Antwort auf die Vorgabe, dass eine gesperrte KI-Sitzung die Geräte nicht berühren darf: alles läuft weiter, nur neue Fassungen und Aufträge ruhen.

16 · Was gemessen wurde (06.11.2026)

Rechenleistung und Strecke.

Speicher auf dem Jetson. Mit FEM-Dienst und Desktop: 317 MB frei, 2,7 GB ausgelagert; ohne beide (abgeschaltet am Abend): 1,64 GB frei, 4,77 GB verfügbar, 0,29 GB ausgelagert. Das Training brauchte 5,8 von 7,4 GB.

Problem 4 — warum der Pi Tiere verpasst. Gegen die Farbwahrheit als zweiten Weg: von den verpassten Tieren scheiterten 75 % am Vordergrund (MOG2), nicht an Form oder Farbe; die Farbwahrheit selbst kennt keine ruhenden Tiere (Medianbild). Ruhende Tiere zeigen im Stand eine Bilddifferenz von 12,5 Graustufen (Antennenschlag), Körner 3,9 — ein brauchbares Lebenszeichen, das aber in der Nachsuche (1.8) keinen Gewinn brachte, solange die Suche selbst an grauen Körnern hing.

YOLO am Strom. 16:07 Uhr: Körpergröße 1,01 mm, Tempo 0,42 mm/s; 16:14 Uhr: 1,22 mm bei 26,3 Bildern/s; um 18:20 Uhr nur noch 0–1 Tiere je Bild im Strom, während die Farbwahrheit in denselben Sätzen 4 „Tiere” zählte — sie zählt Körner mit. Für die Bilder dieses Manuskripts wurde darum der Satz mit den meisten YOLO-Tieren gewählt, nicht der mit den meisten Farbtreffern.

17 · Einordnung

• OASIS (openUC2) im Helmholtz-Projekt SOOP: offene Planktonkamera mit Dunkelfeld und Tiefenlernen auf einem Jetson — derselbe Rechner, derselbe Gedanke, nur ohne Autofokus und ohne die Zuchtaufgabe.
• ARTiMiS (Gincley u. a., 2024): Flusszelle mit Kamera und Netz, Zählung je Milliliter; die Dichte je Volumen fehlt uns noch (offene Frage in Kapitel 18).
• SnappArt (INVE mit Aris): Zählung von Nauplien in der Brüterei — der kommerzielle Maßstab für die Aufgabe.
• Wang und De Baets (Gent, 2019): Marker-CNN zählt Zysten und Nauplien auf Standbildern mit 99,6 % (ein UNet setzt Marken auf die Körpermitten, ein zweites Netz prüft jede Marke); Körperlänge entlang der Mittellinie mit 1,16 % Fehler aus 250 Lernbildern. Daraus für uns: eine Klasse „Zyste”, die Länge über das Skelett statt über die Rahmenseite, und die Zählgenauigkeit auf Standbildern gegen die geprüften Rahmen messen.

18 · Offen

1. Mehr Lernbilder: 243 zurückgestellte Bilder bewerten, „Fertig” drücken — der Rest läuft von selbst.
2. Die Regeln des Pi aus YOLO kalibrieren: der Jetson vergleicht jede Marke des Pi mit seinen Rahmen und sucht die Schwellen, die Fehltreffer und Lücken zugleich klein halten (Problem 4). Der Pi bleibt allein lauffähig.
3. Dichte je Milliliter: Schalenvolumen und Schärfentiefe vermessen (Maßstab gilt nur im Fokus).
4. Lebend oder tot: ruhende Tiere über das Lebenszeichen (Bilddifferenz im Stand) von Körnern trennen.
5. Klasse Zyste, Länge über die Mittellinie, Dunkelfeldbeleuchtung (Kapitel 17).
6. Ohne Laptop steuern: ein Abholdienst auf dem Pi, der Aufträge wie die Brücke selbst holt — nur auf Wort des Verfassers.

19 · Was am 07.11.2026 gemessen wurde

Der 06.11. endete mit einem laufenden Modell und offenen Fragen. Am 07.11. wurden vier davon gemessen. Die Befunde stehen vollständig in den Blättern BEFUND_PROBLEM1/6/7/9_2026-11-07.md; hier die Ergebnisse und was sie für das Verfahren bedeuten.

19.1 Die Sicherheitsschwelle des Livedienstes ist zu hoch

Gemessen wurde YOLO gegen die von Hand geprüften Lernbilder, getrennt nach Lern- und Prüfteil und über drei Sicherheitsschwellen. Eine einzelne Schwelle hätte in die Irre geführt: sie trennt nicht, ob ein Modell nichts gelernt hat oder ob es unsicher ist.

Das Modell hat gelernt, ist aber unsicher. Mit der eingestellten Schwelle 0,40 meldet der Livedienst etwa jedes zehnte Tier. Das erklärt die niedrigen Livezahlen (0,04 bis 0,10 Tiere je Bild über 18 Stunden) und ist kein Fehler der Erkennung, sondern eine Einstellung. Die Klassen Korn (14 Beispiele) und Maßstab (12) hat das Netz gar nicht gelernt: null Funde bei jeder Schwelle. Gent erreicht mit 250 Lernbildern 99,6 %; hier sind es 52.

19.2 Wo die Farbwahrheit blind ist

Von 209 Tier-Rahmen der geprüften Lernbilder hat der Bediener 43 selbst nachgetragen. Jedes fünfte Tier sieht also keine der beiden Maschinen. Die Farbregel findet 44,5 % seiner Rahmen bei 89,4 % Genauigkeit, von den nachgetragenen aber nur einen einzigen. Die naheliegende Erklärung — die Sättigungsschwelle sei zu hoch — wurde geprüft und verworfen: bei der heutigen Schwelle 40 haben bereits 69,8 % der nachgetragenen Tiere genug gesättigte Bildpunkte. Der Verlust entsteht später. Eine Stufenmessung an 161 Tierrahmen zeigt, wo:

Nach Lage getrennt: über dem schwarzen Aufdruck findet die Regel 79,4 % der Tiere, frei davon 100 %. Der Verlust an der Ortsfest-Maske beträgt über dem Aufdruck 8,6 % und daneben null. Die Maske löscht die Aufdruckfläche samt 9 px Rand — und mit ihr die Tiere, die gerade darüber liegen. Der zweite, gleich große Verlust sitzt im Flächenfenster.

19.3 Dichte Tiere: die Sorge war unbegründet

In 191 214 Bildern aus 1077 Sätzen kamen zwei getrennt verfolgte Tiere in 0,006 % der Bilder einander näher als 50 px, in keinem näher als 30 px. Von sieben Begegnungen war keine lang genug, um über einen Nummerntausch zu entscheiden. Die ältere Annahme von 0,7 % war um zwei Größenordnungen zu hoch.

Die andere Hälfte der Frage — verschmelzen zwei Tiere zu einem Rahmen? — kann der Verfolger selbst nicht beantworten; dafür wurde die Farbwahrheit herangezogen. In 1,09 % der Rahmen liegen zwei oder mehr Farbgebiete. Der Augenschein an zwölf vergrößerten Fällen zeigt jedoch: neun davon sind ein Tier, dessen dunkler Rumpf und blasser Schwanz von der Farbregel getrennt werden, weil der Gruppierungsabstand von 15 px nicht reicht. Nur drei enthielten wirklich ein zweites Objekt. Die Rechnung allein hätte hier zu einer falschen Aussage geführt.

19.4 Lichtfarbe: stabil, aber falsch geeicht

Über 25 Stunden und 160 Sätze schwankt das Verhältnis Blau zu Rot des Hintergrunds um 1,6 %, seine Sättigung im 99,9. Hundertstel liegt zwischen 133 und 142. Eine Drift des Lichts gibt es nicht. Dafür ist in keinem der 160 Sätze die Schwelle 40 die beste; die beste liegt durchweg bei 20 bis 30. Die feste 40 kostet im Median 25,8 Punkte Trennkraft. Geändert wurde nichts: die Schwelle ist der Bezugspunkt aller bisherigen Messungen.

19.5 Die Rechenlast des Pi liegt nicht beim Prozessor

Gemessen über ein Zeitfenster statt aus einer Momentanzeige trägt der Pi 2,12 von 4 Kernen, also 53 %. Das Lastmittel von 4,3 bis 5,1 entsteht zur Hälfte aus Aufgaben, die nicht rechnen, sondern auf die Speicherkarte warten: Rückschreibefäden, das ext4-Tagebuch und der Systemprotokolldienst. In einem Fenster von 20 s standen 44 % der Zeit Aufträge in der Warteschlange der Karte. Geschrieben werden 47 GB am Tag, 17,13 MB je Aufnahmesatz, davon 8,26 MB für die Datei mit den eingezeichneten Rahmen, die kein Auswertungsprogramm liest und die nach drei Stunden gelöscht wird.

19.6 Was daraus folgt

1. Mehr Lernbilder bewerten. Alles andere ist zweitrangig, solange das Netz aus 52 Bildern lernt.
2. Die Schwelle des Livedienstes von 0,40 auf 0,25 senken. Eine Zahl, sofort umkehrbar, dreifache Ausbeute.
3. Ortsfest-Maske, Flächenfenster und Gruppierungsabstand der Farbregel überprüfen — erst messen, dann ändern.
4. Die Datei mit den eingezeichneten Rahmen nicht mehr mitschreiben, sondern bei Bedarf zeichnen.

Quellen

1. Gincley, B. u. a.: ARTiMiS — Imaging flow cytometry for aquaculture, Environ. Sci. Technol. 58 (2024).
2. Wang, G., De Baets, B.: Automated Artemia detection and length measurement using deep convolutional networks, Kurzfassung, Universität Gent, 2019 (CC BY 4.0; im Ordner literatur/).
3. Jocher, G. u. a.: Ultralytics YOLOv8, 2023, https://github.com/ultralytics/ultralytics.
4. Zhang, Y. u. a.: ByteTrack: Multi-Object Tracking by Associating Every Detection Box, ECCV 2022.
5. Zivkovic, Z.: Improved adaptive Gaussian mixture model for background subtraction, ICPR 2004 (MOG2 in OpenCV).
6. openUC2, Helmholtz SOOP: OASIS — Open Autonomous Sensing and Imaging System, Projektseiten 2024–2026.
7. INVE Aquaculture: How technology is redefining live food management in the hatchery, Artemia Knowledge Hub, 2025.