enh: CSV + Regex für descriptor-Modul

[KoenigMjr]

• Füge CSV-Import über csvPath-Konfiguration hinzu
• Implementiere Regex-Matching mit isRegex-Flag (YAML & CSV)
• Erstelle unified cache für YAML- und CSV-Einträge
• Wildcards werden in Beschreibungen ("add"-Werte) ersetzt
• Erweitere Logging für bessere Debugging-Möglichkeiten

Neue Features:

• CSV-Dateien können parallel zu YAML-Beschreibungen verwendet werden
• Regex-Unterstützung ermöglicht Pattern-basiertes Matching
• Wildcards werden in Beschreibungen ("add"-Werte) ersetzt
• Vollständige Abwärtskompatibilität zu bestehenden Konfigurationen

Technische Verbesserungen:

• Unified cache-System für bessere Performance
• Korrekte Iteration über Config-Objekte mit default-Parametern
• Robuste Fehlerbehandlung für CSV-Import
• continue statt break bei fehlenden scanFields

Einschränkungen / known limitations:

• Keine explizite Behandlung von Duplikaten
• Standardverhalten ist „last one wins“, d. h. das zuletzt passende Descriptor-Objekt überschreibt den Wert
• Wenn mehrere CSV/YAML denselben Schlüssel liefern, hängt das Ergebnis von Lade- bzw. Listen-Reihenfolge ab

[KoenigMjr]

Servus,
hab mich mal an das Descriptor-Modul gewagt und die Möglichkeit von CSV implementiert.

Test-Matrix: descriptor-Modul

Quelle	Regex	Ohne Regex
Nur YAML	✅	✅
Nur CSV	✅	✅
YAML+CSV	✅	✅

Bitte auch die Doku auf Sinnhaftigkeit, Gliederung etc. prüfen!
"Nur weil es in meinem Kopf Sinn macht, heißt das noch lange nicht, dass es Sinn macht."
Danke

[Schrolli91]

Wieso machst du eigentlich immer einen Force Push?
Das zerstört leider total die Nachvollziehbarkeit, was sich geändert hat.

[KoenigMjr]

Ah! Mache ich z.b. wenn pytest mir einen Error auswirft (anfangs) wegen z.b. Flake (Leerzeile eingerückt) und später dann, wenn z.B. im Develop ein merge passiert ist, dass ich die Änderungen in meinen Branch vom PR einfügen kann, ohne dass es einen neuen Commit ergibt (Übersichtlichkeit vom Commitverlauf im Develop)

Das mit pytest hab ich gestern entdeckt wie ich das bei mir vor dem PR laufen lassen kann, ohne dass dann erst im PR zu entdecken.

Wegen der Problematik mit neuen Commits im Develop müsstest du mir helfen, wie ich da am besten den Branch vom PR "mergefähig" halte und nachvollziehbar bleibt.

[KoenigMjr]

Diese Commits meinte ich... Sry bin gerade nur am Handy aber ich denke, es ist verständlich, was ich meinte. Die kommen halt zuhauf sonst in den Commitverlauf vom Develop, wenn mehrere PRs parallel laufen.

[Schrolli91]

Ja - so funktioniert git nunmal.
Der Commit Verlauf muss nicht clean sein - Es ist eben Entwicklung und die sollte sich real nachvollziehen lassen.

Das Force pushen macht reviews extrem schwierig, weil man nie sieht was sich noch geändert hat.
Laufende Reviews werden damit quasi "zerstört".

[KoenigMjr]

Danke für die Einsicht und die Hintergrundinfo. Dann lass ich das in Zukunft :)

[Schrolli91]

Das Feature läuft bei dir aktuell auch und ist soweit stabil?

[KoenigMjr]

ja, passt!
Einzig vielleicht noch als Ergänzung: Sollte man lieber noch eine beispiel.csv mit 2 Einträgen (1x isregex true, 1x false) anlegen, um das Erstellen einfacher zu machen oder soll man dem User das Erstellen aus der Readme raus überlassen?

Dann würde ich noch eine Beispiel.csv anlegen wenn gewünscht

[Schrolli91]

Wenn du befürchtest, dass es jemand nicht ganz kapiert, dann lieber die Doku um entsprechende Beispiele erweitern. Endlose Demo Dateien sind auch nicht zielführend denke ich.

[Schrolli91]

LGTM

[KoenigMjr]

Ich glaube die docu erklärt es gut.

[KoenigMjr]

HALT STOP, es gibt einen Fehler mit führenden "0". Ist bisher mit ZVEI nicht aufgefallen, bei POCSAG aber sehr wohl öfter möglich.

[KoenigMjr]

so, ich finds gut..

Zusätzliches Strippen von umschließenden Anführungszeichen (" und ') aus der csv wurde eingefügt, sodass es keine Ungereimtheiten bezüglich der Schreibweise gibt, falls z.B. einer in Excel arbeitet und die Werte lieber mit "" bearbeitet, dass die führende Null nicht von Excel entfernt wird.

Bei näherer Betrachtung hat mich zusätzlich die undefinierte Verarbeitung von RegEx und exact Match gestört (Last one wins). Nun ist die Priorisierung Exact Match wins (over RegEx). Hab das mal in der .py bisschen mehr kommentiert wegen der vielleicht auf den ersten Blick nicht ganz nachvollziehbaren Herangehensweise.

[Schrolli91]

LGTM

[Schrolli91]

@KoenigMjr keine weiteren Auffälligkeiten? Dann würde ich das nämlich final mergen.

[KoenigMjr]

Keine Auffälligkeiten, gerne :)