2025-09-252025-09-25https://hdl.handle.net/11420/57603Als Teil der Forschungsgruppe "Aktives Lernen für dynamische Systeme und Regelung (AleSCo) - Dateninformativität, Unsicherheiten und Garantien" werden in diesem Projekt Benchmarks für aktive Lernverfahren in der Systemtheorie und Regelungstechnik entwickelt. Datensätze und Testprobleme sind essentiell für den transparenten Vergleich von Methoden z.B. in Maschinellem Lernen, Optimierung und Regelung. Es existieren zahlreiche Benchmarks für überwachtes Lernen, sowie in der Regelungstechnik und in der Robotik. Eine bemerkenswerte Lücke im Stand der Wissenschaft besteht jedoch in Bezug auf Benchmarks für Lernstrategien für dynamische Systeme. Ziel dieses Projektes ist es, diese Lücke durch die Entwicklung von repräsentativen und anspruchsvollen Testproblemen, welche die Evaluierung und den Vergleich von aktiven Lernstrategien für systemtheoretische und regelungstechnische Fragestellungen ermöglichen, zu adressieren und zu schließen. Dazu entwickeln wir regelungstechnische Testprobleme für Multienergiesysteme und Robotik, die bezüglich des Lernens als Regressionsaufgaben formuliert werden können. Die Bewertung im geschlossenen Regelkreis erfolgt mittels neu entwickelten grundlegenden Vergleichsmetriken. Als einen Anwendungsbereich werden Energieverteilnetze betrachtet, wobei reale Datensätze sowie realistische Lastprofile und Wetterdaten genutzt werden. Die Benchmarks sind von variierender Komplexität, die von bekannten Modellen zu partieller Modellunsicherheit reichen und die einzelne Knoten oder vollständige Verteilnetze unter Restriktionen umfassen. Dadurch wird es ermöglicht, aktive lernende Regelungsverfahren unter Berücksichtigung stochastischer Unsicherheiten, parametrischer Drifts und unbekannter Netztopologie zu evaluieren. Im Anwendungsbereich Robotik konzentriert sich das Projekt auf die autonome Navigation und Manipulationsaufgaben mit Unterwasserfahrzeugen und flexiblen Roboterarmen. Diese Benchmarks berücksichtigen Kinematik und Dynamik sowie exogene Störungen mit einstellbaren Stufen für die Komplexität im Sinne von Zustands- und Eingangsdimension sowie für die Verfügbarkeit von Systeminformation über Modelparameter und Zustände. Experimentell abgeleitete Modelle für Sensorrauschen und externe Störungen sollen die Lücke zwischen Simulation und Realität reduzieren. Das Projekt untersucht zudem, wie die Transparenz der Vergleiche durch mehr-dimensionaler Bewertungsmetriken gesichert werden kann. Dazu werden Aspekte wie Lernraten, Verletzung von Sicherheitsbeschränkungen, Rechenzeitbedarfe, und Regret-Maße betrachtet. Eine Schlüsselfrage des Projektes ist die Untersuchung, wie regelungstheoretische Konzepte (z.B. Dateninformativität, Invarianz und Stabilität) in sinnvolle Metriken übersetzt werden können. Die Benchmarks werden open-source und entsprechend der FAIR-Prinzipien in Python entwickelt, um so die langfristige Nutzbarkeit für systemtheoretische und regelungstechnische Fragestellungen des aktiven Lernens zu ermöglichen.As part of the research unit "Active Learning for Systems and Control (ALeSCo) - Data Informativity, Uncertainty, and Guarantees", this project investigates benchmarks for active learning in systems and control. Evaluation and benchmarks are crucial for the transparent comparison of methods across various fields, including machine learning, optimization, and control systems. While datasets and test problems exist for supervised learning, different branches of control, and robotics, a notable gap exists in benchmarks focused on active learning for dynamic systems. This project aims to address and bridge this gap by developing representative and challenging scenarios to evaluate and compare active learning techniques for systems and control. We propose regression subtasks and closed-loop evaluation procedures equipped with tailored assessment metrics. Specifically, we consider multi-energy systems and robotics as application domains. We create scalable test problems for multi-energy distribution systems, integrating real-world datasets as well as realistic power profiles and weather data. The benchmark will address varying complexity levels, from known to partially unknown system dynamics of individual nodes to their interaction in constrained network settings. It will allow to evaluate active learning tasks to improve control schemes under stochastic disturbances and parametric drifts as well as uncertain network topology. In the robotics domain, we introduce benchmarks for autonomous navigation and manipulation tasks for unmanned underwater vehicle and soft robotic arm models. These benchmarks will consider kinematics, dynamics, and environmental disturbances with adjustable levels of system complexity in terms of state and input dimensions as well as availability of information about model parameters and system states. Experimentally derived sensor noise and external disturbance models will help to reduce the gap between simulation and reality. The benchmarks facilitate transparent method comparison through a multi-dimensional metric framework, including classical concepts such as learning rates, safety violations, computation times, and regret measures. A core research question of this project is how control-theoretic concepts like data informativity, invariance, and stability can translate to metrics for algorithm evaluation. The benchmark will be open-source, adhere to the FAIR principles, and will offer a Python API, ensuring interoperability with existing machine-learning environments. By modular and customizable design, we aim to accelerate research within and beyond the ALeSCo consortium and provide researchers the flexibility to adapt to emerging tasks. In summary, the project aims to provide a framework for evaluating active learning methods, pushing existing algorithms to their limits, and establishing a foundation for future research and innovations in multi-energy systems and robotics.