Vorlesungsbegleitendes Forschungspraktikum
im Wintersemester 2024/25

Prof. Dr. Bernhard Beckert, Dr. Mattias Ulbrich, Dr. Michael Kirsten

Typ:	Praktikum
Zielgruppe:	Master Informatik
Umfang:	5 Leistungspunkte (3 Praktikum + 2 Schlüsselqualifikation)
Ort:	n.V.
Veranstaltungs-Nr.:	2400049

Zur Seite der Vorlesung

Inhalt

In diesem Semester bieten wir neben der Vorlesung ein optionales begleitendes Forschungspraktikum im Umfang von insgesamt fünf Leistpungspunkten (LP) (davon zwei Schlüsselqualifikation (SQ)) an. Hierbei handelt es sich um ein Projektpraktikum, in dem über das ganze Semester an einem Thema gearbeitet wird (und nicht an verschiedenen Aufgabenblättern). Die Bearbeitung aktueller Forschungsthemen erfordert hierbei ein größeres Maß an Eigeninitiative als dies bei im Vorhinein festgelegten Praktika der Fall ist. Die Fortschritte werden dabei regelmäßig mit einem bzw. einer betreuenden Mitarbeitenden der Forschungsgruppe diskutiert.

Zu Beginn der Vorlesung werden Themen vorgestellt, für die sich die Teilnehmer:innen innerhalb der ersten Woche bewerben können (die Plätze sind begrenzt!). Das Forschungspraktikum basiert thematisch auf in der gekoppelten Vorlesung vermittelten Inhalten. Die praktische Forschungsaktivität ist Teil einer (größeren) Forschungsaktivität der Forschungsgruppe und trägt zu deren Erfolg bei.

Beispiele für solche Forschungsaktivitäten sind etwa die Entwicklung eines Prototypen oder die Durchführung einer Evaluation (u.ä.). Am Ende des Semesters werden die Ergebnisse des Forschungspraktikums auf drei bis fünf Seiten dokumentiert, sowie zum letzten Vorlesungstermin im Rahmen eines Kolloquiums in jeweils etwa 10 bis 15 Minuten präsentiert und in einer anschließenden Fragerunde diskutiert.

Qualifikationsziele

• Einen Forschungsansatz und die eigene Forschungs(teil-)aufgabe verstehen, begründen, bewerten und einordnen können
• Aus der Aufgabenbeschreibung konkrete Arbeitsschritte entwickeln können
• In dem Forschungsbereich des Projekts wissenschaftlich arbeiten können
• Die für das Projekt relevanten inhaltlichen Grundlagen kennen, einsetzen und die Relevanz für die Fragestellung bewerten können
• Forschungsergebnisse dokumentieren, zusammenfassen und präsentieren, sowie diskutieren können

Methodische Begleitveranstaltungen

Neben der Forschungsarbeit umfasst das Praktikum auch die folgenden mit der Projektarbeit verzahnten methodischen Veranstaltungen im Rahmen von zwei Leistungspunkten (LP), die im Rahmen des Forschungspraktikums als Schlüsselqualifikationsleistungen zu besuchen sind:

• Literaturrechereche und Zitieren (2,0 Stunden)
• Projektmanagementworkshop (7,0 Stunden)
• Präsentationsworkshop (8,0 Stunden)
• Erkenntnistheorie (1,5 Stunden)
• Wissenschaftstheorie (1,5 Stunden)
• Workshop zum Aufstellen einer Forschungsfrage (3,0 Stunden)
• Schreiben von Forschungsanträgen (1,5 Stunden)
• Experimentaldesign (1,5 Stunden)

Die Workshops zu Projektmanagement und Präsentationen finden in Kooperation mit dem House of Competence (HoC) statt. Alle Veranstaltungen sind gezielt auf Forschungsprojekte im Bereich der Informatik ausgerichtet. Die Termine der Veranstaltungen werden zu Vorlesungsbeginn bekanntgegeben.

Themen

Die Themen werden zu Beginn der Vorlesung vorgestellt. Zudem sind wir offen für Themenvorschläge, die im Zusammenhang zur Vorlesung bzw. zur Forschung unserer Forschungsgruppe stehen. Beispiele hierfür sind Forschungsaktivitäten wie etwa die Entwicklung eines Prototypen oder die Durchführung einer Evaluation ausgewählter formaler Methoden (u.ä.). An dieser Stelle werden wir vor Beginn der Vorlesung eine Auswahl geplanter Themen auflisten. Bei Fragen hierzu können Sie sich bereits im Vorfeld bei den genannten Ansprechpersonen melden. Gern gesehen sind auch Initiativanfragen zu Themengebieten unserer Forschungsgruppe.

• Can we make Copilot generate provably correct Solidity source code?

  In the SCAR approach, developers can abstractly describe smart contract applications in terms of their structure and their behavior. From this abstract model, a Solidity source code skeleton with formal specification can be generated automatically. However, the implementation of the functions has to be done manually, and it has to conform to the generated specification.

  In this research lab, it will be investigated whether state-of-the-art LLM-based code generation tools can be used to make this step more efficient. The student will need to develop an understanding of the SCAR approach and its existing implementation. Then, they will develop and implement an approach to integrate code generation tools into SCAR, taking into account the iterative process of code generation and feedback from verification tools.

  Betreuung: Jonas Schiffl und Samuel Teuber

• Differential Neural Network Verification via Computational Graphs

  Neural networks (NNs) are frequently retrained when new data becomes available or compressed to improve execution speed. In such cases, it is important to ensure that the new NN behaves similarly to the old one, at least in certain regions of the input space. To achieve this, differential verification approaches analyze differences in the NNs' weight matrices and employ custom abstractions for differences of activation functions.

  Prior work has resulted in the implementation of tools such as ReluDiff [1] and NeuroDiff [2], which have been developed completely from scratch. And are therefore missing out on many features that contribute to the success of established NN verifiers. However, reasoning over weight matrix differences can be reformulated using computational graphs, which can be automatically handled by powerful existing NN verifiers like auto_LiRPA [3]. By framing the problem in this way, we hope to leverage potential performance benefits from these well-established tools.

  Student Task:
  Study the existing literature on differential verification, focusing on ReluDiff and NeuroDiff.
  Implement the abstraction given in NeuroDiff within the auto_LiRPA framework.
  Implement a transformation of weight matrix differences into a computational graph for differential verification in PyTorch

  [1] Brandon Paulsen, Jingbo Wang, & Chao Wang (2020). ReluDiff: differential verification of deep neural networks. In ICSE '20: 42nd International Conference on Software Engineering, Seoul, South Korea, 27 June - 19 July, 2020 (pp. 714–726). ACM.
  [2] Brandon Paulsen, Jingbo Wang, Jiawei Wang, & Chao Wang (2020). NEURODIFF: Scalable Differential Verification of Neural Networks using Fine-Grained Approximation. In 35th IEEE/ACM International Conference on Automated Software Engineering, ASE 2020, Melbourne, Australia, September 21-25, 2020 (pp. 784–796). IEEE.
  [3] Kaidi Xu, Zhouxing Shi, Huan Zhang, Yihan Wang, Kai-Wei Chang, Minlie Huang, Bhavya Kailkhura, Xue Lin, & Cho-Jui Hsieh (2020). Automatic Perturbation Analysis for Scalable Certified Robustness and Beyond. In Advances in Neural Information Processing Systems 33: Annual Conference on Neural Information Processing Systems 2020, NeurIPS 2020, December 6-12, 2020, virtual.

  Betreuung: Philipp Kern

• Analyse von Langzeit-Fairness mittels Probabilistischem Model Checking

  Dieses Projekt befasst sich mit der Frage von Langzeit-Effekten im Kontext algorithmischer Fairness: D’Amour et al. [1] untersuchten hierzu bereits wie sich Fairness-Eigenschaften verhalten, wenn man den Feedback-Loop zwischen einer algorithmischen Entscheidung und gesellschaftlicher Dynamik über längere Zeiträume betrachtet und ergänzten hiermit die Arbeit von Liu et al. [2].

  Das Ziel des Projektes wäre es zunächst eine von D’Amour et al. präsentierte Fairness-Simulationen (bspw. zur Kreditvergabe) mithilfe eines probabilistischen Model Checkers (z. B. mit Storm [3]) nachzubauen und die Ergebnisse dort (soweit möglich) zu reproduzieren. Im Anschluss sollen die Modelle dann um weitere Effekte ergänzt werden, um zu analysieren inwieweit dies Fairness-Eigenschaften verändert.

  [1] D'Amour, Alexander, et al. "Fairness is not static: deeper understanding of long term fairness via simulation studies." Conference on Fairness, Accountability, and Transparency (FAT* 2020).
  [2] Liu, Lydia T., et al. "Delayed impact of fair machine learning." International Conference on Machine Learning (PMLR 2018).
  [3] Hensel, Christian, et al. "The probabilistic model checker Storm." International Journal on Software Tools for Technology Transfer 24.4 (2022): 589-610.

  Betreuung: Samuel Teuber

Ansprechperson

Bei Fragen rund um das Thema Forschungspraktikum (hier oder bei anderen Vorlesungen) können Sie sich bei Michael Kirsten melden.