Maschinelles Lernen (ML) ist eine treibende Kraft für viele erfolgreiche Anwendungen in der künstlichen Intelligenz. Maschinelles Lernen ist nicht nur eine Klasse von Algorithmen, sondern es gibt lange und verschachtelte Pipelines von Algorithmen. Gleichzeitig bauen die Algorithmen auf anderen Algorithmen aus Bibliotheken oder Tools auf. Dies macht es für die Benutzer schwierig, Modelle des maschinellen Lernens zu verstehen.
Ein Ansatz zum Verständnis des maschinellen Lernens besteht darin, das gelernte Modell zu erklären. Dazu wurden eine Reihe von Methoden vorgeschlagen, beispielsweise zur Erklärung von tiefen neuronalen Netzen oder zum Lernen von einfacheren, interpretierbaren Modellen.
Auch die Robustheit von Modellen wird untersucht: Es konnte gezeigt werden, dass schon minimale Änderungen an den Eingaben gravierende Auswirkungen auf die Ausgabe von Modellen haben kann. Dies gilt es zu erkennen und zu verhindern, weshalb Methoden, Modelle so zu trainieren, dass sie robuster sind, vorgeschlagen wurden.
Die Auswirkungen von gelernten Modellen in gesellschaftlichen Bereichen, bspw. in Form von unfairen Personalentscheidungen, rassistischer Kreditvergabe oder Filterbubbles und Echo-Chambers resultierend aus personalisierten Inhalten, sind enorm. Die Verzerrung von Daten führt zu einer Verzerrung in der realen Welt. Tatsächlich können verzerrte Daten der Gesundheit und dem Erfolg von Menschen schaden. Daher diskutiert die Gemeinschaft der Forschenden im Bereich des maschinellen Lernens und anderer Disziplinen darüber, wie man Fairness herstellen kann. Das dritte Thema ist die Fairness.
Im Studienverlaufsplan der Bachelorstudiengänge Informatik / Angewandte Informatik bereitet das Proseminar auf das selbstständige wissenschaftliche Arbeiten vor, ganz konkret auf das Schreiben der Bachelorarbeit. So steht in der Modulbeschreibung:
Die Studierenden sollen ein einfaches Thema aus der Informatik eigenständig erarbeiten können. Sie sollen in der Lage sollen, mündlich und schriftlich in eigenen Worten darüber zu berichten und sich selbständig kritisch mit dem Thema auseinandersetzen. Die Studierenden sollen die elementaren Techniken der Literatursuche in Bibliotheken beherrschen und fremde Texte als solche angemessen zitieren können. Sie sollen in der Lage sein, eine mündliche Präsentation selbständig zu konzipieren und elementare Präsentationstechniken beherrschen. Sie sollen sich kritisch mit fremden Präsentationen auseinandersetzen können und Techniken der wissenschaftlichen Diskussion beherrschen.
Eine Ausarbeitung, die Selbständigkeit zeigen soll, manifestiert darüber hinaus die eigenständige Auseinandersetzung der Teilnehmer mit dem Thema und verdeutlicht die Fähigkeit, ein wissenschaftliches Thema schriftlich angemessen darzustellen.
Thematisch strebt dieses Seminar die folgenden erwarteten Lernergebnisse an:
Das Proseminar findet in 4 Phasen statt:
Der Präsentationskurs findet größtenteils asynchron und online in einem Moodle Raum statt. Die Teilnehmenden werden zum Raum hinzugefügt, sobald dieser zur Verfügung steht. Dort werdet ihr Materialien und Aufgaben finden, die Euch auf Eure eigenen Präsentationen und Ausarbeitungen vorbereiten.
Wir treffen uns am 27.04.2022 für Probevorträge. Bitte ladet bis zum Seminarbeginn eure Folien als PDF bei Moodle hoch. Dazu findet ihr eine Aufgabe mit genaueren Instruktionen im Moodle. Ihr braucht Papier und Stift!
In 4er-Gruppen bereitet ihr eine Seminarsitzung zu den Robustness, Explainability und Fairness vor. Als Experten für die jeweiligen Themen übernehmt ihr die Rolle des Lehrenden und bringt dem restlichen Seminar die wichtigsten Grundlagen eures Fachgebiets näher (Lernen durch Lehren). Im Ergebnis sollte das jeweilige Forschungsfeld in seine wichtigsten Teilgebiete strukturiert worden sein und Zusammenhänge deutlich geworden sein. Neben den theoretischen Grundlagen soll im Rahmen der Seminar-Einheit auch ein Praxisbeispiel, z.B. in Form einer Software-Demo oder eine Rechner-Übung, durchgeführt werden.
Die Ziele sind: Grundlagen des maschinellen Lernens selbstständig erarbeiten, grundlegende Begriffe der jeweiligen gemeinsam in Kleingruppen erarbeiten und den anderen Seminarteilnehmern vorzustellen. Fragen zu den Seminarthemen können gemeinsam geklärt werden. Das so gelernte ist Grundlage für die Einzel-Präsentationen und Ausarbeitungen.
Das Thema dieses Inverted Classrooms sollen die Grundlagen von Interpretierbaren Modellen und Explanations sein. Das breite Spektrum von möglichen Modellen, die per Design erklärbar oder verständlich sind und Methoden, die Modelle oder deren Ausgaben nachträglich erklären können, soll aufgezeigt und strukturiert werden. In der Fachliteratur findet sich eine Vielzahl von Taxonomien, auf die Ihr zurückgreifen könnt.
Mögliche Ausgangs-Quellen für die Vorlesung:
Samek, W., Montavon, G., Lapuschkin, S., Anders, C. J., & Müller, K.-R. (2021). Explaining Deep Neural Networks and Beyond: A Review of Methods and Applications. In Proceedings of the IEEE (Vol. 109, pp. 247-278). http://doi.org/10.1109/JPROC.2021.3060483
Molnar, Christoph. (2022). Interpretable Machine Learning - A Guide for Making Black Box Models Explainable. Available at https://christophm.github.io/interpretable-ml-book/
Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1(5), 206-215. http://doi.org/10.1038/s42256-019-0048-x
Mögliche Quellen für die Demo:
https://github.com/slundberg/shap
In dieser Sitzung soll das Thema Robust Machine Learning dargestellt werden. Dies beinhaltet Adversarial Attacks, also eine bewusste, minimale Manipulation von Inputs, um das Modell zu einer falschen Ausgabe zu bewegen, und die Verteidigung gegen diese durch modifizierte Trainings-Methoden, aber auch die formale Zertifizierung, dass Modelle gewisse Robustheits-Kriterien erfüllen.
Mögliche Ausgangs-Quellen für die Vorlesung:
Xu, H., Ma, Y., Liu, HC. et al. Adversarial Attacks and Defenses in Images, Graphs and Text: A Review. Int. J. Autom. Comput. 17, 151-178 (2020). https://doi.org/10.1007/s11633-019-1211-x
Huang, X., Kroening, D., Ruan, W., Sharp, J., Sun, Y., Thamo, E., ... Yi, X. (2020). A survey of safety and trustworthiness of deep neural networks: Verification, testing, adversarial attack and defence, and interpretability. Computer Science Review, 37, 100270. https://arxiv.org/pdf/1812.08342.pdf Section 1-6.
Croce, F., Andriushchenko, M., Sehwag, V., Debenedetti, E., Flammarion, N., Chiang, M., ... Hein, M. (2021). RobustBench: a standardized adversarial robustness benchmark. In Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2). Retrieved from https://openreview.net/forum?id=SSKZPJCt7B
Mögliche Quellen für die Demo:
https://robustbench.github.io/ (guter Ausgangspunkt https://colab.research.google.com/drive/1MQY_7O9vj7ixD5ilVRbdQwlNPFvxifHV#scrollTo=ONmXzKqvAmWX)
https://github.com/bethgelab/foolbox
Die negativen Konsequenzen von Bias und Diskriminierung in/durch Machine Learning Modelle sind vielfältig dokumentiert. In dieser Sitzung soll Bias in Daten, Bias in Algorithmen und algorithmische Fairness thematisiert werden. Gibt es Möglichkeiten, die Fairness zu erhöhen?
Mögliche Ausgangs-Quellen für die Vorlesung:
Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A Survey on Bias and Fairness in Machine Learning. ACM Comput. Surv., 54(6). http://doi.org/10.1145/3457607
Bender, E. M., & Mcmillan-major, A. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Conference on Fairness, Accountability, and Transparency (FAccT '21), March 310, 2021, Virtual Event, Canada (Vol. 1). Association for Computing Machinery. http://doi.org/10.1145/3442188.3445922
https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
Mögliche Quellen für die Demo:
https://dssg.github.io/aequitas/
Jeder Studierende bekommt einen Fachartikel aus einem der drei Seminarbereiche zugeteilt. Dieser soll im Rahmen einer kurzen Präsentation vorgestellt werden.
Jeweils 15 Minuten Vortragsdauer + 5 Minuten für Fragen und Feedback.
Montavon, G., Lapuschkin, S., Binder, A., Samek, W., & Müller, K.-R. (2017). Explaining nonlinear classification decisions with deep Taylor decomposition. Pattern Recognition, 65(August 2016), 211-222. https://doi.org/10.1016/j.patcog.2016.11.008
Adebayo, J., Gilmer, J., Muelly, M., Goodfellow, I., Hardt, M., & Kim, B. (2018). Sanity Checks for Saliency Maps, (NeurIPS). Retrieved from https://papers.nips.cc/paper/2018/file/294a8ed24b1ad22ec2e7efea049b8737-Paper.pdf
Chen, C. & Rudin, C.. (2018). An Optimization Approach to Learning Falling Rule Lists. Proceedings of the Twenty-First International Conference on Artificial Intelligence and Statistics, PMLR, 84:604-612 Available from https://proceedings.mlr.press/v84/chen18a.html.
Ribeiro, M. T., Guestrin, C., Singh, S., & Guestrin, C. (2016). "Why Should I Trust You?": Explaining the Predictions of Any Classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (pp. 1135-1144). New York, NY, USA: Association for Computing Machinery. http://doi.org/10.1145/2939672.2939778
Goodfellow, I. J., Shlens, J., & Szegedy, C. (2015). Explaining and Harnessing Adversarial Examples. In International Conference on Learning Representations (pp. 1-11). Retrieved from https://arxiv.org/pdf/1412.6572.pdf
Zügner, D., Akbarnejad, A., & Günnemann, S. (2018). Adversarial Attacks on Neural Networks for Graph Data. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 2847-2856). New York, NY, USA: Association for Computing Machinery. http://doi.org/10.1145/3219819.3220078
Devos, L., Meert, W. & Davis, J.. (2021). Versatile Verification of Tree Ensembles. Proceedings of the 38th International Conference on Machine Learning, in Proceedings of Machine Learning Research 139:2654-2664 Available from https://proceedings.mlr.press/v139/devos21a.html.
Shafahi, A., Davis, L. S., Dickerson, J., Taylor, G., Studer, C., & Goldstein, T. (2019). Adversarial Training for Free! In 33rd Conference on Neural Information Processing Systems (NeurIPS 2019). Retrieved from https://proceedings.neurips.cc/paper/2019/file/7503cfacd12053d309b6bed5c89de212-Paper.pdf
Singh, A., & Joachims, T. (2018). Fairness of exposure in rankings. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 2219-2228). Available from https://dl.acm.org/doi/pdf/10.1145/3219819.3220088
Hardt, M., Price, E., Price, E., & Srebro, N. (2016). Equality of Opportunity in Supervised Learning. In D. Lee, M. Sugiyama, U. Luxburg, I. Guyon, & R. Garnett (Eds.), Advances in Neural Information Processing Systems (Vol. 29). Curran Associates, Inc. Available at https://papers.nips.cc/paper/2016/hash/9d2682367c3935defcb1f9e247a97c0d-Abstract.html
Zafar, M.B., Valera, I., Rogriguez, M.G. & Gummadi, K.P.. (2017). Fairness Constraints: Mechanisms for Fair Classification. Proceedings of the 20th International Conference on Artificial Intelligence and Statistics, in Proceedings of Machine Learning Research 54:962-970 Available from https://proceedings.mlr.press/v54/zafar17a.html.
Bolukbasi, T., Chang, K.-W., Zou, J., Saligrama, V., & Kalai, A. (2016). Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings, 1-25. Retrieved from https://proceedings.neurips.cc/paper/2016/file/a486cd07e4ac3d270571622f4f316ec5-Paper.pdf
In einer wissenschaftlichen Ausarbeitung werden die Inhalte der Einzel-Präsentationen verschriftlicht.
Das schriftliche Referat umfasst etwa 10 bis 15 Seiten mit Literaturverzeichnis. Auch hier gilt die sorgfältige Definition aller verwendeten Fachbegriffe, das korrekte Zitieren sowie die Sorgfalt bei der Rechtschreibung. Zur Rechtschreibkorrektur wird dringend geraten. Die Ausarbeitung kann in deutscher oder englischer Sprache erfolgen. Es wird erwartet, dass Literatur neben dem zugewiesenen Fachartikel zugezogen und referenziert wird. Eine LaTeX-Vorlage wird bereitgestellt.
Die Ausarbeitung soll das Thema der Einzel-Präsentationen im Gesamt-Seminar-Kontext darstellen, also bspw. Trustworthy ML -> Robustness -> Versatile Verification of Tree Ensembles, sich also auch auf die anderen Themen des Seminars beziehen.
Es wird nicht erwartet, dass eigene empirische Untersuchungen durchgeführt werden, wenngleich dies erfahrungsgemäß dem Verständnis dient.
Die Deadline für die Abgabe der Ausarbeitungen ist der 16.09.2022 um 23:59 per Email. Probleme mit dieser Deadline bitte früh ansprechen, damit wir eine Lösung finden können.
Die Termine finden an den folgenden Tagen (Mittwochs) von 14:15-15:45 im Raum OH12, 4.013 statt:
| Datum | Anlass |
|---|---|
| 27.04.2022 | Probevorträge im Rahmen des Präsentationskurs |
| ... | Gruppen-Arbeitsphase. Sprechstundentermine nach Bedarf |
| 01.06.2022 | Inverted Classroom Explainable Artificial Intelligence |
| 08.06.2022 | Inverted Classroom Fairness und Bias |
| 15.06.2022 | Inverted Classroom Robustness und Zertifizierung |
| ... | Individuelle Arbeitsphase. Sprechstundentermine nach Bedarf |
| 22.06.2022 | Einzelpräsentationen XAI: Explanations and Interpretable Models |
| 29.06.2022 | Einzelpräsentationen Robustness und Certification |
| 06.07.2022 | Einzelpräsentationen Fairness und Bias |
| 16.09.2022, 23:59 | Abgabe Ausarbeitungen (kein Treffen) |
Der Präsentationskurs ist unbenotet und gilt als bestanden, wenn die Aufgaben im Moodle-Raum zufriedenstellend bearbeitet wurden.
Für das Proseminar gilt:
Falls für Umschreibungen die Seminar-Leistung zu einem bestimmten Datum im Boss eingetragen sein muss, bitte auch frühzeitig melden.