Session 13 - How to write the report

The groups work on their formalizations; we talk about how to write the final report

Overview

Topic Duration Notes
Groups work on their formalization 150
How to write the final report 30

Final report

Your task is to formalize a psychological theory of your choice. The goal is not (necessarily) to do a complete formalization, but to demonstrate that you understand the methodological steps and that you are able to apply them to a new theory.

Possible Outline of the Final Report

In general: Other meaningful ways of presentation are possible.

  1. Abstract

  2. Define the Objective

    • The aim of the following work is to formalize an existing psychological theory.

  3. Identification of Relevant Phenomena: What is the explanatory target?

    • Present a phenomenon to be explained (possibly multiple, but one is enough). Give a very short description of a prototypical experiment that produces the phenomenon (ideally, the study that you later use as the template for your simulation).
    • Search for a meta-analysis of your focal phenomenon
    • Only if no meta-analysis is available, or it is not helpful: Search for 1-2 exemplary primary studies. You do not have to conduct a full-blown meta-analysis.
    • Based on this (limited, not exhaustive) literature: Assess the robustness of the phenomena by referring to the two dimensions of robustness:
      • Strength of evidence
      • Generalizability (cf. UTOS framework)
    • At the end of the section, give a clear answer “The phenomenon can (not) be considered robust because, …”.
    • Note: If your starting point is more the phenomenon (and less the narrative theory), it might make sense to switch the order of sections 3 and 4)

  4. Brief Verbal Introduction to the Selected Theory

    • Should be narrative - i.e., a reader should understand it without referring to the VAST display or the Construct Table yet. The goal of this section is to give an understandable, plain-language overview for readers new to the topic.

  5. Present Core Constructs of the Theory

    • Now you get precise!
    • Both in running text and in the VAST display (but try not to duplicate too much information between text and VAST display)
    • The Construct Table goes into Appendix A. But the main constructs and arguments should be presented in the main text, so that they are understandable to readers without refering to the details in the Appendix.
    • Justify in your text if you deviate from the original definitions.

  6. Formulation of the (Proto-)Theory

    • VAST: Show relationships between constructs and phenomena.
    • Text: Justification of relationships (with references to the IDs in Appendix A): Do not only describe the existence of a relationship, but make it plausible (narrative): Why should a reader “buy” that this relationship makes sense?
    • How does the theory explain the emergence of the phenomena?

  7. Development of a Formal Model

    • Explain if/how the formalized model deviates from the “larger” theoretical model (e.g., narrowing to specific parts of the theory; extensions that were necessary; additional assumptions).
    • Variable Table: Define variables (value range, scale level, anchors).
    • Relationships Table: Define functional relationships (again, with references to the IDs in Appendix A). This table is so important that it should be presented in the main text.
    • Include small plots of each relationship (except trivial relationships). Provide a “plain text summary” of the key message of the plot (“What can we see here?”)
    • Include a plot that shows the behavior of the combined system (typically, the behavior of the psi-function). This takes all measured or manipulated variables as input and shows the system’s output (combining all intermediate computational steps)

  8. Evaluation of the Formal Model

    • Simulate a virtual sample:
      • Assume plausible values for the function parameters (one plausible value per parameter is sufficient - no need to fully explore all possible combinations).
    • What should be analyzed?
      • Scatterplot/Boxplot of the simulated raw data (if an experiment is simulated: per condition).
      • Observed effect size.
    • It is okay if inconsistencies or implausible results occur in this check. You do not need to refine the formal model but simply identify the problem.
    • No further sensitivity analyses are required within the scope of the final report.

  9. Discussion: Meta-Reflection

    • From your personal perspective: How did the individual formalization steps work with this theory?
      • Was the original literature helpful/informative?
      • How much did you have to “fill in gaps”?
    • What was particularly difficult?
      • This can be (a) criticism of the selected theory and (b) critique/reflection on the seminar and one’s own skills.

Given the 15,000 character limit (+/- 20%) (including spaces; not including front page, references, and appendices), each of these sections needs to be really short! So do not aim for comprehensiveness, but rather give concise and exemplary demonstration of the necessary steps, without the goal of being exhaustive.

Grading

Whether the final formalization makes sense or the formal model really produces the phenomenon is not part of the grading (because that also depends on the chosen theory). For grading, I only assess whether the methodological steps have been applied lege artis and a coherent report has been written. While grading, I ask myself those questions, for example:

  • Do the steps meaningfully build upon each other?
  • Do the conclusions follow from the presented evidence?
  • Have decisions been made transparent?
  • Is the Github repository well structured?
  • Is the code well documented?

You can see a tentative grading sheet (likely subject to change) here.

LMU specifics (in German)

Format Hausarbeit

  • Schriftgröße 12pt, Zeilenabstand 1.5x
  • 15.000 Zeichen +/- 20% (Zählung inkl. Leerzeichen; ohne Deckblatt, Referenzen und Anhänge)
  • Wenn Sie in papaja/apaquarto/Rmarkdown schreiben, dann ist das exportierte PDF von der Formatierung her gut so wie es ist (Sie brauchen nicht das Deckblatt, Zeilenabstand etc. anpassen).
  • Deckblatt: Titel, Datum, Name, Matrikel-Nr., Name der Veranstaltung
  • Bei papaja/apaquarto/Rmarkdown schreiben Sie Datum, Matrikel-Nr. und Name der Veranstaltung in die author notes.
  • Kein Inhaltsverzeichnis
  • Mindestens 3 Publikationen zitieren
  • Zitate & Literaturverzeichnis nach APA-Richtlinien (6. oder 7. Version)
  • Die Links zu Repositorium mit open code, etc. kommen an den Anfang des Methodenteils
  • Sprache kann deutsch oder englisch sein.
  • Stellen Sie sicher, dass die Grafiken schwarz/weiß-kompatibel sind.
  • Es sollten Seitenzahlen vorhanden sein.

Abgabe Hausarbeit

  • Abgabetermin (voraussichtlich): 17.3.2026
  • Als PDF-Datei per Email an den Dozenten – Empfang wird bestätigt
  • Man kann zum Zwecke der Anonymisierung 2 Versionen einreichen:
    • Vollständige Version (Dateiname: IhrNachname_Kurztitel_Jahr.pdf) – z.B.: „Schmid_Empra_2020.pdf“
    • Anonymisierte Version, bei welcher der Name auf dem Deckblatt gelöscht ist (Dateiname: Matrikelnummer_Kurztitel_Jahr.pdf)
      • Diese Version wird benotet.
      • Dateiname z.B.:„98234034_Empra_2020.pdf“
      • Das Github Repo sollte man in der anonymen Version herausnehmen, da der Username im Allgemeinen die Identität erhält.
      • Sie können in papaja einfach eine anonyme Version erzeugen, indem Sie im YAML mask: yes angeben (siehe hier)
      • Sie können in apaquarto einfach eine anonyme Version erzeugen, indem Sie im YAML mask: true angeben (siehe hier)

Gruppenarbeit / Eigenleistung

Innerhalb der Gruppen kann das gemeinsame Basismodell von allen Gruppenmitgliedern genutzt werden.

Die Eigenleistung besteht in folgenden Aspekten:

  • Die Beschreibung des Modells wird individuell geschrieben (aber wird vermutlich sehr ähnlich sein)
  • Das Basismodell wird durch mindestens eine Komponente individuell und selbständig erweitert. Dazu gibt es viele Möglichkeiten, z.B.:
    • ein weiterer Mediator oder Moderator im VAST (und entsprechend in den Simulationen)
    • eine neue experimentelle Simulationsbedingung (d.h., es werden andere Settings für die Modellparameter systematisch untersucht, und ob/wann das Phänomen noch vom Modell produziert wird)
    • Ein anderes Phänomen wird untersucht, welches aber auch durch das Modell abgedeckt ist/sein könnte. Das neue Phänomen wird durch eine neue Literaturrecherche (die sich z.B. auf eine andere Metaanalyse bezieht) bzgl. seiner Robustheit evaluiert.
    • Verteilung von Variablen oder funktionale Zusammemhänge, die im Basismodell einfach aufgrund von Plausibilität angenommen wurden, werden basierend auf empirischer Evidenz kalibriert (also z.B. anhand von in Artikeln berichteten \(M\) und \(SD\), oder sogar durch eigene Reanalysen von offenen Daten)
  • Gleich das erweiterte Modell präsentieren (nicht separat erst das Basismodell und dann auch noch das erweiterte Modell)
  • Die Eigenleistung im Modell sollte deutlich im Bericht markiert werden (z.B. durch einen eigenen Abschnitt, oder sprachlich klar kennzeichnen, was über das Gruppen-Basismodell hinaus geht)
  • Jeder sollte ein eigenes Github-Repositorium einreichen/verlinken. D.h., man macht eine Kopie/Fork von dem gemeinsamen Basismodell, und arbeitet dann darin weiter.