Linearzeit-Analyse von Abhängigkeiten: HCR schlägt HSIC bei großen Daten

Die Bewertung statistischer Abhängigkeiten zwischen zwei Datensätzen ist ein zentrales Problem der Datenwissenschaft und des maschinellen Lernens. Derzeit gilt das Hilbert‑Schmidt‑Information Criterion (HSIC) als führende Methode, doch bei Stichprobengrößen von n Datenpunkten erfordert es die Multiplikation von n×n‑Matrizen, was zu einer Rechenkomplexität von etwa O(n²·³⁷) führt und bei großen Datensätzen unpraktisch wird.

Hier kommt die Hierarchical Correlation Reconstruction (HCR) ins Spiel. Sie bietet eine lineare Kostenalternative mit noch höherer Sensitivität für Abhängigkeitstests. HCR beschreibt die Abhängigkeiten durch gemischte Momente – beginnend bei Korrelation und Homoskedastizität – und liefert gleichzeitig ein Modell der gemeinsamen Verteilung. Durch die Summierung der Quadrate dieser nicht-trivialen gemischten Momente lässt sich die gegenseitige Information exakt approximieren.

Die Berechnung der einzelnen Abhängigkeitsmerkmale erfolgt in linearer Zeit O(n). Die Anzahl der zu testenden Merkmale hängt von der Dimensionalität d ab: für paarweise Abhängigkeiten sind es O(d²), für dreierweise Abhängigkeiten O(d³) und so weiter. Damit bleibt die Methode skalierbar, selbst bei sehr großen Datensätzen.

Zusammenfassend liefert HCR eine effiziente, praktisch anwendbare und hochsensitivitätsfähige Alternative zu HSIC, die bei großen Datenmengen vergleichbare Ergebnisse erzielt, ohne die hohen Rechenkosten von HSIC zu verursachen.