Searching For Anomalies with Foundation Models
Anomaly detection relaxes the assumptions of how new physics should emerge and extends the reach of what we can discover. However, interpreting the data and estimating backgrounds remains a challenge.
In this new work, we investigate anomalous events selected by the OmniLearned Foundation model across different model sizes, performing a full analysis using CMS Open Data. Surprisingly, models of different sizes, trained on the same data with the same loss functions, select entirely different collisions. In particular, the large OmniLearned model (500M parameters) selects events that are not well described by the background model.
アノマリー検出は,新物理がどのように現れるべきかという仮定を緩和し,探索可能な物理の範囲を拡張します。しかし,データの解釈やバックグラウンドの推定は依然として大きな課題です。
本研究では,OmniLearned Foundation モデルによって選択されたアノマリー事象について,モデルサイズの違いに着目して調査し,CMS Open Data を用いた包括的な解析を行いました。驚くべきことに,同一のデータセットを用い,同じ損失関数で学習されたにもかかわらず,異なるモデルサイズのモデルは互いに全く異なる衝突事象を選択していることが分かりました。とくに,大規模な OmniLearned モデル(5 億パラメータ)は,バックグラウンドモデルでは十分に記述できない事象を選択しています。