Diversity-Aware Reverse Kullback-Leibler Divergenz für LLM-Distillation
Die Reverse Kullback-Leibler (RKL)-Divergenz hat sich in den letzten Monaten als das bevorzugte Ziel für die Distillation großer Sprachmodelle etabliert. Sie übertrifft die klassische Forward KL (FKL) konsequent, vor al…