Am Beispiel des Rankings für helles Hefe-Weißbier wollen wir exemplarisch erläutern, wie wir unsere Ranglisten zusammenstellen. Fachleuten ist das Verfahren unter dem Begriff Metaanalyse aus der empirischen Sozialforschung und der Medizin bekannt.

1. Schritt

Aus der großen Menge der Biere auf dem deutschen Markt stellen wir eine Liste der Marken zusammen, die bekannt sind, relevant sind oder nach unserer Einschätzung für einen Plazierung unter den Top 10 in Frage kommen. Jede Biertest-Seite im Internet, die ein brauchbares Ranking veröffentlicht, wird als Quelle herangezogen (Liste siehe: Bierkritik). Die Top 5 dieses Rankings sind für die Analyse gesetzt. Wenn kein brauchbares Ranking zur Verfügung steht, werden alternativ alle Biere herangezogen, die die Höchstnote erhalten haben. Ferner berücksichtigen wir alle  Biere der zu bewertenden Sorte, die auf dem deutschen Markt durch Reklame im Fernsehen oder durch Aktionen im Einzelhandel bekannt sind. Zuletzt durchforsten wir die Fachlektüre nach Geheimtipps. Und zu aller letzt stellen wir sicher, dass unsere persönlichen Lieblingsmarken vertreten sind. Bei der Zusammenstellung der Listen fallen dann bereits einige Marken auf, die mehrfach vertreten sind, das sind in der Regel auch Kandidaten für die vorderen Plätze. Die Ausgangsliste für den Weißbiertest umfasste dann z. B. 40 Marken. Beim Pilstest haben wir die Bewertungen von 100 Marken analysiert. Für die Überprüfung der Rankings nehmen wir auch Hinweise der Leser entgegen.

2. Schritt

Für jede dieser ausgewählten Marken wird nun die Bewertung in maximal 17 veröffentlichten Biertests herausgesucht. Voraussetzung für eine weitergehende Analyse ist, das genügend Ergebnisse aus verschiedenen Tests vorliegen. Biere, die die Mindestzahl nicht erreichen, werden nicht im Ranking berücksichtigt.

4. Schritt

Aus den standardisierten Werten von 1 bis 5 wird ein Mittelwert gebildet. Dabei werden die einzelnen Tests gewichtet, Tests mit vielen Teilnehmern erhalten ein höheres Gewicht als Einzeltester; Testergebnisse, die durch spezielle Verkostungen verifiziert wurden, zählen ebenfalls höher. Als Konsequenz ergibt sich eine Bewertung zwischen 1,0 und 5,0 als Höchstnote. Weil diese Skala immer wieder zu Rückfragen führte (4,20 - ist das der Preis?) haben wir ab der Überarbeitung 2013 das Endergebnis modifiziert. Die höchste Bewertung wird mit 100 Punkten gleichgesetzt, die anderen Bewertung entsprechnend umgerechnet.

5. Vergleichbarkeit

Die Analyse wird für jede Biersorte separat durchgeführt. Nur so können persönliche Vorlieben oder Abneigungen einzelner Tester oder Testgruppen gegen ein bestimmte Sorte Bier herausgefiltert werden. Als Konsequenz ergibt sich aber auch, daß die Ergebnisse für verschiedene Sorten nicht vergleichbar sind. 80 Punkte für ein Pils ist nicht identisch mit 80 Punkten für ein Weißbier; jede Biersorte hat per Definition eine eigene Skala.