Kompass besteht seit dem 22. Februar 1984 als eingetragener Verein. Im Jahre 1983 hatten sich die Gründungsmitglieder entschlossen, ihre bis dahin mehr oder weniger individuell ausgeübten Aktivitäten im Bereich der Straffälligenarbeit nunmehr einen festen Rahmen zu geben. Unter anderem um Anreize für Spender und für die Gerichte bezüglich der Vergabe von Buß- und Auflagegeldern zu schaffen, wurde die Form des eingetragenen, gemeinnützigen Vereins gewählt.
Die Gründungsmitglieder verstanden sich als justizkritisch; ihr Engagement ging auch über die Gefängnismauern hinaus. So wurden auch nach außen eigene kriminalpolitische Ansichten vertreten. Auch das Angebot von Kompass sah in den 80er Jahren anders als heute aus: so gab es nicht nur Gesprächs- und Bastelgruppen in den Justizvollzugsanstalten in Rottenburg und Tübingen, sondern auch in der Frauenvollzugsanstalt Gotteszell/Schwäbisch-Gmünd. Ebenso fanden institutionalisiert Einzelbetreuungen und entlassungsvorbereitende Maßnahmen statt. Zu diesem Zweck betrieb der Verein auch mehrere Jahre eine Wohnung, in die „frisch“ Entlassene über mehrere Monate aufgenommen werden konnten. Da der hierfür zu betreibende Aufwand die Möglichkeiten des Vereins aber überstieg, wurde dieses Angebot wieder eingestellt.
So haben sich nicht nur die Angebote, sondern teilweise auch die Zielsetzungen des Vereins im Laufe der Jahre verändert. Gleich geblieben ist jedoch zu großen Teilen die Mitgliederstruktur: sowohl damals als auch heute besteht der Verein vorwiegend aus jüngeren Menschen, die sich noch in der Ausbildung befinden. Die Hauptintention des ehrenamtlichen Engagements ist ebenso nach wie vor dieselbe: die gesellschaftliche Verantwortung wahrzunehmen, die aus der jeweiligen Behandlung der Kriminellen entsteht.