Die SV Elversberg wird 1907 gegründet, damals unter dem Namen „FC Germania Elversberg“. Aufgrund des Ausbruchs des Ersten Weltkriegs löst sich der Verein 1914 auf, wird aber nur vier Jahre später unter dem neuen Namen „Sportvereinigung Elversberg VfB“ wiedergegründet. Um 1925 wird der Sportplatz südlich der Kaiserlinde gebaut, sportlich bewegt sich die SVE in diesen Jahren in der A-Klasse, Kreisliga und Bezirksliga. Nach dem Zweiten Weltkrieg schließen sich nach der Erlaubnis der Besatzungsmächte alle Elversberger Sportvereine 1945 zur „Sportgemeinde Elversberg“ zusammen.