VVOG is opgericht op 13 mei als zondagvereniging VOG (Vereniging Ons Genoegen). Deze naam moest van de KNVB gewijzigd worden omdat er al een voetbalvereniging bestond die VOG heette.
Vanaf 1945 wordt er ook op zaterdag gevoetbald bij VVOG. De zaterdagafdeling kent grote successen in het amateurvoetbal, zo worden de Harderwijkers in het seizoen '68/'69 algeheel amateurkampioen van Nederland en ook in het seizoen '96/'97 wordt de ploeg onder leiding van Dwight Lodeweges kampioen van alle zaterdagamateurs. Ook in de beker verwierf VVOG ooit eens nationale bekendheid. In het seizoen '88/'89 won VVOG in de beker van profploegen als Excelsior en Helmond Sport. De ploeg verloor een ronde verder pas in de laatste minuut van FC Groningen.
In het seizoen 2006/07 ontsnapte VVOG aan degradatie naar de eerste klasse door de beslissingswedstrijden tegen Huizen en DVS '33 na verlenging winnend af te sluiten. In het seizoen 2007/08 viel echter het doek voor VVOG. In een beslissingswedstrijd tegen ARC verloor VVOG na vele jaren het hoofdklasserschap. Het seizoen 2008/09 kwam VVOG uit in de eerste klasse met onder andere streekgenoten DVS '33, SDV Barneveld en DOS Kampen. De groenwitten misten een periodetitel op een haar na. De uiteindelijke vierde plek in de eindstand gaf geen recht op nacompetitie. Via de nacompetitie is VVOG inmiddels in het seizoen 2010/2011 weer gepromoveerd naar de hoofdklasse, waar het zich in het seizoen 2011/2012 via nacompetitie wist te handhaven.
