Frivilligcenter og Selvhjælp Svendborg blev stiftet i 1989 under navnet Kontakt mellem Mennesker.

Foreningens stifter var socialrådgiver Lone Møller, og hendes vision for Kontakt mellem Mennesker var, at vi som mennesker skal støtte og inspirere hinanden . Jul i Skallen for ensomme var foreningens første projekt. En aktivitet, der er videreført i gennem alle årene helt frem til idag, hvor den dog har skiftet navn til Jul på Kvægtorvet.

Gennem de første 13 år hjalp foreningen ”selvhjælpsgrupper” i gang.

I 2012 samlede Kontakt Mellem Mennesker mange af de frivillige sociale foreninger i Svendborg og med økonomisk støtte fra Svendborg Kommune lejede foreningen og Frivilligrådet i Svendborg  Havnegade 3 , og det blev Svendborgs første frivillighus. 

I februar 2024 flyttede foreningen ind i det nuværende Frivillighuset Kvægtorvet, Frederiksgade 8.

I 2021 skiftede foreningen navn fra Kontakt mellem Mennesker til Frivilligcenter og Selvhjælp Svendborg.

Mere end 200 frivillige, sociale initiativer låner i dag lokaler frivillighuset på Kvægtorvet.