Der Caritasverband Kulmbach hat sein Zuhause seit 1994 im Haus Kirchlicher Dienste Kulmbach. Das Anwesen Bauergasse 3+5 blickt auf eine reiche Vergangenheit zurück und ist eng mit der Kulmbacher Stadtgeschichte verbunden. Am Konraditag 1554 wurde die Stadt Kulmbach Opfer der Flammen; fast alle Häuser wurden zerstört. Allerdings blieben wie bei der Bauergasse 3 die gemauerten Keller erhalten. Auf diesem erbaute der Kulmbacher Künstler und Bildhauer Wolf Keller (Infos über Wolf Keller) im Jahre 1562 sein neues Haus. Es diente dann lange Jahre als Wohnraum für markgräfliche Beamte. Die Besitzerchronologie für die Bauergasse 3 und 5 listet die Besitzer von 1542 auf (Zur Chronik). 1925 kommt das Haus an den Caritasverein Kulmbach e.V.
Im Jahr 1994, nach dreijähriger Sanierung, konnte der Caritasverband Kulmbach dann seine neuen Beratungs- und Verwaltungsräume beziehen.