Kemence 1752-től 1806-ig az egykori Hont vármegye székhelye volt. Erről tanúskodik a faluközpontban álló vármegyeháza, melyet 1751-ben építettek barokk stílusban, majd miután leégett, 1858-ban romantika ízlése szerint átalakították. Napjainkban a községben működő általános iskola felső tagozatának, illetve egy helytörténeti kiállításnak ad helyet.