Omstreeks 1480 bestonden er in Middelburg twee schuttersgilden waaraan de bescherming van de stad was toevertrouwd. Deze schoten met hand- en voetboog. In 1509 werd besloten om een derde schuttersgilde op te richten die met handbussen schoten. Op een gegeven moment had dit gilde een andere ruimte nodig voor hun gevaarlijke oefeningen. In 1607 werd het gebouw “De Kloveniersdoelen”, waar de schietvereniging al meer dan 50 jaar is gehuisvest, gebouwd. In 1735 werd de toren door de bliksem getroffen en had de schutterij geen geld om dit te herstellen. Eind 18e eeuw werd het gebouw geplunderd en uiteindelijk doorverkocht aan de Verenigde Oost-Indische Compagnie. Bij de intocht van de Fransen in 1795 werd het gebouw als militair hospitaal ingericht. Na de opheffing van de Verenigde Oost-Indische Compagnie kwam het gebouw in handen van het Rijk en bleef tot na de tweede wereldoorlog in gebruik voor militaire doeleinden. Uiteindelijk is het gebouw in handen van de gemeente gekomen door ruil van een stuk grond voor een kazerne. Het gebouw werd o.a. gebruikt voor huisvesting van een kleuterklas, judoschool, de stichting nieuwe muziek en sinds 1969 wordt de zolder van het pand gebruikt door schietvereniging De Kloveniers. Sinds de zomer van 2013 zijn er ook een Grand Café en een cinema in het gebouw gevestigd.