Kaisertrutz byl postaven v letech 1490 až 1520 jako dělová bašta Reichenbašské brány. V té době se jednalo o nový typ opevnění, který měl chránit přístup dálkové obchodní stezky Via Regia do Görlitz.
Během třicetileté války se v budově usadila švédská vojska a císařští vojáci ji neúspěšně obléhali. Od té doby nese budova název "Kaisertrutz". V pozdějších staletích plnila různé další funkce, např. jako sídlo görlitzské městské stráže. Od roku 1932 je Kaisertrutz výstavní budovou pro görlitzské sbírky. Se svými pěti podlažími nabízí celkovou výstavní plochu přibližně 2 500 metrů čtverečních. Ve třech podlažích jsou umístěny stálé expozice věnované historii města a regionu a v jednom podlaží je umístěna "Galerie moderního umění". Další patro slouží jako speciální výstavní prostor.
