Die Siedlung wird bereits 1016 als Hof mit 30 Bauernhöfen erwähnt. Der Ort wurde nie befestigt, wodurch er während der türkischen Invasionen gelitten hat, er wurde auch stärker von der Pestepidemie betroffen. Mitte des 19. Jahrhunderts erwachte Kozje wieder zum Leben. Kozje wurde Sitz des Gerichts- und Steuerbezirks, des Dekanats. In der alten Marktstadt gibt es viel architektonisches Erbe, sowohl Wohn- als auch Geschäftsgebäude. Sehenswert sind auch die Kirche der St. Ema und die Pfarrkirche der heiligen Maria.