L'insediamento viene menzionato per la prima volta nel 1016 come una corte con 30 poderi.

Il luogo non fu mai fortificato, cosa che pesò molto durante le invasioni turche e fu ancora più duramente colpito dall'epidemia di peste che ci fu.

Kozje si rianimò poi appena nella metà del XIX secolo e divenne sede del distretto giudiziario e tributario. Il centro storico vanta un importante patrimonio architettonico, sia con i suoi edifici residenziali che commerciali, con la chiesa di S. Emma e con la chiesa parrocchiale di Maria.