Kraj je omenjen že leta 1016 kot Traskendorf, ko je rimski cesar Henrik II. podaril grofu Viljemu Breže-Selškemu naselje Kozje s 30 kraljevskimi kmetijami, leta 1130 pa je Trachendorf kot dediščina Heme Breže-Selške že v posesti krške škofije. Leta 1197 nastopi prvi kozjanski vitez Oton – Otto de Trachenberch v spremstvu krškega škofa Ekharda. Grad se prvič omenja 1286 kot castrum Trackenberk. Slovensko ime Kozje naj bi se prvič pojavilo v pisni obliki leta 1655, in sicer na oltarnem prtu s pozlačenim usnjem, ki ga je poskrbela soproga gospodov Trokenburških. Na njem je omenjena cerkev Blažene Device Marije in Kosiah.
Kraj ni bil nikdar utrjen, zaradi česar je trpel ob turških vpadih, močneje pa ga je prizadela tudi epidemija kuge. Kozje je ponovno zaživelo proti sredini 19. stoletja, ko je postalo sedež sodnega in davčnega okraja in dekanije. Lepo sta uspevala obrt in gostinstvo in leta 1828 je imelo Kozje že tri letne sejme. Po vojni je bilo Kozje nekaj časa sedež občine in okraja, leta 1958 se je vključilo v šmarsko občino. V naselju se je razvila industrija, nekatere centralne dejavnosti, šolstvo, zdravstvo.
Sejemsko naselje je nastalo je ob cesti Kunšperk – Pilštanj. Kdaj je dobilo trške pravice, ni znano. Najstarejši trški del sestavljajo osrednji tržni prostor, obrobljen s trškimi parcelami, na katerih so se v nekoliko svobodnejši obliki formirali trški domovi. Staro trško jedro še danes ohranja dragoceno arhitekturno dediščino, tako stanovanjskih kot gospodarskih objektov. To so slikovite eno- in dvonadstropne hiše z zanimivimi portali in fasadami. Posebej izstopata hiši št. 34 z letnico 1833 in hiša številka 46 iz okoli let 1840. V starem jedru je tudi župnijska Marijina cerkev, poleg graščine.
V starem trškem jedru je veliko arhitekturne dediščine, tako stanovanjskih, kot gospodarskih objektov ter cerkev sv. Eme in župnijska Marijina cerkev.
