Nazwa miasta związana jest z legendą mówiącą o właścicielu tego obszaru „Czarnym Rycerzu”, który niczym jastrząb napadał na karawany kupieckie przechodzące przez Bramę Morawską.

W 1976 roku wizerunek czarnego jastrzębia na zielonym tle oficjalnie uznany został jako herb miasta Jastrzębie-Zdrój. Jego autorem był słynny rysownik, Szymon Kobyliński. Herb przedstawia stylizowanego jastrzębia w zielonym polu na tle skrzyżowanych białych symboli górniczych – pyrlika i młotka. Pomiędzy skrzydłami jastrzębia umiejscowiono także kroplę symbolizującą miejscowość uzdrowiskową.