Na místě nynější kaple sv. Josefa původně stával románský farní kostel sv. Martina, jehož pravděpodobná podoba je vyobrazena na vedutě Kyjova z r. 1715. Roku 1638 vyhořel, byl přestavěn a jako farní kostel sloužil do roku 1784, kdy byl odsvěcen a přeměněn na vojenské skladiště. Roku 1807 opět vyhořel a na jeho troskách byla v letech 1831 – 1832 vystavěna nynější kaple sv. Josefa, Pěstouna Páně. Ze starého kostela se dochovala pouze věž se zvonicí.  Uvnitř nalezneme jen zbytky výzdoby: oltář ze zrušené kaple sv. Dominika z nynější základní umělecké školy, obraz Panny Marie a několik dřevořezeb znázorňujících svaté. Zajímavostí je také vyznačení původní stavby na podlaze nynější kaple. V současné době je veřejnosti nepřístupná.

Kolem kaple se rozprostíral hřbitov (31. 12. 1949 uzavřen), ze kterého se po přestěhování hrobů na nový hřbitov při cestě do Kostelce (začalo se zde pohřbívat od 1. 1. 1950) zachovalo pouze několik hrobů s pomníky význačných kyjovských rodin.