Urodził się w Warszawie 8 kwietnia 1884 r. Święcenia kapłańskie otrzymał w Lublinie w 1908 r., a następnie do 1912 r. studiował teologię moralną w Innsbrucku.

Od 1912 r. rozpoczęła się jego wielka przygoda ze szkołą: pracował jako profesor seminarium i prefekt szkół. W 1915 r. założył gimnazjum męskie im. Jana Zamoyskiego – był tam dyrektorem do 1933 r. W latach 1933 – 1935 był wicedyrektorem, a następnie dyrektorem Gimnazjum Biskupiego w Lublinie. Za jego kadencji dokończono budowę i oddano do użytku gmach Biskupiaka. Od 1935 r. był rektorem kościoła powizytkowskiego, gromadził tam inteligencję lubelską, a w szczególności młodzież. Dał się wtedy poznać jako znakomity kierownik duchowy. Był także współzałożycielem harcerstwa lubelskiego i prezesem Polskiej Macierzy Szkolnej.

Posiadał wielki talent pedagogiczny i pasję społecznika. Wyczulony na trudności materialne młodzieży, stworzył system pomocy dla uczniów z uboższych rodzin. Ufundował stypendia dla tych, którzy chcieli poświęcić się pracy nauczycielskiej. Wychowankowie wspominają ks. Gostyńskiego jako człowieka surowego, o żelaznej dyscyplinie i tradycyjnych przekonaniach, a zarazem rozmiłowanego w młodzieży i niezwykle serdecznego.

Podziwiany i szanowany przez uczniów, nigdy nie szczędził sił, jeśli chodziło o dobro szkoły i wychowanków. Przez całe życie towarzyszył mu twórczy niepokój i pasja szukania nowych dróg rozwoju.

Aresztowany 11 stycznia 1940 r., po kilku miesiącach więzienia w Lublinie został wywieziony do Sachsenhausen, a stamtąd do Dachau, gdzie szykanowano go i torturowano. Zginął śmiercią męczeńską w komorze gazowej 6 maja 1942 r.

Na krótko przed śmiercią powiedział: „Wolałbym umrzeć w kraju, ale jestem człowiekiem wierzącym i skoro Bóg tak chce, niech się dzieje Jego wola”.

Papież Jan Paweł II włączył ks. Kazimierza Gostyńskiego w poczet błogosławionych Kościoła 12 czerwca 1999 roku w gronie 108 męczenników II wojny światowej.