Roku 1545 byl u Zahájeného v blízkosti dnešní Havlíčkovy ulice zřízen nový hřbitov. Po více jak 200 letech u něj nechal roku 1777 farář Jan Karel Straka postavit hřbitovní kapli sv. Vavřince. Jde o barokně klasicistní stavbu se šindelovou střechou.
Ačkoliv se na hřbitově přestalo pohřbívat už roku 1885, byl úředně zrušen až roku 1921. Hlavní kříž na hřbitově je z roku 1734. V severovýchodní části tehdejšího hřbitova se nachází hromadný hrob. Je v něm 148 rakouských a ruských vojáků z bitvy u Slavkova 2. prosince 1805. Ti zemřeli v bystřickém špitále na následky válečných zranění nebo následné epidemie tyfu. Na hřbitově stojí také pravidelný kamenný latinský kříž stojící na betonovém soklu. Na břevnu je vytesáno 1805 - 1900. Původní stanoviště ani význam kříže není znám. Roku 1805 byl vztyčen na hromadném hrobě napoleonských vojáků, v roce 1900 byl následně přesunut na dnešní místo. Kromě uvedených křížů a pomníku vojáku jsou zde stále vidět i pozůstatky původního hřbitova - náhrobek a náhrobní kameny ve venkovní zdi kaple.
Svatý Vavřinec (kolem roku 230 – 10. srpen 258, Řím) byl římský klerik, jeden z sedmi diákonů, kteří byli umučení při pronásledování křesťanů římským císařem Valerianem v roce 258. Po smrti papeže Sixta II. byl Vavřinec vyzván k vydání církevních pokladů, on je však na místo toho rozdal chudým. Římský prefekt jej pro takovou vzpouru nechal umučit (byl zaživa upečen). Sv. Vavřinec patří mezi římské městské patrony. V Římě je mu zasvěceno mnoho chrámů. Je patronem knihovníků, kuchařů a koželuhů. Je také patronem mnichů z Ampleforth College.