Jaani kirikut hakati ehitama 13.sajandi alguses. Lõpetati ehitamine küll aga alles 14.sajandi lõpu poole. Torni ülaosa valmis 18.sajandi lõpu poole. Ehkki kirikut on korduvalt purustatud, siiski on tema keskaegne üldkuju säilinud. Tõsiselt kannatas kirik Põhjasõjas 1708. aastal, mil lahkuvad Vene väed õhkisid linna süstemaatiliselt. Nähtavasti varises torni ülaosa pikihoonele ning kesklöövi ja kooriosa võlvid hävisid.
