Její vznik popisuje pověst, která vypráví, že kdysi se křemešnickou vodou vyléčila bohatá paní. Jako poděkování věnovala kostelu velký zlatý kalich. Avšak jednou v noci vnikl do kostela zloděj a kalich ukradl. Při každém kroku se však lup stával těžší a těžší, položil jej proto, aby si odpočinul. V tom okamžiku se kalich proměnil v ohromný kámen - skalku. O té se věří, že vyleze-li tam dívka bez cizí pomoci a pomodlí se, určitě se do roka vdá. Poprvé se to prý povedlo jakési pelhřimovské měšťance a ona tam z vděčnosti dala postavit křížek.
Pověst není zasazena do určité doby, jisté však je, a záznamy v křemešnické pamětní knize to potvrzují, že kostel byl skutečně roku 1834 vyloupen a zloději tehdy odnesli kromě jiného také oltářní kalich, takže kněz pak musel při mši obětovat z kalicha skleněného.
Velká pouť se konala vždy na slavnost Nejsvětší Trojice osmou neděli po Velikonocích, dále se držela pouť v oktávu, tedy týden po Velké pouti, tzv. Malá (německá) pouť pátou neděli po Velikonocích, na sv. Annu, Růžencová v prvním říjnovém týdnu a až do roku 1938 na svátky svatodušní také pouť jihlavských střelců. V roce 1935 přibyla i pouť k sv. Janu Boscovi, jemuž byla v chrámu postavena socha, ke které přinášeli vděční prosebníci zlatá srdíčka. Kromě těchto poutí přicházela ve své sváteční dny také procesí z okolních obcí.
V dobách největší slávy v 18. století přicházelo za rok na Křemešník až 700 procesí z celých Čech, Moravy, Slezska, Bavorska a Rakouska. Pro potřeby poutníků byly před vstupem do ambitů na prostranství vpravo od stromořadí postaveny dřevěné boudy polních kuchyní s otevřenými ohništi, kde se mohli účastníci poutí najíst, napít a popřípadě i vyspat. Boudy patřily pelhřimovským měšťanům, kteří získali povolení zde provozovat živnost, a mimo poutí byly opuštěné.
Ve 13. a 14. století na úbočích Křemešníku provozovali Rožmberkové a Trčkové z Lípy těžbu stříbra; opuštěné šachty po ukončení těžby později sloužily jako obydlí poustevníků z řádu františkánů a ivanitů.
Roku 1555 byla na Křemešníku postavena dřevěná kaple zasvěcená Nejsvětější Trojici. Ta se stala oblíbeným poutním místem a roku 1651 byla z prostředků města Pelhřimova postavena kaple zděná. Tu vysvětil roku 1654 opat kláštera v Želivi Norbert. K dalšímu rozšíření došlo v 18. století - v letech 1710 až 1720 byl vybudován poutní kostel, ten byl roku 1734 doplněn ambity a roku 1750 byl dokončen do dnešní barokní podoby. Od roku 1763 byly vedeny kroniky o procesích; po staletí sem každoročně putovaly desítky tisíc věřících.
V novodobé historii zažil Křemešník největší rozmach v letech 1878-1919 za průvodcovské činnosti křemešnického učitele Josefa Zahálky. Vzpomínkou na něj je kniha Na krásné samotě, jejímž autorem je kněz, spisovatel a kulturní organizátor František Bernard Vaněk, který s ním na Křemešníku jako expozita působil v letech 1902-1907.