《旧约》中已简略地制定处理异教徒的法则——审慎的考察；若有三位值得重视的证人证实他们“侍奉敬拜别神”，则将他们逐出城外，并“用石头将他们打死”。
根据《约翰福音》的记载，耶稣对此传统仍信守不渝：“人若不常在我里面，就像枝子丢在外面枯干；人拾起来，扔在火里烧了。”中古时代犹太人的社会，理论上仍依循《圣经》中对待异教徒的规定，实际上甚少付诸实行。迈蒙尼德却毫无保留地遵行了。
希腊法律明文规定，对拒绝崇拜希腊万神殿诸神者应处极刑，希腊哲人苏格拉底因而丧生。古罗马时期，神祉与国家的关系密不可分，持异端邪说者和亵渎神者一概被视为叛国行为，因而可以判处死刑。若遇原告缺席，罗马法官即就此案件，传讯嫌疑犯，调查底细。中古时代宗教裁判所的命名及形式即源于此。定都拜占庭的东罗马帝国的君主，援引罗马法律，判定摩尼教及其他异端者死刑。西方黑暗时代，基督教唯我独尊，对异端教派却稍为宽纵，利奥九世只以破门律的惩处来对待他们。及至12世纪异端为患之际，许多教士提议除了处破门律外，国家须加强管制或流放异地。12世纪，博洛尼亚恢复罗马法律的相关规定，不仅敦促宗教裁判所的成立，还明确其条款和程序；教会法中有关“异端邪说”的规定，全盘抄袭自《查士丁尼法典》第5篇《异端邪说篇》。13世纪，教会承袭了其最大的敌人腓特烈二世的法律，规定持异端邪说者必须被处死。
一般的基督徒——甚至许多异端教派，都认为教会是上帝之子所创。基于这种假设，凡攻击天主教信仰者即是触犯了神本身，顽固违抗的异端教派可被视为魔鬼的爪牙，受差遣来破坏基督的工作。因此，任何袒护异端的政府或人民，等于为魔鬼效命。教会自认是欧洲政府道德和政治上不可或缺的一环，异端之于教会犹如叛逆之于国家：只因它是严重破坏社会秩序的根源。教皇英诺森三世说：“叛国者世俗法没收其财产，判以死刑……背逆信仰耶稣者，我们更是要处以破门律，并没收其财产；因为触犯圣旨之罪远重于破坏国家主权之罪。”在如英诺森等教会政治家的心目中，持异端者比穆斯林及犹太人更危险；后者或居于基督教世界之外，或受严格管束地生活于基督教域内。外来的敌人，交战时方可见及；而持异端者则是内部的奸逆，正当天主教与伊斯兰教干戈相向时，破坏内部的团结。神学家认为若是每个人可以根据自己所得的启示解释《圣经》，而自成一派，那么维系欧洲伦理的宗教将支离破碎，引导野蛮人进入文明社会的凝聚力将为之减低。
除了法兰西南部及意大利北部以外，一般民众可谓最狂热的迫害家。“早在教会迫害异端信徒之前，暴民私刑已大行其道。”信奉正宗者眼见罗马教会宽容异端教徒的态度，深不以为然。有时甚至“由庇护的神父手中强夺异端信徒”。法兰西北方一位神父在呈给英诺森三世的信简中透露：“本城内人民虔诚的结果，不仅要将公然承认是异端教徒的解送焚火场，甚至嫌疑犯也不能免。”1114年，苏瓦松主教拘捕数位异端信徒，人们“唯恐教士过分慈悲”，趁他外出之际，潜入监狱，押解异端信徒至焚火场处决。1144年，列日的暴民坚持焚毙数位阿达尔贝罗主教一直企图说服改入正统教派的异端信徒。当皮埃尔·布鲁斯（Pierre de Bruys）说“神父们佯做圣体时，他们说谎”，并在耶稣受难日焚烧成堆的十字架时，立刻激起人民的愤怒，当场将其杀死。
当政者深恐无法获得教会的援手，维持一个统一的信仰，迫不得已也采取迫害异端信徒的措施。而且，他们怀疑那些异端邪说可能是政治上激进者的托词。另外因为政治、宗教新说突起，教会和国家的财产备受威胁。朗格多克之外各地的贵族阶级，不惜任何代价要求根绝异端的蔓延与存在。1194年，日耳曼的亨利六世命令没收异端信徒的财产，并予以严厉的处罚。奥托四世（1210年）、法王路易八世（1226年）、佛罗伦萨（1227年）及米兰（1228年）先后发布类似的律令。其中以1220至1239年腓特烈二世颁布的条文最为苛刻。教会所谴责的异端信徒即送交当地有关机关焚死。即使改变信仰，仍要受终生监禁。而且，其所有财产充公，后代不得继承。其子孙若非公开抨击其他异端信徒，以赎父母之罪，则不得享受任何高官厚禄。异端信徒的居所应该夷平，不得重建。仁慈的路易九世在法兰西境内颁布类似的法律。国王与人民谁先迫害异教徒，仍无法明确区分。1022年，法王罗伯特在奥尔良焚毙13位异端信徒，这是385年世俗处死异教徒普里西利安以来所知道的第一桩判处异端死刑的案件。尽管列日主教瓦佐（Wazo）认定破门律是对待异端信徒最严厉的手段，日耳曼的亨利三世仍然一意孤行，于1051年在戈斯拉尔绞死数位摩尼教徒或清洁派教徒。1183年，佛兰德斯的菲利普伯爵与兰斯大主教携手合作，“焚毙许多贵族、教士、骑士、农民、少女、妇女及寡妇，同时瓜分他们遗留下的财产”。
13世纪以前，查讯异端的权力集于主教身上。他们简直不像审讯者，只听任传闻或流言的指认。由于厌弃酷刑，他们又恢复神裁判法，显然他们相信神将运用神迹来保护无辜者。圣贝尔纳赞同此权宜之计，在兰斯的主教会议（1157年）中，制定审判异端的规程，此议由于未得教皇英诺森三世的首肯而作罢。鉴于主教查办异端不力，1185年教皇卢希乌斯三世命令主教们每年至少深入教区访问一次，缉察所有的可疑人物，判处拒绝宣誓绝对效忠教会者为有罪（清洁派教徒拒不发誓），并将这批顽抗之徒交予地方的有关机关。教皇授权特使罢黜清除异端不力的主教。1215年，教皇英诺森三世呼吁所有世俗政权公开发誓，自其境内根除所有被教会列为“该处罚”的异端信徒，以免他们自己被控袒护异端。任何忽视这项义务的诸侯将遭罢黜，教皇同时要求该诸侯的臣民，终止对他的效忠。“该处罚”仅指驱逐出境及没收财物而已。
1227年，格列高利九世登上教皇的宝座，发现人民、国家及主教的举发，仍然吓阻不了异端的滋生。巴尔干全境、意大利及法兰西的绝大部分，都因异端的存在而骚扰不息，继英诺森辉煌时代之后的似乎是分崩离析的教会。正如这位耆宿教皇所说的，教会同时与腓特烈和异端抗衡，他是为自身的生存在挣扎，不得不采取战时的措施与道德规范。横跨比萨至阿雷佐管区的主教菲利普·帕拉隆（Filippo Paternon）突然皈依清洁教派，教皇大为惊骇，指派一个以一名多米尼克教派僧人为首的审讯委员会，坐镇佛罗伦萨审判异端（1227年）。虽然其时，审讯者仍隶属于地方主教，然而已是教皇审讯之肇端。1231年，教皇格列高利采行1224年腓特烈所制定的法律，教会和国家均同意异端是叛国的滔天大罪，应予处死。宗教裁判所才正式成立，归教皇统辖。
