我们对教堂的看法是不公平的。实际上，它并不是今天游客所进入的寒冷而又空洞的坟墓。它曾经有过作用。崇拜者发现它不仅是一件艺术作品，而且是圣母及圣子予人安慰、令人振奋的显现。它接纳每天许多次站在诗班席位上及在祷告时吟唱颂歌的僧侣或教士，倾听集会时不断地祷告，寻求神的怜悯和帮助。其中堂和甬道引领崇拜者走到圣母的塑像及神的圣体与圣血前。教堂广大的空间共鸣着弥撒时庄严的音乐，而音乐就像教堂大厦本身一样重要，而且比光辉的玻璃或石头更为深邃感人。许多坚忍的灵魂和对教条怀疑，都被音乐融化，而屈膝于这一无法表达的神秘之前。
明显地，中世纪音乐的演进与建筑风格的发展是同时的。如早期的教堂在7世纪时由古代的圆顶或长方形的形式，进入简单的男性化的罗马式，而在13世纪时达到哥特式的繁复、高耸及华丽装饰。同样地，基督教音乐直到教皇格列高利一世时仍是希腊和近东的单音乐曲，7世纪时进为格列高利的或单旋律的圣歌，在13世纪兴盛，进入多音的进取式，与哥特式大教堂的风格相调和。
蛮族入侵及近东东方文化的复醒，联合突破了希腊将字母置于字上的音乐符号的传统。但希腊的四个“调式”——多利安、弗里吉亚、吕底亚、米斯奥利地安——仍保留着，并将八行诗（octoechos）分成音组中的八韵——沉思、抑制、严肃、庄重、欢愉、高兴、活泼或狂喜。希腊语在西方的圣乐中，于后持续了3个世纪之久，并仍存留于东方及罗马教会所用的《天主矜怜歌》之中。拜占庭音乐在圣巴西勒下有了它的风格，而与希腊及叙利亚的圣歌相辉映，在罗马努斯（约495年）及塞尔吉乌斯（约620年）的赞美诗中达到高峰，并对俄罗斯产生了极大的影响。
有些早期的基督徒反对将音乐用于宗教之中，但不久即发现宗教无音乐，则在与教条竞争时不能生存，因教条触及人类唱歌的感性。教士们学唱弥撒，并因袭了希伯来主领者的旋律。教会中的执事和侍僧们被教以应唱的圣歌，有些人在朗诵学校接受技术的训练，该校在教皇西莱斯廷一世时变为合唱学校，这些受过训练的歌唱者形成了大合唱团体。圣索菲亚合唱团即拥有25个歌诗者和111个诵经者，大部分是男孩。会众的歌唱由东方传向西方。在交互轮唱的赞美诗中，男人与女人轮流应答歌唱，在唱“哈利路亚”时便合唱。他们所唱的赞美诗，想必是在天堂中天使及圣者们赞美上帝之歌的回响或模仿。圣安布罗斯不管使徒的劝诫，认为妇女应在教堂中保持沉默，在他的教区中仍采用应答歌唱。“赞美诗对任何年龄的人都是美妙的，并适合二性，”这个聪明的管理者说，“当所有的人都提高嗓门唱一首歌曲时，他们产生了统一的伟大的结合。”奥古斯丁听到米兰教会唱安布罗斯的赞美诗时感动得流泪，证实了圣巴西勒的格言，即屈服于音乐愉悦的听者，将会被导引至宗教的感情和虔敬。
在中世纪有一个被普遍接受的传统，而现在经过长期的怀疑之后，被普遍地接受，是由于格列高利一世及其助手们改革罗马天主教音乐的决心，而产生了“格列高利圣歌”，这圣歌作为教堂中正式的音乐达6个世纪之久。希腊和拜占庭的曲调，结合希伯来人神殿或犹太人会堂的旋律，而形成这种罗马式简易的诗歌。不论有多少人参与，他们都唱相同的音符，虽然妇女与小孩常常较男人唱高一个音阶。这是适合平常音域的简单的音乐，间或也有一个较复杂的装饰音（melisma）——一个音符或一段悦耳无词的乐句修饰，是一种自由而连续的韵律，并没有划分节拍。
在11世纪以前，格列高利圣歌所用的唯一音乐符号，由自希腊主音符号而来的小记号组成，将它放在要唱的字上。这些“纽姆乐谱”（neumes，气和停顿）表示音的高低，但并不表示高低的程度或音的长短。这些事情必须由口头的传授，及由记忆庞大的礼拜诗歌而习得，没有乐器伴奏。不顾这些限制——或许因为这些限制——格列高利圣歌变成基督教仪式中最令人感动的特色。古代的圣歌继续了希腊、叙利亚、希伯来、阿拉伯等今天只有东方人的耳朵才能欣赏的单音的传统。即使如此，在罗马天主教堂中复活节前所唱的圣歌，以直率奇异的力量直入人心，这是悦耳但不感动心灵的复杂的音乐所没有的。
格列高利圣歌传遍西欧就像散播教义。米兰拒绝了它，就像拒绝教皇的权威一样。而西班牙长期保存着那在伊斯兰教统治下的基督徒所作的“莫扎拉比克”（Mozarabic）的圣歌，而现在部分的托莱多教堂仍采用它。查理曼像统治者一样喜欢统一，在高卢以格列高利圣歌代替了法国天主教的圣歌，并在梅斯和苏瓦松成立罗马教会音乐学校。德国人因为由气候关系所生成的喉咙，他们所需要的歌曲，与意大利人所需要的十分不同，对圣诗中较微妙的曲调便感觉困难。教会执事约翰表示：“他们粗哑的声音，吼时如同雷鸣，不能演唱柔美的变调，因为他们喝了太多的酒，致使喉咙变沙哑了。”
或许德国人反对从8世纪以来即以“回旋”及“模进”修饰格列高利圣歌的花音（fioritura）。回旋或回音最初为装饰音的字的组合，使它易于记忆。随后开始有一些字和音乐添加到格列高利圣歌中，如有时祭司的歌唱，不仅是“上主可怜我们”，更有“上主，可怜我们！”教会准许这种修饰，却从不准许它在正式的礼拜仪式中使用。无聊的祭司以创作或歌唱这种歌曲自娱，直到有许多这样的歌曲，以“附加句”（tropes）为名出版，以便教唱或保存受喜爱的歌曲。教会的乐剧的音乐即由这种回旋曲产生出来的。“模进”即是以回旋设计的，以配合弥撒时的“哈利路亚”。在长的旋律中，将字的最后一个母音延长的习惯发展成为颂乐（iubilus）或欢乐之歌。8世纪，各种不同的教材都是为这些附加的曲调而写的。回旋与模进组成为一高度发展的艺术，逐渐改变了格列高利圣歌，使其成为一种华丽的形式，与当初的精神及“平直”的意图不同。只有5个“模进”曾被教会承认用在礼拜仪式之中，即：“赞美逾越节的牺牲品”，维颇（Wipo）所作；“圣神降临”，据说是教皇英诺森三世所作；“赞美、锡安”，托马斯·阿奎那所作；“站立的圣母”，托帝·亚可波内所作；“愤怒之日”，托马斯（Thomas of Celans）所作。这种进展在12世纪结束了格列高利圣歌的纯洁性与超越性，而当时西方的建筑也由罗马式转变到哥特式。
倍增的复杂结构，较从前简单的圣歌更需要有较好的音符表示法以便传播。10世纪，克吕尼的奥托（Odo）院长及圣加尔的修道僧诺特克尔·巴尔比鲁斯（Notker Balbulus），恢复了以字母表示音符的希腊设计。11世纪，一位匿名作家叙述了如何使用拉丁文的前7个字母来代表音阶中的第一个八度音程，相对较后的拉丁文字母代表第二个八度音程和以希腊字母充当第三组。约1040年，阿雷佐的圭多（Guido），庞泊沙（Pomposa）的一个修道僧，采用了“施洗”约翰赞美诗的每一个半行的第一个音节，作为现在一个音阶中前六个音名的奇怪的称呼。这种“阶名唱法”以ut（do）、re、mi、fa、sol、la表示音调，变成了西方年轻人不能改变的传统的一部分。
更重要的是圭多音乐谱表的扩大运用。约1000年，用一条红线以表示现在的F调。然后第二条线，黄色或绿色，加上去表示C调。或在他前不久的某人，增加这些线为四条音度线，后来的音乐教师又加上了第五线。用这种新的谱表及do、 re、 mi。圭多写道，他唱诗班的孩子们在几天之内便能学到以前需要花好几个星期才能学到的东西。这是一个简单却划时代的进步，让圭多赢得了“音乐发明者”的荣衔，在阿雷佐的公共广场上便可看到他光荣的塑像。这一发明的结果是革命性的。歌唱者不必再记忆整个的音乐崇拜仪式，音乐也可以较迅速地谱成、传播和保存；演唱者现在可以当面读乐谱并立即试唱；作曲家也不用拘泥于传统的曲调，以免歌唱者拒绝记忆他的作品，而放手做种种的尝试。最重要的是，他现在可以写作多音音乐，在多音音乐中可由两个或更多的声音同时演唱或演奏出不同但很和谐的旋律。我们仍感激中世纪祖先们的另一个使现代音乐成为可能的发明。现在音调可以用放在五线谱上或五线谱之间的小点来表示，但这种记号并不暗示一个音符要延长多久。用来衡量并表示每个音符长度的方式，对音乐发展是不可或缺的——两个或更多的独立旋律同时且和谐进行的音乐。可能有些知识已经由阿拉伯的金迪、法拉比、阿维森那的论文及曾经讨论过节拍音乐及有量记谱法的伊斯兰教的西班牙渗入。在11世纪的某一时期——科隆的弗朗哥，一位僧侣数学家，写了一篇论文《旋律测量法》（Ars Cantus Mensurabilis），其中搜集了早期的理论和实践的建议，而定下了我们现在表示音度的基本规则。一个方头的杆（virga），以前当作纽姆用的，被用来代表长音符；另一个纽姆，即点（punctum）被扩大为菱形表示短音符。这些记号不久即改变了，加上了尾巴。经过数百次的尝试和错误，才发展为我们现在简单的有量记谱法。
这些重大的发展给复音音乐开辟了坦途。这种音乐在弗朗哥以前曾经被写过，但是非常简陋。9世纪末，我们发现一种叫作“奥尔干宁”（Organizing）——以数音同时唱出和声的音乐练习。以后很少再听到类似的唱法，直到10世纪末叶，我们发现奥尔干农（Organum）和交响乐（Symphonia）的名称用于两个音以上的曲子中。奥尔干农是礼拜用的曲子，其中一个古老的音调由次中音唱出，同时有另一个声音配上和谐的旋律。奥尔干农的另一种形式，“康都”，使次中音成为一个新的或通俗的调子，同时引出另一个和谐的旋律。11世纪，作曲家们又进了一步，其大胆就像哥特式建筑中的平衡：他们写作和音，在和声中新引出的声音，不仅只随次中音的旋律升降，而且另外自成一套和音，这些和音不一定随着次中音固定的旋律而平行变化。这种独立的调子几乎是次中音的叛徒，当次中音音调下降时，它反而升高。这种由对比造成的和谐，及许多瞬间的不和谐造成的和谐，成为作曲家的爱好，几乎成为一项定律。因此，约1100年，科顿（John Cotton）写道：“若主要的旋律升高时，则附属部分必须下降。”最后，到经文歌（motet）时，有3、4、5甚至6个单独调子的复杂交织，其歧异而又和谐的旁调，贯穿并融合成一张混合交织的和声之网，其精细与优美正如哥特式圆顶集中的圆拱。13世纪，复音音乐的古老艺术建立了现代音乐结构的基础。
在那个令人振奋的世纪中，对音乐的热心与对建筑和哲学的兴趣可相匹敌。教会对复音音乐表示怀疑，而且不相信音乐的宗教效果——音乐是一种诱饵，并引人入宗教。索尔兹伯里的约翰主教和哲学家，要求停止这种复杂作曲；经尧姆主教自责这种经文歌为“无组织的音乐”；罗杰·培根，这位科学的叛徒，对庄严的格列高利圣歌的消失表示悲痛。里昂地方的议会，1274年公开谴责新的音乐；教皇约翰二十二世（1324年）发表命令指责反行复音或复音音乐，其理由为革新的作曲家“剁碎了曲调……以致这种音调不停地到处干扰，使耳朵沉迷而不得安静，并且扰乱人专一奉献，而不能唤起奉献”。但革命仍然继续着。在教会的一个堡垒——巴黎的圣母院——合唱团大师列昂尼努斯（Leoninus），约1180年，谱成了当时最优美的和声的重唱；其继承者佩罗提努斯（Perotinus），却因谱出三四个声部的曲子而感觉罪恶。复音音乐像哥特式建筑一样，由法国传到英国和西班牙。吉拉尔德斯·康布伦西斯报道冰岛及他故乡威尔士的复音音乐，就是今天我们也一样会说：
在他们的歌曲中，并不是齐一地唱出那些曲调……而是多重地——以多种方法及多种音符唱出；所以在众多的歌唱者里，正如那些人习惯地聚集在一起，我们听见了许多歌声，看见了许多歌唱的人，而这许多分歧不同的部分，最后混成一个和谐而有组织的曲调。
最后教会向必然的时代精神妥协，接受了复音音乐，使其成为信仰的有力仆从，并等待文艺复兴的胜利。
