伊斯兰的神秘主义有许多渊源：印度托钵僧的苦行主义、埃及和叙利亚的诺斯替教派、希腊后期的新柏拉图学派、基督教众多的苦行僧。像在基督教世界中一样，伊斯兰教少数虔诚教徒反对宗教适应经济世界的任何利益与实际，他们提倡回到艾卜·伯克尔和欧麦尔一世时代的简朴生活。他们痛恨任何横亘在他们与神之间的媒介，甚至寺庙中严格的仪式，在他们看来，也是阻碍神秘意境的。在这一神秘意境中，精神，即一切俗事的净化，不但能进入天国，而且能与上帝结合。这种运动在波斯特别活跃，也许是因为接近印度，或因琼德·伊—沙普尔的基督徒的影响，抑或是因为承袭529年从雅典逃到波斯的希腊哲学家而建立的新柏拉图学派之故。大多数伊斯兰教神秘主义者，自称为苏菲教派，因为他们穿着简单的羊毛袍子（Suf）。他们之中，有些是很热情的人，也有高贵的诗人、泛神论者、苦行者、庸医和多妻的人。他们的原则随时随地在变。阿成罗伊指出，苏菲派“以为去除了一切肉体的欲望和纵欲的思想之后，上帝的知识就留在我们心中”。但是也有许多苏菲派信徒试图通过外在的努力达到上帝。我们所看到的世界上的完美与可爱，都是存在于完美与可爱之中的神力的显现或运作。一位神秘主义者说：“啊，真主！我从未听到动物的叫声、树枝的颤动、流水的潺潺、小鸟的歌声、习习的风声、隆隆的雷声，而感觉不到它们即是你独一性的明证及无物如你的证据。”实际上，神秘主义者认为，个别事物能存在，是因为它们之中的神圣力量；它们唯一的真实就是这个基本的神性。因此上帝就是一切，不仅除了安拉别无他神，除了上帝也无“存在”。因此每一个灵魂都是上帝，纯粹的神秘主义者断言“上帝与我为一”。艾卜·叶齐德说：“实在我就是上帝，除我之外没有上帝。崇拜我。”侯赛因·阿尔—哈拉杰说：“我就是我所爱的它……我所爱的它也就是我。我就是淹死挪亚家人以外的人类的它……我是真理。”哈拉杰因太过张扬而被捕，在上千次的鞭打后，被火烧死（922年）。他的徒众宣称，在这次事件后，还看到他并和他谈过话，许多苏菲派信徒将他说成圣人。
苏菲派信徒像印度教徒一样，相信训练的过程对接受上帝神秘的启示很有必要：纯净地表现忠诚、沉思与祈祷；新入教者对长老与教师的完全服从；完全弃除一切个人欲望，甚至连救世或与神秘结合的欲望也在摒弃之列。最完美的苏菲派信徒是为上帝自己而爱上帝，并非为任何报偿。艾卜·卡希姆说：“对你来说，赐恩者本身比恩赐更好。”但是苏菲派信徒通常视训练为求得事物真正知识的手段，有时把它当作获致超自然奇迹力量的课程，不过大多是把它当作与上帝结合的道路。在这种结合中如果能完全忘记自我，就是“完人”。苏菲派信徒相信这种“完人”超越一切戒律，甚至超越了朝圣的义务。苏菲派信徒的格言说：“所有眼睛都集中在麦加的神圣黑石上转动，而我们将注意力集中至所爱者的脸上。”
直到11世纪中期为止，苏菲派信徒仍然过着世俗生活，有时还与妻子、儿女一起，甚至认为独身生活并无多大的道德价值。艾卜·赛义德（Abu Said）说过：“真正的圣人是生活在大众之中，与他们共同生活，照样结婚，参与社会生活，而且时时不忘上帝。”就苏菲派信徒而言，生活的简朴、虔诚和寂静主义是他们仅有的标志，这很像早期的教友派（Ouaker）。有时他们也集中在神圣的教士四周，或聚在一起祈祷、互相勉励。在10世纪时，奇特的苦修僧崇拜仪式，身体回旋转动同时舞蹈（dervish dances）已经定型，且在后期苏菲派信徒中间具有特殊的地位。有些人则隐居或折磨自己，但是苦行主义在这段时间并不风行，而且为数甚少。苏菲派信徒的圣人不可胜数，最早的一位圣人是妇女拉比亚·阿达—维雅（Rabia al-Adawiyya）。年轻时她曾被卖为奴隶，她的主人看到她祈祷时头顶上有红光，便使她重获自由。她终身不嫁，过着自制与布施的生活。问她是否恨撒旦，她回答：“我对安拉的爱，使我无暇来恨撒旦。”据一位著名的苏菲派信徒说，她曾说过这样的话：“噢，真主！将你赐我的现世的物质赐给你的敌人，并将赐给我来生的一切转赠你的朋友；因为你本身对我已足够了。”
让我们以圣人兼诗人艾卜·赛义德·伊本·艾卜—哈伊尔（Abu Said Ibn Abi’l-Khayr）作为苏菲派信徒的一个例子。他出生在呼罗珊的玛亚纳，他认识阿维森那，谈及这位哲学家时说“他知道我的所见”，而哲学家谈及他时说“他看见我的所知”。年轻时他爱好世俗文学，声称记得3万首前伊斯兰教的诗歌。26岁时，有一天，他听到了艾卜·阿里的演说，他引述《古兰经》第6章第9节的内容说：“说安拉！然后让他们在空谈中自得其乐。”艾卜·赛义德说：“一听到这句话，我心房的门开启了，我使自己心移神驰。”他把自己所有的书都付之一炬。他说：“苏菲派神秘主义的第一步，就是把墨水瓶打掉，把书撕掉，忘掉一切知识。”他隐退到家乡一个小教堂的壁龛中；他在那儿坐了7年，不停地说：“安拉！安拉！安拉！”这样不停地呼唤圣名，在伊斯兰教神秘主义是“超脱自我”的有效方法。他实践了苦行的几种方式：总穿着同一件衬衣，只有在极需要时才说话，日落以前不进餐，进餐时只吃一片面包，从不躺下睡觉；他在壁龛中凿一个仅可容他站立的小洞，经常把自己关在里面，塞住耳朵不听任何声音。有时在夜间，他会用绳子把自己吊到井下，低着头背诵整本《古兰经》——如果我们相信他父亲的证言的话。他为其他苏菲派信徒当仆役，为他们乞讨，为他们打扫。“有一次——当我坐在寺中，一名妇女爬到屋顶上，以污秽物泼我。而我仍然听到一个声音在说：‘你的安拉对你还不够吗？’”40岁时，他“大彻大悟”，开始传教，吸引了许多忠诚的听众。他告诉我们，有些信徒以他的粪涂在脸上，以“得到祝福”。他建立苦行僧的寺院，并制定了一套规定，成为后世类似组织的典范，影响了苏菲派教派。
如圣奥古斯丁一样，艾卜·赛义德认为人之得救，是由于安拉的慈悲荣耀，而非人的善行，但是他认为得救是独立于天堂之外的精神解脱。安拉为人类一次又一次启开大门。第一次是悔改，然后是：
确信之门，因此他接受谩骂和忍受屈辱，并且确信这些将因它而逝…然后真主又为他启开爱心之门；但是他仍然具有“我爱”的想法……然后是结合之门……因此他体会到一切都是它，一切都是由它而来……他了解自己无权说“我”或“我的”……欲望也远离他而去，他自由且宁静……你永远不能远离私心，除非你去除它。使你远离真主的私心说“某人待我欠佳……某些是由我而做好的”——所有这些都是多神；任何事物都不依赖受造物，而依赖造物者。这些你必须明白，而且曾经说过，你必须坚定不屈……坚定不屈，意即当你说“一”时，你绝不再说“二”……说“安拉”并坚定地站在那里。
同样的“印度爱默生主义”（Hindu-Emersonian doctrine），也出现在可能是艾卜·赛义德的四行诗中：
我说：“你的美属谁？”
它回答说：“因为我本然自存，所以属于我；
我是爱人，被爱者，且是爱；
是美，是镜，也是观看的双目。”
因为当时没有教会将这些英雄封为圣徒，他们只被大众赞扬而封为圣者。在12世纪，《古兰经》不鼓励崇拜圣者，而是将之视为一种偶像崇拜，但是民众的自然情感势不可挡。早期的圣者伊布拉希姆·伊本·亚当（Ibrahim Ibn Adham），即亨特（Leigh Hunt）笔下的艾卜·本·阿德汗（Abou Ben Adhem）。这些圣者在大众的想象中具有神奇的力量：他们通过阅读和心灵感应，能知道千里以外的秘密；他们能吞火与玻璃而不受伤；他们能从火上、水上经过，能在空中飞行，在刹那间游行千里。艾卜·赛义德所谓的“心灵阅读”（mind reading），会令今天任何的神话作者惊叹不已。日复一日，宗教（某些哲学家推想为僧侣的产物）就在民众的需要、情感和想象之下，一再完成，先知们的一神教变成了群众的多神教。
伊斯兰教的正统派在教会中接受了苏菲主义，并给予它相当程度的表达和信仰自由，但是这个精明的政策却不适用于暗藏政治变革企图与摒弃法律、道德的异端。许多半宗教、半政治的反动，均可归为以实玛利派。依什叶派教义，阿里的每一后代，直到第十二代，都是神灵的化身或伊玛目（Imam），而每一个伊玛目都指定了他的继承者。第六代贾法尔·萨迪克指定他的长子以实玛利继承他。据说，以实玛利贪恋杯中之物，贾法尔便取消了他的任命，选择另一个儿子穆萨做第七代的伊玛目（约760年）。有些什叶派教徒坚持以实玛利的任命是不可取消的，并尊他或他的儿子穆罕默德为第七代与最后的伊玛目。一个世纪以来，以实玛利派徒众只保持着很小的规模，后阿什杜拉·伊本卡达（Abdallah Ibn Qaddah）自任为领袖，派教士到整个伊斯兰国家传播第七代的教义。在加入该派之前，皈依者要秘密宣誓绝对服从“大主人”（Dai-d-Duat）。教旨分为对教外人士与教内秘传：他们告诉新皈依者，经过九个入教的步骤之后，一切遮蔽都要去掉，“秘密教义”（上帝是全部）将向他显示，然后他就高于一切信条与规律。在入教的第八个步骤，他们告诉皈依者，“最高的存在”是不可知的，对它的崇拜并不足以报答它。此外，他们宣称救世主必将降临而建立一个平等、公正、博爱的政权。这个特殊的宗教团体在伊斯兰及时形成一股力量，席卷了北非和埃及，建立了法蒂玛王朝。在9世纪时，由它产生的运动，几乎结束了阿巴斯王朝的统治。
当艾卜杜拉·伊本卡达于874年去世时，一位名叫哈木丹·伊本·艾什拉斯（Hamdan Ibn al-Ashrath）的伊拉克农夫，大家都称他卡尔马特（Qarmat），成为以实玛利派的领袖，这一教派有段时间在亚洲极有力量，并被称作卡尔马特派（Carmathian）。他计划推翻阿拉伯，恢复波斯帝国，秘密地征召了成千个支持者，并说服他们捐出财产与收入的1/5作为基金。又一次社会革命进入了以神秘形式为外表的宗教：卡尔玛特派提倡共产公妻，将工人组成行会，宣传普遍的平等，对《古兰经》采取寓意性的自由解释。他们轻视正统派的仪式与斋戒，嘲笑那些向庙堂与石头崇拜的“笨驴”。899年时，他们在波斯湾的西岸建立了一个独立的国家。900年时打败了哈里发的军队，几乎使其无一生还。902年，他们攻入叙利亚，直抵大马士革城下。924年，他们吞并了巴士拉，然后是库法。930年，他们抢掠了麦加，杀死了30万穆斯林，抢走了大批的财物，包括克尔白的幕和黑石本身。951年，在法蒂玛王朝哈里发曼苏尔·伊本·阿比·阿米尔的命令下被送回原处。最后，人民终于联合起来保卫财产和秩序不受威胁。但是它的教义与暴乱一直延续到下个世纪。
