麦地那原叫雅特里布（Yathrib），后改名为麦迪纳特·纳比（Medinat al-Nabi）或先知城（City of the Prophet）。它坐落于阿拉伯中央高原的边缘。与麦加相比，这里气候宜人，有成百座花园、棕榈园及农舍。当穆罕默德入城时，居民呼唤他道：“啊！先知！就在这里歇脚吧！和我们同住。”以阿拉伯式的坚持，有人勒住他的缰绳，而他的回答全是外交辞令：“让骆驼来作决定，让它自由自在地前进！”这种口吻平息了嫉恨，他的住处将为神所安排。就在骆驼歇脚处，穆罕默德盖起清真寺及两栋宅第——一处给赛吾黛，一处给艾莎。以后他另建新邸以安置他新娶的妻子们。
离开麦加，穆罕默德也中断了在那里的许多亲戚关系，现在他以神权国家的兄弟关系来取代血缘上的亲属关系。为减轻已经存在的来自麦加的难民和麦地那的帮助者或皈依者之间的嫉恨，他促使双方的每一个成员彼此建立兄弟关系，呼吁两个团体一起到清真寺来膜拜。当举行第一次礼拜仪式时，他登上祭坛，高声喊道：“安拉神是最伟大的！”前来膜拜的人也就跟着他喊叫起来。他背对着信徒，严肃地站立着，躬着身子祈祷。然后倒退着步下神坛，在坛脚跪拜三次，继续祈祷如故。将整个的心灵奉献给安拉，就在这种跪拜匍匐中展现出来，他称这种信仰为伊斯兰，而称信徒为穆斯林。然后他转身面对信徒，吩咐他们在礼拜时遵守这一仪式，直至永久。一直到今天，这种礼拜仪式都是每一位穆斯林——不论在清真寺，还是在旅途中或在没有清真寺的外国——遵行的仪式。然后他以一篇传道来结束这一仪式。在穆罕默德时代，常用宣布一项新的启示，指示一周的行动方针和政策。
为了提高先知的权威，他在麦地那组织政府，并且不时颁布一些针对当时当地的演讲及就社会组织的实际问题、生活规范，甚至是部落间的外交和战争的启示。跟犹太教一样，那时教务和俗务之间没有明显的区分，所有事务统归宗教领袖管辖。但是，并不是所有的麦地那人都接受他的威权。大多数阿拉伯人袖手旁观，对新的教义和仪式抱持怀疑态度，看看穆罕默德是否会摧毁他们古老的传统和自由，而将他们卷入战争的漩涡里去。大部分麦地那的犹太人，继续自己的信仰，并与麦加的库赖什人保持商业来往。于是，穆罕默德与这些犹太人订立了一项严格的协定：
凡是生活在这个政体内的犹太人，应受保护以免于侮辱和骚扰。他们享受与我们人民同等的帮助和照顾。他们和穆斯林合作组织一个国家，他们和穆斯林一样可自由选择信仰……他们与穆斯林携手合作，共同防卫麦地那，以抵御敌人的侵略……今后凡是接受此公约的两民族间的争端，在安拉的指引下提交先知来裁决。
此合约即被麦地那的犹太人和一些邻近国家接受：如纳德希尔（Banu-Nadhir）、库莱扎（Banu-Kuraiza）、凯努卡（Banu-Kainuka）等。
来自麦加的200户移民，使麦地那陷入粮荒。穆罕默德采取了一般饥民常采用的方法来解决这一问题——向有粮食的地方去夺取。他照那个时代一般阿拉伯部落的道德规范，委任军官抢劫途经麦地那的商旅。一旦抢劫成功，4/5的战利品归劫掠者享有，其余的则归先知，作为宗教及慈善之用。如抢劫者已死亡则归其遗孀，而抢劫者本人则进入天堂。在这种鼓励之下，抢劫和抢劫者都成倍增加，而以经商为生的麦加人，便设计报复。一件抢劫事件使麦加和麦地那同感愤慨，因为那次事件发生在7月（Rajab）的最后一天，这是阿拉伯圣月之一，根据传统，阿拉伯人在那天是停止争斗的。623年，穆罕默德亲自率领一支300人的队伍，拦劫一支从叙利亚到麦加的商队，这支商队的首领艾卜·苏夫扬，已风闻这一阴谋，便改变路径，并向麦加求援。库赖什人派遣900名身强体健的壮丁支援。这两支队伍，在距麦地那20英里处的白德尔（Wadi Bedr）相遇。如果此役中穆罕默德被击败，他一生的功业就到此为止。他亲自指挥赢得此次胜利，却使之归于安拉神的奇迹，从而进一步稳固了他的领导权，带着丰厚的战利品及俘虏回到麦地那（624年1月）。那些在麦加积极地虐杀穆斯林的，都被处死，其余的则被赎回。但是艾卜·苏夫扬生还，并扬言报复。“不要替死去的人哭泣，”他在麦加安慰死者的亲属们，“不要让那些诗人对命运发出哀怨的悲鸣……或许转机就要来临，你可以报仇了。在我与穆罕默德决一死战以前，我决不涂抹油膏，也不接近我太太。”
借着获胜的威名，穆罕默德养成了战争的习惯。阿斯玛（Asma）是麦地那的女诗人，曾在诗中对穆罕默德进行人身攻击，一位双目失明的穆斯林闯入她的香闺，把利剑刺入熟睡中的女诗人的胸口，而把她牢牢地钉在床上。第二天清晨，穆罕默德在寺院内询问他：“你杀死了阿斯玛？”他回答：“是的，你焦虑不安吗？”“不，”先知说，“甚至连一对山羊都不会因此起争执的。”阿法克（Afak），一位皈依犹太教的百龄老人，写了一首讽刺先知的诗，因此在睡梦中被杀死在院子里。还有一个麦地那诗人，卡布·伊本·阿尔—阿什拉夫（Kab Ibn al-Ashraf）是犹太人，当穆罕默德压迫犹太人时，他背弃了伊斯兰教。他写诗来鼓励库赖什人复仇，并且向穆斯林的太太们写一些不成熟的十四行抒情诗，以激怒她们的丈夫。“谁替我除掉这个人？”穆罕默德问。那天晚上，这位诗人血淋淋的首级就放在了先知的脚边。按穆斯林的观点，这是对付叛徒最合法的防御。穆罕默德是国家的元首，具有充分的裁判权。
麦地那的犹太人不再喜欢这一黩武的信仰了，虽然他们一度视该信仰与自己的信仰有血缘上的关系。他们嘲笑穆罕默德对他们经文的解释，及他自称是弥赛亚的说法。他用“启示”的方式猛烈报复，指责犹太人轻视经文，杀害先知，弃绝弥赛亚。起初他指示信徒们说，耶路撒冷也是祈祷时膜拜的方向。624年，他改变主意，以麦加和克尔白来代替。因此犹太人指斥他恢复偶像崇拜。正在这个时候，一个穆斯林女孩参观麦地那城中凯努卡区的犹太人市场，当她坐在一个金匠的店里时，一个冒失的犹太人从背后把她的裙子撩起钉在她的上衣上。她站起来发现时，因羞于自己的暴露而放声哭叫起来。一名穆斯林就杀了这个冒犯她的犹太人，而这犹太人的兄弟们又将这名穆斯林杀死了。穆罕默德随即率领跟随者，封锁该一区域达15天之久。穆罕默德接受犹太人的投降，并命令700名犹太人留下他们的财产，离开麦地那。
艾卜·苏夫扬的克制实在值得赞扬，在那次非同寻常的宣誓后，又过了一年，他才与穆罕默德再启战端。625年初，艾卜·苏夫扬统率了一支3000人的队伍驻扎在距麦地那北边3英里的奥霍德（Ohod）山区。包括苏夫扬的妻子在内，随军的15名妇女，用愤慨、哀怨的歌声，煽起战士们复仇的怒火。而穆罕默德那时却只能聚集1000名战士，结果穆斯林溃败。在此役中，穆罕默德英勇作战，结果负伤，在半昏迷状态中被抬出战场。苏夫扬的正室辛德（Hind）的父兄叔伯，死于白德尔战役，她将杀父仇人哈姆扎（Hamza）的肝脏挖出吃掉，并且将他的发、肤、指甲串成手镯、脚环佩带以泄愤。以为穆罕默德已死，苏夫扬凯旋麦加。6个月后，先知已复原，就以串通库赖什人，威胁他的性命为借口，攻击纳德希尔的犹太人。三周的围困后，犹太人获准离境，但每一个家庭只能携带一匹骆驼能负荷的物资。穆罕默德占据一些富庶的枣园以为他家用的来源，将其余的战利品分赠给难民们。他认为己方与麦加仍处在战争的紧张状态中，因此以铲除两翼的一些敌对势力为当务之急。
626年，苏夫扬及库赖什人再度来犯，此次他们集合了1万人的队伍，并得到库莱扎的犹太人的支援，穆罕默德自忖无力抵抗，便退守麦地那城，并沿城墙挖掘战壕以为防御。库赖什人围攻近20天，最终为风雨所阻，只得班师回府。穆罕默德立刻率领3000人突袭库莱扎的犹太人。在他们投降后，穆罕默德让他们在伊斯兰教或死亡二者中择其一。他们选择死亡，因此600名战士被屠杀，埋葬在麦地那城市场附近，妇女及小孩则被卖做奴隶。
此时，先知已变成一位骁勇善战的将领了。在麦地那的10年中，他筹划了65起战斗或掠夺，有27次是他亲自率领。他也是一位干练的外交家，深谙战争与谈判的秘诀。他那时与他的难民皆渴望回归故里与亲戚朋友重聚，渴望能再次瞻仰克尔白，那是他们青年时虔诚信仰的寄托所在。就像使徒们认为基督教是犹太教的一种形式和改良派一样，穆斯林也认为，伊斯兰教是古老的麦加宗教仪式的变迁与发展。628年，穆罕默德向库赖什人提出和平的建议，以保障麦加商旅的安全为条件，换取麦地那人一年一度的朝圣。库赖什人则以先行停战一年为先决条件。出乎意料，穆罕默德接受此一条件，并签订了10年停战协定。而先知为安慰群众的失望，允许他们劫掠位于麦地那东北方、6天路程之遥的海巴尔（Khaibar）地区的犹太人。该地犹太人奋勇抵抗，结果93人战死，余众投降。他们获准继续耕种土地，但须将全部财富及未来收获的半数奉献给征服者。除了他们的首领基纳纳（Kinana）和他的表兄弟因隐匿财富被枭首示众外，余人均幸免于难。基纳纳的未婚妻，17岁的犹太少女莎菲雅（Safiya），则成为穆罕默德的另一位夫人。
629年，穆罕默德率领2000名信徒和平地进入麦加，而库赖什人为避免冲突，都退居到山那边去。穆罕默德及其信徒将克尔白分成7个方位。先知很严肃地用权杖触碰黑石，并且领导信徒高喊：“安拉是独一无二的真神！”看到这些被放逐者真诚的态度及严明的纪律，麦加人极为感动。包括哈立德和阿慕尔（Amr）在内的几位有影响力的库赖什人，均接受了这一新的信仰。而邻近几个部落的领袖，也向穆罕默德立下支持的保证。回到麦地那以后，他已经有足够的力量击败麦加了。
10年的休战协定只履行了2年，穆罕默德借口一个与库赖什人联合的部落攻击某一个穆斯林部落，使休战协定无效（630年）。他召集1万名徒众，向麦加进军。艾卜·苏夫扬看到声势浩大的穆罕默德军队，毫无抵抗地听任其入城。除了两三位仇敌以外，穆罕默德宣布大赦百姓。他清除了克尔白内外的偶像，只保留黑石，并颁布吻黑石的规定。他宣布麦加为“伊斯兰教的圣城”，并禁止异教徒踏入此地。库赖什人放弃直接反抗，8年前受攻击而逃离麦加的宗教领袖，此刻已是麦加的主宰了。
