今天的社会生活也许不会让人感到指南针的必要性。但正是在指南针的指引下，欧洲新兴的资产阶级在海外开辟了一个又一个贸易市场，使近代世界联成一体。正是在指南针的指引下，哥伦布发现了美洲大陆，大大开阔了欧洲人的视野。航行需要辨向，但在茫茫的大海上，在一望无际的大沙漠中，在人迹罕至的深山老林里，人们只能凭太阳和北极星辨向。若是乌云遮住了星空和太阳，人们就会手足无措。古代中国人发明的指南针解决了这一问题，尤其为海上远航创造了条件。
远古时期中国有所谓的“指南车”，它通过齿轮传动使运动的车子上的某物保持固定指向。指南车纯粹是一种机械装置，与指南针没有什么关系（除了均为指向工具外）。指南针的基本原理是磁针的指极性。中国人早在公元前3世纪的战国时期就已认识到这一点。《韩非子·有度》中提到“先王立司南以端朝夕”，表明那时已经有了磁性指向工具，被称为“司南”。公元1世纪初，东汉王充在《论衡》中有关于司南的详细记载：“司南之杓，投之于地，其柢指南。”表明司南的形状像一把汤匙，有一根长柄和光滑的圆底。司南由磁石制成，静止时长柄所指方向为南方。司南可能是最早期的指南针。由于磁性指向工具常常被置于一个标有方位的地盘之上，因此早期指南针也被称为“罗盘”。
天然磁石在强烈震动和高温时容易失去磁性，而司南与地盘接触的摩擦力又太大，所以指向效果不是很好。在司南之后，人们进一步探索性能更稳定、携带更方便的磁性指向工具。公元1044年左右，北宋曾公亮和丁度在他们的军事著作《武经总要》中提到了指南鱼。这是一种用人造磁钢片做成的鱼形指向标。磁鱼是这样制造的：先用高温使铁片内部磁畴激活，置于地磁场中排序，再迅速冷却，使磁畴的有序排列固定。这种方法很符合物理学规律，但所得磁性较弱。指南鱼浮在水上，可以自由转动。
指南针的制造技术在沈括的《梦溪笔谈》中最早得到系统阐述。沈括指出，在磁石上磨过的小铁针具有较稳固的磁性，因此应采用这种人造磁针代替天然磁石制造指向工具。沈括讨论了放置磁针的四种方法，即“水浮”、置“指爪”、置“碗唇”、“缕悬”。他认为，“水浮”法虽应用较广，但“水浮多荡摇”是一重大缺陷。置“指爪”和“碗唇”是指将磁针放在指甲或碗边，这样做虽然摩擦力很小，但太不稳定。只有“缕悬”法是比较好的。它是用细线将磁针悬吊，在无风的地方指向效果很好。南宋时期的陈元靓在其《事林广记》中介绍了他制造的指南龟：木刻的指南龟内部装上磁石，底部用一根极尖的竹针支撑，使其可以自由转动。这种指南龟日后发展成了旱罗盘。
沈括在制造指南针的过程中还发现了“磁偏角”。他在书中写道：磁针“常微偏东，不全南也”。这是磁学史上一个极其重要的发现，欧洲人直到400年后才有关于这一现象的记载。
指南针发明之后即开始在宋代的航海业中发挥作用。成书于1119年的《萍洲可谈》中记录了中国海船上使用指南针的情况：海员起初还只是在阴雨天使用，到了宋代末期以及元代，不论昼夜阴晴，都使用指南针导航，实现了全天候航行。
宋元时期，中国的对外贸易和海上交通十分发达。广州、泉州、宁波、杭州都是对外港口。中国的船只远达大西洋沿岸，指南针正是这些远航水手传到阿拉伯和波斯的。通过他们，中国发明的航海罗盘为欧洲人所熟悉。13世纪初，欧洲开始有在航海中使用指南针的记载。
指南针的发明使中国的航海事业在中世纪达到了世界最高水平。早在公元842年，李邻德就曾驾驶木帆船从宁波启程，沿海岸北上，经山东、辽宁和朝鲜到达日本。次年，李处人开辟了由日本嘉值岛直达浙江温州的新航线。1281年，郑震率商船从泉州出发，经3个月到达斯里兰卡，以后多次在印度洋上航行。明代郑和于15世纪初七下西洋（指南洋群岛和印度洋一带），所率舰队大小船只达200多艘，人员达2万多，其规模之大远胜半个世纪之后的哥伦布和达·伽马。哥伦布的队伍横渡大西洋时只有88人，分乘3只长19米的小船。达·伽马也只有100多人，4只船，而郑和的船队中长度超过100米的大船就有50多艘，足见当时造船技术之高明。当时使用的航海技术、航海仪器也是世界上最先进的。郑和所用的航海仪器包括罗盘、测深器和牵星板。牵星板是为计算船舶夜间所在的地理纬度而观测星辰（主要是北极星）地平高度的仪器。运用这些仪器，郑和详细绘制了航海地图，其中记载了沿岸地形、停泊位置以及航向、航程、牵星记录和水深等数据，是世界航海史上的杰作。
