1960年，南非警察开枪镇压示威群众，不久又下令取缔了非国大。非国大开始转入秘密活动，为应变形势的变化，曼德拉着手建立了称为“民族之矛”的军事组织，并亲自担任总司令。为了掌握武装斗争的策略，曼德拉在这一时期阅读了克劳塞维茨、毛泽东和格瓦拉等人的著作，为了争取国际社会对非国大的支持，曼德拉还多次秘密出国访问，会见了许多非洲国家领导人。1962年8月5日，由于叛徒的出卖，曼德拉在约翰内斯堡附近被捕，从此开始了他长达27年的铁窗生涯。
在狱中曼德拉先后读完了伦敦大学法律、经济和商业专业的课程，还自学了一门外语。
曼德拉不仅坚持学习，而且还利用一切机会和囚犯交朋友，给他们讲述反对种族隔离的道理。由于他经常领着难友与当局斗争，南非当局只好把他秘密转移到开普敦的中央监狱。当局表示只要他放弃武装斗争，就恢复他的自由，但是曼德拉坚定地说：“自由决不能讨价还价。”
1990年2月11日，开普敦监狱大门打开了，年已71岁的曼德拉走出牢门，这天世界各国派来采访他的记者多达2000人，曼德拉出狱的第一张照片被人用百万美元买走。出狱后，曼德拉成为非国大的主席，继续领导反对种族隔离制度的斗争。他率领代表团与总统德克勒克为首的白人政府代表团进行谈判，经过不懈努力，最终促使政府逐步放宽种族隔离，并同意组织南非第一次真正意义上的全民选举。