1943年，德国的侵略战争已经失去了最初捷报频传势头，德军在北非和苏德战场上不断受挫，丧失了大批武器装备。为了弥补损失，施佩尔开始努力争取把德国大型消费品生产工厂转变为军备工厂，这样就可以为德国的军备生产增加大批设备、管理人员和50万工人。为了克服纳粹党大区区长的反对，希特勒任命施佩尔为军备与战时生产部部长。施佩尔从此总揽战时经济的大权。
施佩尔积极支持新型虎式与豹式坦克、喷气式战斗机、原子武器、新型潜艇、火箭和飞弹的研究、试验和生产，以夺取侵略战争的胜利。在此过程中，他同德军高级将领邓尼茨、米尔希、古德里安、蔡茨勒、弗罗姆等人建立了较深的友谊，获得了他们的信任。希特勒也曾评价他是继戈林之后新升起的太阳。
就在这一年，盟军开始大规模轰炸德国。施佩尔向希特勒提出轰炸英国超负荷使用的港口、煤炭工业和苏联的大型发电厂以改变战争形势的建议。但他无力影响空军，希特勒对他的建议则迟疑不决。
1943年9月，希特勒把意大利地区内的一切军备和生产问题的管理权交给施佩尔。在他的组织下，德国的军备生产一直呈上升趋势。这年秋天，盟国对德国进行的大规模轰炸，给军备和民用生产造成了困难。于是，施佩尔提出并实施让法国、比利时、荷兰等国大批生产衣服、鞋、纺织品和家具等民用商品，而把德国的同类工厂转为军用。这样就避免了因强迫征调外国工人到德国，引起工人逃离所在工厂而影响生产的弊病，使德国军备生产的潜力得到最大的发挥。
由于德国城市被炸，重建工作被提上议事日程。施佩尔设法使希特勒授权他负责被炸城市未来的建筑计划。他利用这一职权，阻止了各大区区长要拆除被炸后的历代宫殿和教堂的企图，因为他们认为这些建筑是反动派的堡垒。他还提供材料和工人，保护遭破坏的历史性建筑。
1944年1月，施佩尔因病住院。这样他就离开了希特勒的权力中心，使他感到自己被希特勒一笔勾销了。此后，他也不再把自己当作希特勒宠爱的部长及有可能的继承人了。住院期间，戈林、鲍尔曼、希姆莱等人都乘虚而入，动摇了他的部长地位。两个半月后，施佩尔病愈，第一次感到希特勒面目可憎，说明他在思想上已经同希特勒有了距离。
此后，施佩尔不再屈从于希特勒的个人影响，于是在受过希特勒多年青眼有加、特别恩宠之后，开始受到辱骂和谴责。他反对希特勒集中一切力量搞地下大型设施，以便把军备工业转移到山洞或地下生产的决定，并且表示不接受意见，就请求辞职。最后双方达成妥协，延长病假，留在部长任上。施佩尔开始从颠峰滑向波谷。经过一番波折之后，他还是摆脱不了醉心掌权而获得的刺激，最终又回到希特勒的小圈子中。
1944年中期，美国空军连续轰炸了德国的许多燃料工厂和罗马尼亚普洛耶什蒂油田的主要炼油厂，使德国飞机燃料的生产减少了一半，迫使希特勒命令戈林将空军军备生产也移交给施佩尔。7月，98%的飞机燃料生产都停止了。施佩尔立即组织35万熟练工人进行抢修，到11月，日产量就上升到原产量的28%。因此盟国舆论认为，对于德国作战实力来说，他比希特勒本人更重要。
7月20日暗杀希特勒事件失败后，施佩尔受到审查，因为政变的组织者在未来政府的名单中，给他留下了军备部长的位置。
盟军诺曼底登陆，施佩尔认为局势已经毫无希望了。1945年初，德国国内工业生产已基本停顿。1月30日是希特勒掌权12周年，他向希特勒提交了一份备忘录，宣称在重工业和军备方面的战争已经结束，应把粮食、电力、生活放在优先于坦克、飞机的地位予以考虑。他提出，盟国在物质方面的优势已不可能再用德国士兵的勇敢去弥补了。
2月中旬，第三帝国败局已定，希特勒下达“焦土命令”。施佩尔曾计划用毒气除掉希特勒，后因希特勒下令修改了地下室的通风管道，而未能实现。但施佩尔仍决心阻止命令的执行。他说服大区区长们把彻底破坏工厂的命令改成使工厂临时瘫痪的命令。他还设法说服了莫德尔元帅，使他下令不准破坏工厂，尽可能在工业区以外战斗。他认为，他这样做的目的是尽可能维持战后德国人民群众生存的基础。
希特勒自杀前几天，施佩尔冒着苏军的炮火，飞抵被围困的柏林，和希特勒做了最后告别。
5月13日，施佩尔在英占区被捕。纽伦堡审判中，施佩尔因违反人道罪和战争罪被判处20年监禁。他放弃了上诉的权利。他认为与他们曾给世界带来的苦难相比，任何惩罚都是微不足道的。服刑期间，他给自己规定的任务是思考为什么费了这么长的时间，才明白他选择了错误的道路的原因。在狱中，他写了一本回忆录，提供了不少有关希特勒和他的亲信鲜为人知的内幕材料。
1966年10月1日，施佩尔被从施潘道监狱释放。1981年在伦敦因中风而死，享年76岁。