为了成为“秘密国家警察”的领导人,希姆莱利用罗姆的冲锋队与戈林的矛盾,经过一番勾心斗角的斗争,迫使戈林交出了“秘密警察”的控制权,而后,希姆莱、海德里希又和戈林联合起来,向着共同的对手——罗姆发起进攻。
此时罗姆的势力过于膨胀,已几乎得罪了所有人,希特勒也觉得如芒刺在背,除去罗姆才能使各个实权集团满意,诛杀老战友,已成为希特勒唯一的选择。而纳粹巨孽借机蠢蠢欲动,罗姆原先曾是希姆莱的偶像,但涉及权力之争,心狠手辣的希姆莱是绝不会顾及这点情谊的。
希姆莱公报私仇,在全国范围内大搜镇丛捕、大屠谨旅枝杀;党卫队翻脸无情,火并其昔日的兄长——冲锋队,祥敏纳粹党内的争斗使德国一度处于内战边缘。短短一个星期的时间,数百万褐衫武装土崩瓦解,1934年6月30日夜,希特勒亲自率领党卫军与国防军,血洗了冲锋队总部,枪决了包括罗姆在内的一百多名冲锋队高级领导人,此外被杀的还有1000多人,史称“长刀之夜”。
在结束对冲锋队的屠杀之后,希姆莱和海德里希得到了希特勒前所未有的信任和器重,纳粹特务机构的这两架马车从此一路绿灯,畅通无阻。