警備總部「黑機關」的問題，當年一直遭受自由主義知識份子及民主人士的質疑，有關軍法審判的問題也曾遭監察院糾正，但被國民黨蔣家王朝視為「錦衣衛」的角色始終未變，反而透過數度變身而更為加強，讓它對內嗜殺的本性發揮到了極致。
除了監察院之外，這個「黑機關」真正在立法院遭到挑戰，是〈美麗島事件〉多位辯護律師進立法院之後；一九八四年，當時的「黨外」立法委員江鵬堅（民進黨於一九八六年成立時當選首任黨主席，二○○○年十二月十五日逝世），當選後的第二次總質詢時首度突破禁忌，以警備總部是「黑機關」作為質詢主題，他鏗鏘有力的質詢重點是：
一個擁有武力，與人民權益息息相關的執法單位，竟然可以不受法律的規範與民意的監督，我們還敢自稱是法治國家嗎？警備總部曾依國防部參謀本部組織法第四條規定訂了〈台灣警備總司令部組織規程〉，這個組織規程何時訂定，無從得知，但國防部參謀本部組織法是六十七年七月十七日公佈，那麼，警總的組織章程自然在後面了，為什麼一個國家機關可以在沒有法律授權的狀態下存在二十幾年，難道它是國民黨的錦衣衞？為什麼訂定了組織規程也不送立法院完成立法程序，難道警總可以永遠是黑組織？
江鵬堅窮追不捨的質詢，最後迫使時任行政院長的俞國華承認：「警總直屬總統，是軍令系統」，經過這次質詢後，警備總部的神秘面紗才逐漸被揭開。
警備總部常被誤解它是伴隨「戒嚴」而生，一般將它的歷史認定為只有三十四年，其實，它早於「戒嚴」而存在，又晚了解除戒嚴五年才撤銷，因此，它作為台灣最高特務機關的時間實際長達四十七年，比戒嚴的時間更長。
它最早的全銜是《中國戰區台灣省警備總司令部》，國民政府蔣家王朝專制政權為了戰後軍事接收台灣預作準備，於二戰終戰半個月後的一九四五年九月一日在重慶成立，顯示蔣家王朝一開始就對台灣不懷善意或認識不夠，自始即將台灣當作「佔領地」，是要以專制獨裁軍事統治台灣。
同年九月五日，國民政府在設立《台灣行政長官公署》的同時，也設置了《台灣警備總司令部前進指揮所》。兩天後（七日），蔣家王朝任命台灣行政長官陳儀兼任這個特務機構的總司令，由參謀長柯遠芬負責實際運作，這種將行政、軍事、特務集於一身的作法，完全仿照日本接管台灣初期的體制，將台灣當作殖民地處理。
警總前進指揮所成員七十餘人，於一九四五年十月五日搭美軍運輸機，隨著美軍顧問來到台灣之後，蔣家王朝隨即又派了一個特務團（全銜為《台灣省警備總司令部特務團》）前來，部署到全台各重要據點，並立即接收了日本殖民政府最高特務機構《台灣軍司令部》的所有設備和資源，其中最重要的包括：綿密的通訊網線、當時最尖端且擁有雷達監視的電訊監察所、遍布全島的諜報組織等等，這些資源奠定了警備總部作為蔣家王朝鷹犬得天獨厚而無可動搖的地位。
接著，在蔣家王朝授權之下，除了特務團之外，後來陸續抵達台灣的憲兵第四團第二營、第七十軍、第六十二軍、澎湖要港司令部、高雄與基隆兩港的運輸司令部、空軍第二十二與第二十三的地區司令部、海軍第二艦隊司令部、陸戰隊（一個團）、總預備隊（第二○八師、第二○九師）等等，都歸警備總部統轄，因此，立刻展現了它的特務猙獰本色，統攬了台灣的軍事、政治思想警察、經濟管制、社會治安等等層面相當廣泛的控制權。
一九四七年以前的一年多期間，蔣家王朝外來政權殖民工作尚在整備階段，對台灣社會的控制還算寬鬆，不過，由於中國來的貪官汙吏只顧劫掠自肥，軍特憲警毫無法紀肆意橫行，導致台灣人捍衛權益、訴求政治清明的團體隨之萌生，像謝雪紅的《人民協會》、舊農民組合的《台灣農民協會》、林獻堂的《台灣建設協會》等等，卻都不可避免地遭到蔣家王朝特務監視或甚至派人滲透；另外，受到外來政權橫徵暴斂、物價飛漲、省籍歧視造成的差別待遇等等影響，因而發生諸如新竹州民眾反對戰時特別稅的抗議行動、台北市民風起雲湧抗議米價暴漲、高雄的造船和水泥業的大罷工等等，都在軍事高壓下沒有擴大。
累積的民憤最後引爆了二二八事變，斯時，第七十軍和第六十二軍以誘騙手段招募台灣青年，經過整編後已經開往中國內戰戰場，在二十一師進來台灣屠殺之前，完全是由警備總部參謀長柯遠芬調兵遣將執行鎮壓任務。清鄉之後，一九四七年五月五日，蔣介石趁勢對警備總部作第一次的改制；當時甫被任命為省主席的陳誠簽呈給蔣介石（一九四七年四月十一日）：「台灣警備總司令部似可撤銷，由現駐台灣之整 21師劉師長雨卿兼任警備司令，不另設機構」。
但是，總統府參軍簽註意見：「台變初平，奸黨莠民尚未肅清，又以駐台之陸海空及要塞部隊須有統率機構，似仍以保留台灣警備總部為宜。」蔣介石批示：「暫不撤銷，但可改為全省警備司令，而不加總字。決任彭孟緝為台灣警備司令，但歸台省主席之指揮」。【註八】最後將名稱改為《台灣全省警備司令部》，蔣介石任命在二二八事變中屠殺高雄人立功的彭孟緝為司令官，權力逐漸擴張，最盛時期甚至凌駕行政長官及改制後的省主席。
二二八事變的綏靖工作接近尾聲之際，國民黨軍在中國內戰中也明顯趨於劣勢，為了更確實掌控台灣整個社會，蔣介石便在一九四七年六月七日下令，將台灣的陸海空軍皆統由警備司令部指揮。接下來幾個月，國民黨軍在中國被共軍打得節節敗退，不知蔣介石是否意在部署退路不得而知，同年的十月二十二日又下令成立《台灣省保安警察總隊》，也歸由警備司令部指揮，對台灣人民實施全面性的「保安」控制，使得警備總部這個龐大且殘酷的鷹爪更加如虎添翼。
從一開始，警備總部就是一個集大權於一身的機構，不管後來如何改制，它始終都是可以從調查、行動、逮捕拘押、偵訊、審判、執行（包括指揮憲兵團槍決人犯）一貫作業的太上機構。於是，展開一連串濫捕濫殺的紅色恐怖。一九四九年一月二十六日，警備總部再從《台灣全省警備司令部》（司令官彭孟緝）改制為原來的名稱《台灣省警備總司令部》，此時的總司令由台灣省主席陳誠兼任，他不但在這一年的五月二十日發布〈戒〉字第一號《戒嚴令》，展開戒嚴恐怖統治，為蔣介石從中國敗逃預做清理工作。
三個月後，蔣家王朝在中國內戰全面潰敗，蔣介石也已下野，卻仍以中國國民黨總裁兼該黨太上單位「非常委員會」主席身分，下令成立《東南軍政長官公署》（由陳誠兼任長官），以台灣作為控制中國殘局的中心，並撤廢《台灣省警備總司令部》」，準備再度改組。這個階段的警備總部不但替蔣介石完成從陳誠手中接收軍政大權的任務，也受命將統治階層內部的反蔣勢力完全清掃殆盡。接下去的漫長歲月中，警總更是徹底鎮壓了任何想要冒出來的民主力量。
一九四九年九月一日，《台灣省警備總司令部》再改為《台灣省保安司令部》，仍由彭孟緝擔任司令官（後來吳國楨擔任省主席，兼任司令官，彭孟緝則任副司令，但實權仍在彭孟緝手中），《東南軍政長官公署》並下令將《台灣省警務處》及《台灣省保警總隊》均改隸保安司令部建制。這種改制表面似乎是換湯不換藥，實際卻是蔣介石要以台灣作為敗逃之地的部署，蔣介石不信任吳國楨，彭孟緝就成了凌駕吳國楨之上的監軍。
保安司令部自一九五○年開始接受國防部督導，從此一直到一九五四年是白色恐怖的最高潮，變本加厲地濫捕濫殺，其逮捕、槍決的人數是警備總部（含保安司令部）史上最高峰時期。一九五五年《國家安全局》正式成立後，它則又改為接受國家安全局指導；即使它的司令彭孟緝交卸，後續先後由吳國楨（仍由彭孟緝擔任副司令實際掌權）、俞鴻鈞、嚴家淦、周至柔等人接任司令，不過，無論接受誰的督導或指導，它作為蔣家王朝劊子手的角色並沒有改變，整個台灣籠罩於風聲鶴唳、人人自危的肅殺氛圍之中。
國民黨軍數十萬殘兵敗逃台灣，一時沒有足夠營房安置，警備總部／保安司令部為他們清查全台的中小學校，很多學校必須停課或輪班上課騰出教室讓他們入駐，那個年代的台灣青少年都有與軍人共用學校的經驗。另外，也需要為這些殘兵安排任務，以及退守台灣必須加強的戰備，因而多出了《台灣省防衛總司令部》、《台北衛戍總司令部》、《台灣省民防司令部》等機構，在大約五、六年期間，警備總部／保安司令部的防衛、衛戍、民防等部分任務分散出去；到了一九五八年五月十五日，蔣介石再下令實施「調整後方治安機構案」及作戰指揮權責區分，正式將上述軍事情治機構合併，成立《台灣省警備總司令部》，由原任台北衛戍總司令的陸軍二級上將黃鎮球擔任總司令。
警備總部的隸屬關係再度變動，改隸國防部，但蔣家王朝實施軍事集權統治的本質則絲毫沒變。其中，除了防衛司令部原負的台澎地區地面作戰任務，移交陸軍總司令部之外，其原負的台灣本島戒嚴任務，以及其他二個機構的原有任務，全部交由警備總司令部接管。一九五八年七月一日，新的《台灣省警備總司令部》依照奉令暫不公布的〈台灣警備總司令部組織規程〉正式行使職權，台灣進入另一個更嚴酷的白色恐怖時代。
這時的《台灣省警備總司令部》已經成為超級的龐然怪物，它是軍事組織的一部份，是執行蔣家王朝統帥權的戰時機構，依照《戒嚴法》執行維護地方治安，以及肅奸防暴任務；依照《防空法》執行民間防空防護及民眾組訓任務；又依照《兵役法》執行輔助軍事勤務的任務。同年八月，蔣介石整肅親美的孫立人將軍之後，進一步宣布，台灣地區戒嚴任務由《台灣省警備總司令部》統一負責，勢力範圍擴張到無所不管的地步，觸角深入到人民生活的所有領域。警總成為名符其實最嚴酷、最有實權的特務機構。
由於一九五六年廖文毅在東京成立《台灣共和國臨時政府》，島內也出現一些台獨組織，因此，蔣家王朝一方面著力於對廖文毅展開滲透分化，一方面也從一九五七年下令警備總部開始將白色恐怖的手伸向獨派陣營，對於獨派零星組織進行整肅，一直到解除戒嚴之前，緊鑼密鼓整肅獨派的行動成為警備總部的工作重心。
根據彭孟緝於一九四八年五月十六日，《全省警備司令部》成立一周年的閱兵大會致詞，及他具名公開發表的〈一年來警備概況〉，當時的重要措施，包括：加強地方武力、防緝共匪、管訓遊民、取締竊盜、潛匿日僑之搜捕與遣送、交通（出入境）通信之維護、戰犯之審判….等等。又根據〈台灣警備總司令部組織規程〉內載，除了上述所列部分，它掌理的業務又有：情報、肅奸防諜、偵防、治安、管訓、反情報、保安、戒嚴、台北衛戍、部隊調派、民防組訓、人犯管理、電信監察、郵電檢察、校園偵防與金融調査、文化審檢….等等包羅萬象。
除了以上列舉的業務之外，另根據警備總部的工作報告書，試舉幾項該總部業務細目，保安業務包括鐵公路橋梁隧道之守護、水源地之監護、山地治安，一般情報業務包括流氓及遊民之取締、不法社團之取締、貪汙違紀案件之處理，特種調查業務包括緝私與檢查、戶口突擊檢查，民運工作業務包括組訓民眾反共自衛隊、監控社會運動，以及特別恐怖的「軍法處」軍法業務及職訓業務等等。
另外，警備總部為了對台灣人民進行周密的監控，還在北、中、南、東設置四個警備司令部，這四個司令部司令又兼各該地的師管區司令，司令部之下又在各縣市設置警備分區，分區指揮官也兼各縣巿團管區司令，對各地區警政治安業務負有指揮之責。
四個警備司令部的司令必須定期主持「情治會報」，轄區內的縣市警察局長、警備單位首長、憲兵單位首長及調査局各調查站主任必須出席會議；此外，還有由地檢署和警察機關參加的「檢警聯席會報」，以及包括黨、政、特、調、警都必須參加的「黨政軍聯合作戰會報」。環環相扣，毫無疏漏，這些會報的會議紀錄都要送交警總。
根據非正式的統計，在警總獨攬大權的四十七年中，由警備總部／保安司令部以軍法處理的政治案件，約有三萬件到六萬件之多，受難人則多達十四萬人至二十萬人之譜。白色恐怖所造成的傷害及影響之深遠，從這些數字即不難推想得知。【註九】
警備總部／保安司令部及「戒嚴」一直是台灣社會的絕對禁忌，時序到了一九八○年代後期，中國國民黨政權開始對戒嚴問題鬆口，台灣人才能不再畏懼地碰觸警總存廢或重新定位的問題。到一九九一年年底，保守反動勢力還企圖透過〈國防部組織法〉修正草案，讓警總合法化。直到一九九二年年中，才由李登輝總統確定將警備總部裁撤，同年七月三十一日，警備總部正式裁撤，這個讓台灣人民膽戰心寒的機構終於壽終正寢。
被遺忘的…警備總部（上）台灣人生活上的白色恐怖、被遺忘的…警備總部（下）警備總部迫害人權血淚斑斑
【註八】檔案管理局，檔號：A202000000A=0036=2020.40=4450.01=038-2=027=0001。
【註九】在《財團法人台灣民主基金會》二○○九年舉辦的「戒嚴時期白色恐怖與轉型正義」研討會中，張炎憲教授指出，依據行政院法務部向立法院所提的一份報告資料，顯示在戒嚴時期，軍事法庭受理的政治案件達二九、四○七件，無辜受難者約達十四萬人。
然據司法院透露政治案件達六、七萬件，如以每案平均三人計算，受軍事審判的政治受難者應當在二十萬人以上。
又據國防部於二○○五年七月三十一日呈給陳水扁總統的「戒嚴時期叛亂暨匪諜審判案件」報告，合計遭受審判有二七、三五○人，經篩檢剔除重複後，計有二六、一三二人。
又據「戒嚴時期不當叛亂暨匪諜審判案件補償基金會」的公布，已有八、七六七人申請補償（至二○○九年六月三十日止），但實際被捕人數到底有多少？至今仍然沒有定論。其中也有非政治案件，卻以匪諜或叛亂案件而逮捕者。因性質難分，數量就難以釐清。