媒體報導指出，時代力量立委王婉諭與邱顯智表態反對陳柏惟罷免案，並稱此為「報復性罷免」，引起黨內部分人士不滿，他們甚至發起連署，要求將王婉諭與邱顯智送交到紀律委員會調查，王婉諭對此回應，將會持續與黨內溝通，但也認為極少數人因為意見不同，動輒訴諸強制性機制，並非正面的現象。
時代力量立委王婉諭與邱顯智，在國民黨發動罷免陳柏惟時，表態反對「報復性罷免」，遭到其他黨內人士質疑，此舉已經違背時力黨內決策委員會，針對罷免案「不表態」的基本立場，因而發動連署要將王婉諭及邱顯智送交到紀律委員會，判斷是否違反黨內紀律，並呼籲予以懲處。
王婉諭對此回應，黨內有不同的意見是民主社會的常態，會持續進行內部溝通，期望達成最大的共識，但她也認為，如果只因為少數人的不同意見，就動輒訴諸強制性的機制，要求同黨同志不能夠對於公眾議題有個別意見的表達，對於像時代力量這樣年輕的政黨發展，恐怕不會是太正面的現象。
除了對於陳柏惟罷免案的態度不一致之外，對於四大公投的態度，邱顯智似乎也與黨中央的態度不同。
時代力量對於四大公投案，表態為三個同意一個不同意，也就是除了反對重啟核四以外，其他皆主張投下同意票，這樣的立場被諷刺為「四分之三個國民黨」，從「小綠」走向「小藍」。然而，時力的新竹黨部卻緊接著在臉書上貼文表示，「沒有一項提案，可以輕易踩住一個立場，就不再思辨」，要呼籲選民「想清楚再決定」，似乎有意與時力黨中央的立場保持距離。
時代力量從創黨之後，幾乎每一年都在鬧分裂。第一波退黨潮（2017 年）以馮光遠最具代表性，他還譏諷時力早已變成「國昌黨」，退黨的原因不言可諭；第二波退黨潮（2019 年）以洪慈庸與林昶佐為代表，當時兩位都是區域立委，但因為其主張「友民進黨」、「台灣獨立」路線，讓黃國昌、徐永明、陳惠敏為首的「昌明敏」派不滿，認為這種路線會讓時代力量淪為「小綠」，在這波路線鬥爭中，最終洪慈庸與林昶佐宣布退黨。
第三波與第四波退黨潮（2019 年到 2020 年），大致上也是因為不滿「昌明敏」派，讓多位議員與幹部逐漸退黨，代表性人物有台北市議員林亮君、林穎孟、黃郁芬，以及苗栗縣議員曾玟學、高雄市議員黃捷、時代力量發言人吳崢等人。
如今又傳出要針對王婉諭與邱顯智發動懲戒，雖然目前並未送交到懲戒委員會，但藉此警告王婉諭與邱顯智意味濃厚，而在公投案的態度上，時代力量黨中央的表態居然與中國國民黨如此接近，王婉諭與邱顯智陣營及其支持者是否贊同？恐怕埋下了第五波退黨潮的種子。
相關報導：時代力量公投意向表態 網友戲稱「變成3／4個國民黨」
參考資料：
獨家》時力茶壺風暴！黨員不滿王婉諭、邱顯智挺3Q 連署送紀律委員會
維基百科：時代力量分裂危機
時代力量黨中央聲明
時代力量新竹黨部聲明