เพลงที่พูดถึงเทย์เลอร์เองที่เติบโตท่ามกลางสื่อและคำชมต่าง ๆ มาโดยตลอดถึงขั้นได้เป็น American Sweetheart แต่แล้ววันหนึ่ง วันที่เทย์เลอร์รู้สึกว่าพวกเขาไม่รักเธออีกแล้ว เหมือนอาณาจักรที่สร้างมากำลังพังทลายลง เทย์เลยบรรยายความรู้สึกเหล่านั้นออกมาเป็นเพลงนี้
เพลงนี้จึงเป็นอีกหนึ่งเพลงที่เราคิดว่ามันละเอียดอ่อนสำหรับเทย์มาก ๆ มีไม่กี่เพลงที่เทย์เลอร์แต่งถึงความกลัวว่าคนจะไม่ชอบตัวเอง ความเปราะบางในหน้าที่การงาน เช่น Nothing New ที่พูดถึงความกลัวเมื่อตัวเองแก่ลงและจะมีคนที่เด็กกว่ามาแทนที่ หรือ Anti-Hero เองก็ตามที่เทย์พูดถึงข้อเสียและความกลัวลึก ๆ ของตัวเอง ส่วน The Lucky One และ The Archer เราก็คิดว่าเปราะบางมากเช่นกัน
ท่อน “Used to chant my name now they're screaming that they hate me. Never wanted you to hate me” ทำให้เรานึกถึงตอนที่เทย์เล่าในสารคดี Miss Americana ว่า ตอนที่โดน Kanye แย่งไมค์ แล้วผู้คนโห่ Kanye แต่เทย์คิดว่าผู้คนโห่ตัวเองอะ “พวกเขาที่เคยกู่ร้องเรียกชื่อฉัน แต่ในตอนนี้กลับตะโกนว่าเกลียดกัน” ทั้ง ๆ ที่ Kanye ทำให้เทย์ใจพังขนาดนี้ เขาก็ยังย้อนกลับมาทำร้ายเทย์อีกในปี 2016
ไหนจะท่อนที่บอกว่าคนมองว่าเทย์เป็นปีศาจ (People look at me like I’m a monster) ก็ยังอ้างอิงไปถึงท่อนนึงใน Anti-Hero ด้วย
ในเดือนมิถุนายน 2023 มีแฟนของเทย์เลอร์ส่งมอบสร้อยข้อมือที่มีธีมของอัลบั้ม Speak Now ให้ Hayley Williams ซึ่งสร้างความสงสัยในหมู่แฟน ๆ ว่า Hayley อาจจะมาร่วมทำเพลงในอัลบั้มนี้ ซึ่งหลังจากนั้นก็ถูกยืนยันโดยเทย์เลอร์เอง ที่ประกาศรายชื่อเพลงทั้งหมดที่จะอยู่ในปัลบั้ม รวมถึงบอกว่า Hayley คือแรงบันดาลใจของเธอ ตอนที่เธอกำลังเขียนอัลบั้ม Speak Now
"Castles Crumbling" ถือเป็นการทำงานร่วมกันครั้งแรกของเทย์เลอร์และฮาลีย์ แต่ในอดีต ฮาลีย์เคยเป็นแขกรับเชิญในทัวร์คอนเสิร์ต Speak Now ของเทย์เลอร์ในปี 2011 และยังมีปรากฏตัวใน MV เพลง "Bad Blood" ของเธอในปี 2015 อีกด้วย นอกจากนี้ยังมีข่าวลือว่า Hayley เป็นแรงบันดาลใจให้เทย์เลอร์เขียนเพลง "Speak Now"
