เพลงนี้มาจากบทที่โชคร้ายบทหนึ่งในชีวิตของเทย์เลอร์ เธอได้อธิบายไว้ว่า :

"ฉันแต่งเพลงนี้เอง และมันใช้เวลาแค่ 20 นาทีเท่านั้นก่อนที่จะเข้าห้องอัด ฉันเผชิญมันในทุก ๆ ท่อนของเพลง ฉันแต่งเพลงนี้เกี่ยวกับผู้ชายคนหนึ่งที่นอกใจฉัน คนที่ไม่ควรจะทำเลย"

เทย์เลอร์ได้เปรียบเทียบเพลงนี้กับอีกเพลงที่เธอเคยแต่งเกี่ยวกับความกังวลในความสัมพันธ์ที่ผิดพลาดอย่าง Picture To Burn โดยเธอได้กล่าวว่า :

"เพลง Picture To Burn มีทัศนคติแบบความโกรธแค้นและฉันพอแล้วกับผู้ชายคนนี้ ส่วน Should've Said No คือ ฉันรักคุณ เราเจ๋งมากเมื่อเราอยู่ด้วยกันแต่คุณดันทำมันพัง แต่ฉันก็ยังคงอยู่กับคุณ อะไรทำนองนี้ เมื่อเราตอบตกลง ให้อภัย ทั้ง ๆ ที่เราควรพูดว่าไม่"