לאחר חורבן ירושלים בשנת 70 לספירה שלטו בה הרומאים, והלגיון העשירי ישב בה ככל הנראה ליד שער יפו של ימינו. רק בימי הדריאנוס (ראשית המאה השנייה) החלו הרומאים לבנות את ירושלים כעיר אלילית בשם "איליה קפיטולינה", שבה רחובות אורך ורוחב ומקדשים פגאניים.
עיר דוד ההרוסה נחצבה על ידי הרומאים עבור בניין העיר הרומית. בשנת 132 לספירה פרץ מרד בר כוכבא – אולי כתגובה להפיכת ירושלים לעיר אלילית – שדוכא באכזריות רבה על ידי הרומאים. באופן רשמי יהודים לא הורשו להתגורר בעיר, אך קיימות עדויות לכך שהיו יהודים שהתגוררו בה והיו מי שביקרו בה.