בימי שושלת בית אומייה השתרעה האימפריה המוסלמית על שטחים עצומים ואפילו איימה על אירופה (ספרד נכבשה על ידם). בירת האומיים היתה דמשק. בארץ הקימו האומיים את עיר הממשל רמלה וגם ירושלים ידעה תחת שלטונם תנופת בניה אדירה: בהר הבית הוקמו שני מבני דת חשובים ולצד ההר הוקמו ארמונות ובית מרחץ ענק. הכותל הדרומי נבנה מחדש ושערי חולדה שוקמו. יתכן שגם את מלאכת הקמת שער הרחמים בכותל המזרחי של הר הבית יש ליחס לתקופה זו.

שושלת בית עבאס הביאה את קיצה של שושלת אומייה מלבד ממלכה אומיית קטנה שהמשיכה להתקיים בספרד. העבאסים שעיקר התמיכה בהם היתה במזרח האימפריה העבירו את בירתם מדמשק לבגדד. בימי העבאסים לא נהנו ארץ ישראל וירושלים מהשקעות באותו קנה מידה לו זכו בתקופה האומיית אם כי העיר רמלה שחרבה ברעידת אדמה ערב עלייתם לשלטון שוקמה ונבנתה בה בריכת הקשתות המפורסמת, ובנייה נעשתה גם במקומות אחרים ובהם טבריה.

הפטימים היו שליטים שיעים (בניגוד לאומיים ולעבאסים שהיו סונים) שישבו במצרים. בשנת 970 כבשו הפטימים את ארץ ישראל מידי העבאסים, אך האימפריה העבאסית המשיכה להתקיים.
ברעידות אדמה שהתרחשו במאה ה-11 נפגעו חומות ירושלים, שכללו עד אז את עיר דוד ודרום הר ציון, והיה צורך לשקמן. שליטיה הפטימים של ירושלים שיקמו את החומות בתוואי מצומצם, שהותיר את עיר דוד ודרום הר ציון מחוץ לחומות. תוואי חדש זה נשמר עד היום. ראוי לציון אחד השליטים הפטימים, אל-חאכם, אשר רדף את המיעוטים הלא מוסלמים וביחוד את הנוצרים ואף הרס כנסיות שלהם ובהן כנסיית הקבר, ששופצה רק בימי יורשיו. בשנת 1071 כבשו את הארץ המוסלמים הסלג'וקים, כוח עולה שאף הביס את הביזנטים שאיימו על העולם המוסלמי. הסלג'וקים שלטו בארץ עד 1098 שאז חזרו הפטימים למספר חודשים, ערב פלישתם של הצלבנים למזרח התיכון.

בשנת 1099 כבשו הצלבנים את ירושלים וטבחו בתושביה המוסלמים והיהודים. הצלבנים שלטו בעיר עד 1187, אז נכבשה ממלכתם על ידי המנהיג המוסלמי צלאח א-דין אל-איובי. בשנת 1192 יסדו הצלבנים ממלכה שנייה, מצומצמת יותר בגודלה, שהתקיימה עד לחיסולה בידי המוסלמים הממלוכים בשנת 1291.
ירושלים הייתה בירת הממלכה הצלבנית בתקופת הממלכה הראשונה, אך בתקופת הממלכה השנייה שלטו הצלבנים רק בחלק מירושלים במשך כ-15 שנה בלבד ובירתם הייתה עכו. בירושלים הם בנו שווקים, כנסיות ובתי חולים, וגבולות העיר חפפו במידה רבה את תוואי חומות העיר העתיקה בת ימינו.
לאורך רוב התקופה יהודים לא הורשו להתגורר בעיר, אך לקראת סופה של התקופה הצלבנית הראשונה הורשו מספר מצומצם מהם להתגורר ליד מגדל דוד, סמוך לארמון המלך.

האיובים, צלאח א-דין ויורשיו, שלטו בירושלים ובחלקים של ארץ ישראל החל מסוף המאה ה-12 ועד אמצע המאה ה-13, במקביל לממלכה הצלבנית השנייה שהתקיימה בחלקים אחרים של הארץ.

בשנת 1260 נכבשה ירושלים על ידי הממלוכים ('ממלוכ' פירושו עבד בערבית), מוסלמים ממצרים שתפסו שם את השלטון עשר שנים קודם לכן. ירושלים הפכה לעיר שולית באימפריה הממלוכית וחומותיה נותרו ככל הנראה בחורבנן. עם זאת, מבנים רבים הוקמו בעיר העתיקה – סביב הר הבית וגם עליו – ובהם שווקים, בתי מרחץ מדרסות ללימודי דת, מסגדים, מבני קבורה ועוד.
בתקופה זו הפך המסדר הפרנציסקני לנציג העולם הקתולי בארץ ישראל. המוסלמים השתלטו על קבר דוד וחדר הסעודה האחרונה בהר ציון, ובית הכנסת של היהודים נהרס על ידי הקהילה המוסלמית. לאחר מכן הוא נבנה מחדש בהוראת הסולטן שישב בקהיר.