בוודאי שעם חורבן הבית וכיבוש ירושלים בידי שלטונות הגויים, התמעטה הנוכחות היהודית בירושלים בכלל ובהר הבית בפרט. אולם מאידך, ברור כי יהודים המשיכו לפקוד את מקום המקדש בתפילות ובתחינות לקימום המקדש והחזרת מלכות ישראל למקומה.

ראשית, יש לציין כי מיד לאחר החורבן יש עדות מכתבי יוסף בן מתתיהו, המספרת, שהשרידים שנותרו בירושלים עלו להר הבית לקונן ולהתפלל על חורבות המקדש: "וזקנים יגיעי-כח מתאבקים באפר הר הבית ונשים אחדות מסתופפות בה, אשר השאירון השונאים בחיים להתעלל בהן בחרפה ובכלמה" (מלחמות היהודים, ספר שביעי, ח,ז).

בהמשך, יש בידנו עדויות מחכמי המשנה והתלמוד, על כניסתם ותפילתם בהר הבית. אחד המקורות המפורסמים ביותר הוא הסיפור על רבי עקיבא וחבריו המגיעים להר הבית, למרות המגבלות שהטילו הרומאים על כניסת יהודים לירושלים, כמובא במסכת מכות (כד,ב): "פעם אחת היו עולין לירושלים, כיון שהגיעו להר הצופים קרעו בגדיהם. כיון שהגיעו להר הבית, ראו שועל שיצא מבית קדשי הקדשים, התחילו הן בוכין ור"ע מצחק...".

בתנא דבי אליהו (אליהו רבה פרשה כח) מסופר על ר' צדוק ור' נתן שנכנסו להר הבית לאחר החורבן: "פעם אחת נכנס רבי צדוק לבית המקדש, וראה את בית המקדש חרב, אמר, אבי שבשמים, החרבתה את עירך ושרפת את היכלך וישבתה ושלותה ושקטתה? מיד נתנמנם רבי צדוק, וראה את הקדוש ברוך הוא שעומד בהספד, ומלאכי שרת מספידין אחריו, ואומר, הוי אמנה ירושלים. שוב פעם אחת נכנס ר' נתן לבית המקדש, ומצא בית המקדש חרב וכותל אחד עומד... עד שראה [את] הקדוש ברוך הוא שהוא שוחה וזוקף ועומד ומיליל, שוחה וזוקף ועומד ומיליל".

בנוסף, בתלמוד הירושלמי ישנו תיאור על אמוראי ארץ ישראל העולים להר הבית ואגב כך מלמדים אותנו דיני חליצת הסנדל בהר הבית ואודות המקומות שהתקדשו בקדושת הר הבית (פסחים פ"ז הי"ב): "רבי יוחנן בר מדייא בשם רבי פנחס מן מה דאנן חמיי רבנן שלחין סנדליהון תחת האגוף (=חלל הפתח) של הר הבית, הדא אמר - שלא קידשו תחת האגוף של הר הבית".

מקור נוסף נמצא בדברי רבי יהושע בן לוי בגמרא (ברכות סב,ב) – "כל הרוקק בהר הבית בזמן הזה כרוקק בבבת עינו". מכאן התייחסות ברורה, להתנהגות בזמן עליה להר הבית לאחר החורבן.

אם כן ברור ,שבתקופה זו המשיכו יהודים לעלות קרוב ככל האפשר למקום המקדש, והקפידו על זאת גם בימי חג ומועד, כפי שהעיד המדרש (שיר השירים רבה ח,ג): "אף על פי שחרב בית המקדש לא בטלו ישראל פעמי רגלים שלהם ג' פעמים בשנה".

גם לאחר כיבוש ירושלים בידי המוסלמים, יש בידנו עדויות חשובות ומיוחדות, על קיומו של בית כנסת ובית מדרש בתוך הר הבית בתקופה המוסלמית הקדומה בארץ ישראל ד'שצ"ח-ד'תתנ"ט (638-1099 למניינם).

בספר 'מגילת המגלֶה' לר' אברהם בר-חייא הנשיא, מספר ר' אברהם על המצב בהר הבית בזמנו (לאחר כיבוש ירושלים בידי הנוצרים בזמן מסעי הצלב): "מפני שהרומיים המחריבים את הבית בימי טיטוס הרשע ואף על פי שהיו מחללים את קדושתו לא היו טוענים על הבית הטהור שיש להם בו נחלה ושהוא ראוי להם לבית תפילה, אלא משנשתמד קוסטנטין הרשע באו לטעון בטענות האלה. ובתחילה כשהחריבוהו הרומיים לא היו מונעים את ישראל מלבוא אליו ולהתפלל בתוכו, וכמו כן היו מלכי ישמעאל נוהגים עמם מנהג טוב והרשו אל ישראל לבוא אל הבית ולבנות בו בית תפילה ומדרש, והיו כל גלויות ישראל הקרובים אל הבית עולים אליו בחגים ובמועדים ומתפללים בתוכו ומעמידים תפילתם כנגד תמידין ומוספין, ועל המנהג, נהגו כל ימי מלכות ישמעאל, עד שפשטה על הבית בעת הזאת מלכות אדום הרשעה והסירה את מלכות ישמעאל מעליו. ומן העת ההיא חיללו המקדש המעוז, שעשו אותו בית תפילה להם והעמידו פסלי טעותם בתוכו, והסירו התמיד, שמנעו את ישראל מלהתפלל בבית ולקיים בו מצות תפילה אשר היא כנגד התמידים, כי מיום שגברו אלו הרשעים לא הניחו ישראל לבוא בתוכו, אף איש אחד יהודי אינו נמצא בירושלים בימים האלה".

עדות נוספת על קיום מקום תפילה ליהודים, מובאת בספר חסידים (מהדורת וויסטינעצקי עמ 152), שם מובא סיפור על ר' פלטיאל שקיבל רשות מאת המלך "ובקש מן המלך לבנות בית המקדש והיה מלא אשפה מימות טיטוס הרשע... והלך וקיבץ בחורי ישראל והוא בעצמו פינהו עמהם ובנאוהו והיו מתפללים בו ימים רבים".

יש עדות נוספת גם מהיהודי הקראי סלמון בן ירוחם, הכותב על אותה תקופה בערך: "וכאשר בחסד אלהי ישראל נעתקו הרומים ממנה והופיעה מלכות ישמעאל, ניתנה הרשות לישראל להיכנס ולגור שם ונמסרו להם חצרות בית ה' והיו מתפללים שם משך שנים...".

לסיום, נזכיר מכתב שנכתב על ידי 'ראשי עדת ירושלים', שנשלח לקהילות ישראל בגולה, אשר בו מתואר מעמדם של היהודים בהר הבית בראשית ימי הכיבוש הערבי: "ומאת אלהינו הייתה זאת כי הטה עלינו חסד לפני מלכות ישמעאל, בעת אשר פשטה ידם ולכדו את ארץ הצבי מיד אדום ובאו ירושלים והיו עמהם אנשים מבני ישראל, הראו להם מקום המקדש, וישבו עמהם מאז ועד היום. והתנו עליהם תנאים כי הם [=היהודים] יכבדו את המקדש מכל גיאול, ויתפללו על שעריו, ולא יהיה ממחה בידם".

להרחבה בנושא זה, ראה מאמרו של ב"צ דינור "'בית תפילה ומדרש' ליהודים על הר הבית בימי הערבים, בתוך ספרו כתבים היסטורים כרך שני עמודים 134-170 אשר ממנו הובאו הציטוטים לעיל. שם מביא עדויות נוספות גם מפי גוים ועולי רגלים בתקופות הקדומות.

ידועה האיגרת ששלח הרמב"ם ובה סיפר על עלייתו להר הבית ועל התפילה שלו בתוכו. כך הוא כותב: "וביום שלישי בשבת, ארבעה ימים לירח מרחשון, שנת [ארבעת אלפים ותשע מאות ו]שש ועשרים ליצירה, יצאנו מעכו לעלות לירושלים תחת סכנה, ונכנסתי לבית הגדול והקדוש והתפללתי בו ביום חמישי, שישה ימים לירח מרחשון... נדרתי שיהיו לי כמו יום טוב ותפילה ושמחה בה' ואכילה ושתיה" (הובא בתוך ספר חרדים, מצוות התשובה, פרק ד; אגרות הרמב"ם הוצאת שילת עמוד רכו). וכן באיגרת תימן מזכיר הרמב"ם את הדבר: "וכאשר יצאנו מן המערב לחזות בנועם ה' ולבקר מקום קדשו". וכן באיגרת אחרת כותב הרמב"ם לר' יפת הדיין "שאני והוא ואבא מרי זצ"ל ואתה, ארבעתנו הלכנו בבית ה' ברגש..." (אגרות שם עמוד ר"ל).

הכניסה למתחם הר הבית בתקופה העות'מנית, הייתה עשויה להסתיים בעונשים כבדים ואף על פי כן נמצאו יהודים שנכנסו להתפלל, וחלקם אף נענשו על כך.

מן הבחינה ההלכתית, תשובותיו של הרדב"ז הן מקור חשוב, ואולי אף החשוב ביותר, מפני שבהן הוא עונה לשואליו הלכה למעשה, לגבי המקומות המותרים בכניסה להר הבית (שו"ת הרדב"ז, חלק ב, תרצא).

עדות מעניינת מהדור האחרון היא של ר' שמואל הורוויץ מחסידי ברסלב שבדור הקודם. ו=בספרו ימי שמואל הוא כותב את הדברים הבאים: "והלכנו כֻלנו בחיות וחשק גדול והתעוררות רב להתפלל מוסף אצל הכתל המערבי... ואחר כך הלכנו לעלות לרגל עד הר הבית, עד למקום המקדש, עד המקום שמֻתר לטמאי מתים לילך בו, ואמרנו 'ומפני חטאינו' ו'מלך רחמן', אבל הכל בעל פה, כי להביט בסדור לא היו מניחים הגוים והשמש הערבי של מקום המקדש בשום אופן... ואף על פי כן עשינו שם איזה פעמים בעלותנו לרגל רקוד גדול במעגל בנגון, והשמש הגוי הנ"ל ראה ובערה בו חמתו, אבל לא יכול לעשות כלום. ואחר כך נכנסנו למקום לשכת הגזית ששם ישבו הסנהדרין, אשר חציו בקדש וחציו בחול, וכהיום בעונותינו הרבים זה רבות בשנים שקבעו שמה הערבים את מקום בית משפטם והקאדי בראשם (=כוונתו למקום הנקרא 'מחכמה'), אבל אחר איזה שנים, אחר שחזרתי מחוץ לארץ, כבר היו סוגרים את לשכת הגזית ולא מניחים את היהודים להכנס. וכן אחר כך התחילו גם למנע מלגשת עד מקום המקדש לעלות לרגל והיו מניחים רק לעמד מרחוק, ואחר כך מנעו גם את זאת, ומאז התחילו להפסיק לילך לעלות לרגל למקום המקדש וזה כמה שנים שלא הולכים יהודים לשם כלל, רק היו הולכים לכתל המערבי להתפלל מוסף... (ראה המעיין, ניסן תשע"ד, 'עדות מוקדמת ועדות מאוחרת לנוכחות יהודית בהר הבית', הראל דביר).

מכלל הדברים עולה, שככל שהיה ניתן, יהודים ניסו ואף עלו לרגל להר הבית במשך הדורות במקומות המותרים, כדי להתפלל שם.