תפקידי הכהן הגדול מחוץ למקדש

מדוע אמרו חז"ל על פנחס: 'ראה מעשה - ונזכר הלכה'? הרי גם משה ראה בדיוק את אותו מעשה כמו פנחס, שהרי אליו ניגש זמרי באמרו: 'בן עמרם! זו מותרת או אסורה', ולמה לא עשה דבר?'