מרי שלום שרעבי נולד בישוב מעראץ שבמחוז ירים בתחילת המאה העשרים. הוא שימש רב העיר מעראץ, עיר שמנתה כמאה משפחות יהודיות, ולהם ארבעה בתי כנסת: שלושה של משפחת עאשרי, והרביעית של משפחת שלמה. הישוב היה במרחק של שעתיים וחצי הליכה בערך מעיר המחוז ירים. יהודי הקהילה התפרנסו מגידול קפה, קאת ובננות, וכולם עסקו גם באריגה. חיי היהודים בישוב היו שקטים וטובים, ויחסים רגועים היו עם השלטון המוסלמי. היו יתומים, והמוסלמים לא ניסו ללכוד אותם ולאסלמם, כפי שהיה ברוב הישובים בתימן.
הוא שימש רב עיר בשנים שלפני העלייה הגדולה לארץ, וסייע בידו העאקל ר' ישראל בן מרי יהודה עאשרי.
