מרי מרדכי בן יהודה שרעבי נולד במחוז שרעב בשנת תרס"ח (1908) או בשנת תרע"ב (1912). התייתם מאביו בילדותו, ומרי חיים סנואני, גדול מקובלי דרום תימן בדור העלייה לארץ, אימץ אותו כבן ושימש לו לרב. הוא הבחין במעלותיו וסגולותיו ויחד עסקו ולמדו בתורת הקבלה. בהמשך למד גם אצל מרי משומר שמואל נסים, מרבני העיר עדן. סבו הוא מרי יפת אברהם תעיזי, אשר חיבר שיר ארוך על המשכן בשרעב.
עלה לארץ ישראל בשנת תרצ...