ولد اليدومي في تعز عام 1947 وتخرج من أكاديمية الشرطة في مصر عام 1973، حيث عمل بعدها ضابطا في الأمن العام، ثم الأمن السياسي أو جهاز الاستخبارات، وتولى مناصب ومسؤوليات رفيعة، كما ترقى في الرتب العسكرية حتى وصل إلى رتبة عقيد وحصل على ليسانس الآداب قسم التاريخ من جامعة صنعاء أثناء عمله بجهاز الأمن، وفي العام 1984 جمد عمله في جهاز الأمن السياسي.
أسس عام 1985 جريدة "الصحوة" التي تعتبر لسان حال الحركة الإسلامية في اليمن، وترأس تحريرها حتى العام 1994، انتخب أمينا عاما مساعدا للتجمع اليمني للإصلاح بعد إعلان قيامه عام 1990، وفي العام 1994 انتخب أمينا عاما ومازال حتى الآن.