Bersama Mahfudz Siddiq dan Thohir Bakri, Abdullah Ubaid tercatat sebagai pendiri Gerakan Pemuda Ansor (GP Ansor). Organisasi tersebut semula bernama Syubbanul Wathan yang didirikan pada tahun 1924. Kemudian pada tahun 1932 berubah menjadi BANO (Barisan Ansor Nahdlatul Oelama), yang kemudian menjadi ANO (Ansor Nahdlatul Oelama), dan seterusnya GP(Gerakan Pemuda) Ansor, hingga sekarang.