Gripandet i går ska ha beordrats av kuppledaren Amadou Sanogo.
Premiärministern greps av ett 20-tal soldater som kom från en militärförläggning utanför Bamako.
Cheick Modibo Diarra meddelade ett par timmar efter att han gripits av soldater, att han avgår.
Han meddelade sin avgång i ett uttalande som sändes i den statliga televisionen tidigt morgonen, enligt Alassane Souleymane, på tv-bolaget.
Diarra utsågs i april till att försöka återupprätta ordningen i landet efter militärkuppen mot president Amadou Toumani Touré.
Säkerhetsstyrkor grep honom när han försökte lämna landet och resa till Frankrike, uppgav en militärtalesman.
– Han ville lämna landet efter att ha ställt till problem, sade Bakary Mariko, talesperson för den grupp militärer som tog makten i en kupp i mars.