Suatu saat Abdullah bin Rawahah tiba-tiba saja menangis, melihat keadaan itu istrinya ikut menangis, iapun bertanya kepada istrinya, "Mengapa engkau ikut menangis?"
"Apa yang menyebabkan engkau menangis, itulah yang membuatku ikut menangis." Kata istrinya.
Mendengar jawaban itu, Abdullah berkata, "Ketika aku ingat, bahwa aku akan menyeberangi neraka melalui shirat, aku tidak tahu apakah aku akan selamat atau akan celaka?"
Ketika Rasulullah SAW mempersiapkan pasukan ke Mu'tah, Beliau berpesan bahwa pimpinan pasukan adalah Zaid bin Haritsah, jika ia gugur penggantinya adalah Ja'far bin Abu Thalib, dan jika Ja'far gugur penggantinya adalah Abdullah bin Rawahah.
Saat itu hari jum'at, saat pasukan telah berangkat, Ibnu Rawahah tidak ikut serta karena ingin shalat jum'at dahulu bersama Rasulullah SAW, baru setelah itu ia akan menyusul. Usai shalat jum'at, ketika Nabi SAW melihat Ibnu Rawahah, Beliau bertanya, "Apa yang menghalangimu untuk berangkat pagi-pagi bersama sahabat-sahabatmu?"
Ibnu Rawahah menjelaskan kalau masih ingin shalat jum'at bersama Beliau, tetapi justru Nabi SAW mencela sikapnya itu. Beliau bersabda, "Jika engkau mampu bersedekah dengan semua yang ada di muka bumi, tentu engkau tidak akan mencapai pahala yang mereka peroleh sejak pagi ini!"
Mendengar teguran Nabi SAW tersebut, Ibnu Rawahah segera memacu tunggangannya menyusul induk pasukan yang telah berangkat, dan langsung bergabung dengan mereka.
Ketika pasukan muslim telah berkemah di Maan, mereka memperoleh berita bahwa Hiraqla (Hiraklius) juga telah berkemah di Maab, di wilayah Balqa, dengan seratus ribu pasukannya, ditambah dengan seratus ribu pasukan dari para sekutunya. Sementara pasukan muslim hanya sekitar tiga ribu orang. Beberapa sahabat mengusulkan untuk mengirimkan surat kepada Nabi SAW tentang jumlah musuh yang harus mereka hadapi, sehingga beliau akan menambah jumlah pasukan, atau beliau akan memberi perintah lain.
Mendengar usulan tersebut, Abdullah bin Rawahah berkata, "Wahai sahabat-sahabatku, Demi Allah, sesungguhnya apa yang kalian tidak suka, itulah yang sebenarnya kita cari, yakni kesyahidan. Kita memerangi musuh tidak karena jumlah dan kekuatan mereka, tetapi karena agama ini yang dengannya Allah telah memuliakan kita. Marilah...sesungguhnya apapun akhirnya hanya kebaikan bagi kita, kemenangan atau kesyahidan…"
Sebagian besar sahabat membenarkan pendapat Ibnu Rawahah, mereka bergerak mendekati posisi pasukan Romawi yang kemudian bertemu di daerah Mu'tah. Pertempuran tidak berimbang terjadi dengan sengitnya, tetapi itu tidak mengurangi semangat pasukan muslim untuk terus berjuang. Zaid gugur, panji diambil Ja'far bin Abu Thalib. Ketika Ja'far juga gugur, Abdullah bin Rawahah mengambil alih panji tersebut dan meneruskan pertempuran. Ia bergerak sambil bersyair untuk menyemangati diri dan anggota pasukannya.
Ketika pertempuran terhenti sejenak, seorang lelaki dari bani Murrah bin Auf mendekatinya dan memberikan sepotong tulang berdaging, sambil berkata, "Kuatkanlah punggungmu dengan daging ini, karena engkau telah mengalami kelaparan hari-hari ini..!"
Ibnu Rawahah memakan sedikit dagingnya, kemudian terdengar suara menderu pertanda adanya serangan. Ia berseru, "Sesungguhnya engkau hanyalah dunia…"
Ia mencampakkan daging tersebut dan mengambil pedangnya kemudian berperang menghadang serangan musuh sehingga ia menemui syahidnya.
Tiga orang panglima perang yang ditunjuk Rasulullah SAW telah gugur. Sempat terjadi kebingungan dan hampir saja pasukan muslim ditumpas habis oleh pasukan Romawi. Kemudian komando pasukan diserahkan kepada Khalid bin Walid atas persetujuan dan kesepakatan para sahabat yang lebih senior dalam keislaman. Ketika itu Khalid bin Walid memang baru memeluk Islam. Dengan strategi dan keahliannya memimpin pasukan, ia berhasil lolos dari kepungan pasukan Romawi dan terhindar dari kemusnahan total (terbunuh semua).
