Desa Penggarit terbentuk setelah tahun 1730. Waktu itu jumlah penduduk masih sedikit, hanya beberapa puluh orang yang tinggal di wilayah itu.
Di sebelah selatan wilayah kedua desa tersebut terdapat sebuah makam leluhur Mbah Buyut Jamur Apu dan Pangeran Benowo, wilayah itu disebut Candi Jamban Ndalem.
Saat itu masih dikuasai oleh seorang tokoh dari Desa Pegongsoran bernama Kyai Martoloyo. Sementara untuk wilayah Siber dan Sirandu dikuasai oleh Kyai Martojoyo. Kedua tokoh tersebut, setiap harinya bertengkar dan berkelahi dari pagi hingga sore memperebutkan Candi Jamban Ndalem hingga keduanya mengalami luka-luka yang cukup parah namun setelah keduanya mandi di Sungai Jamban Ndalem, maka seluruh luka-lukanya akan sembuh. Begitu seterusnya hingga Adipati Pemalang pada saat itu (Kanjeng Sawergi) mengetahui dan mengadakan sayembara untuk memperebutkan wilayah tersebut. Kanjeng Sawergi selanjutnya mengumpulkan warga dari kedua desa tersebut.
Pada hari Jum’at Kliwon dalam penanggalan jawa bulan Aji tanggal 15 tahun Alif, digelar sayembara “Adu Silem”, yaitu menyelam dalam Sungai Jamban Ndalem. Segala perlengkapan sayembara dipersiapkan antara lain meminjam gamelan Lokananta dari Cirebon yang konon pada waktu itu gamelan tersebut bisa berbunyi sendiri tanpa ditabuh untuk mengiringi kedua tokoh dalam Adu Silem. Para panitia (dahulu disebut upas-upas) membuat Ajir (Galah) sepanjang 5 meter sebanyak 2 batang kemudian ditancapkan di tengah (kedhung) Jamban Ndalem. Seluruh masyarakat dan pejabat di Kadipaten Pemalang berkumpul di suatu tempat yang disebut Rengas Doyong untuk menyaksikan acara Adu Silem dua tokoh tersebut. Adu Silem dimulai jam 8 tepat. Kyai Martoloyo dan Martojoyo turun ke Sungai Jamban Ndalem menuju pada Ajir (Galah) yang sudah ditancapkan sesuai dengan posisi masing-masing. Pada jam 12 Kyai Martoloyo yang mewakili Pegongsoran muncul ke permukaan.
Rakyatpun bersorak kemudian pada jam 2 (lingsir) lebih 6 menit, Kyai Martojoyo dari wilayah Sirandu dan Siber muncul ke permukaan. Rakyatpun bersorak sekaligus menyambut kemenangan Kyai Martojoyo yang menyelam lebih lama. Selanjutnya, Kanjeng Sawergi dan Kanjeng Pontang (Wedana Pemalang) mencabut keris Sitapak dan Simongklang kemudian menorehkan (Nggarit) di dahan (Pang) pohon Kesambi sebagai pertanda bahwa wilayah Candi Jamban Ndalem masuk dalam wilayah Sirandu dan Siber, selanjutnya wilayah tersebut dinamakan Desa Panggarit (Pang sing digarit) kemudian disebut Penggarit.
Di sebelah selatan wilayah kedua desa tersebut terdapat sebuah makam leluhur Mbah Buyut Jamur Apu dan Pangeran Benowo, wilayah itu disebut Candi Jamban Ndalem.
Saat itu masih dikuasai oleh seorang tokoh dari Desa Pegongsoran bernama Kyai Martoloyo. Sementara untuk wilayah Siber dan Sirandu dikuasai oleh Kyai Martojoyo. Kedua tokoh tersebut, setiap harinya bertengkar dan berkelahi dari pagi hingga sore memperebutkan Candi Jamban Ndalem hingga keduanya mengalami luka-luka yang cukup parah namun setelah keduanya mandi di Sungai Jamban Ndalem, maka seluruh luka-lukanya akan sembuh. Begitu seterusnya hingga Adipati Pemalang pada saat itu (Kanjeng Sawergi) mengetahui dan mengadakan sayembara untuk memperebutkan wilayah tersebut. Kanjeng Sawergi selanjutnya mengumpulkan warga dari kedua desa tersebut.
Pada hari Jum’at Kliwon dalam penanggalan jawa bulan Aji tanggal 15 tahun Alif, digelar sayembara “Adu Silem”, yaitu menyelam dalam Sungai Jamban Ndalem. Segala perlengkapan sayembara dipersiapkan antara lain meminjam gamelan Lokananta dari Cirebon yang konon pada waktu itu gamelan tersebut bisa berbunyi sendiri tanpa ditabuh untuk mengiringi kedua tokoh dalam Adu Silem. Para panitia (dahulu disebut upas-upas) membuat Ajir (Galah) sepanjang 5 meter sebanyak 2 batang kemudian ditancapkan di tengah (kedhung) Jamban Ndalem. Seluruh masyarakat dan pejabat di Kadipaten Pemalang berkumpul di suatu tempat yang disebut Rengas Doyong untuk menyaksikan acara Adu Silem dua tokoh tersebut. Adu Silem dimulai jam 8 tepat. Kyai Martoloyo dan Martojoyo turun ke Sungai Jamban Ndalem menuju pada Ajir (Galah) yang sudah ditancapkan sesuai dengan posisi masing-masing. Pada jam 12 Kyai Martoloyo yang mewakili Pegongsoran muncul ke permukaan.
Rakyatpun bersorak kemudian pada jam 2 (lingsir) lebih 6 menit, Kyai Martojoyo dari wilayah Sirandu dan Siber muncul ke permukaan. Rakyatpun bersorak sekaligus menyambut kemenangan Kyai Martojoyo yang menyelam lebih lama. Selanjutnya, Kanjeng Sawergi dan Kanjeng Pontang (Wedana Pemalang) mencabut keris Sitapak dan Simongklang kemudian menorehkan (Nggarit) di dahan (Pang) pohon Kesambi sebagai pertanda bahwa wilayah Candi Jamban Ndalem masuk dalam wilayah Sirandu dan Siber, selanjutnya wilayah tersebut dinamakan Desa Panggarit (Pang sing digarit) kemudian disebut Penggarit.