SMP Negeri 254 dibangun mulai tahun 1986. Bulan Juli 1987, sekolah yang pada awalnya dinamai SMP Negeri Baru Jagakarsa ini menerima siswa untuk kali pertama, sebanyak 9 kelas. Kepala Sekolah yang pertama kali adalah Bapak H. Muhamad Ali, BA.
Bapak-Ibu guru yang mengajar di sekolah ini pada masa itu masih sangat sedikit. Akibatnya, beberapa guru harus mengajar untuk beberapa Mata Pelajaran. Beberapa guru yang mengawali sejarah pendidikan di SMP ini antara lain Ibu Hj. Relia T. Handayani, Pak Khoirudin, Pak Riman Sudin (kini sudah pensiun), Ibu Fiolenta L.G., Pak Rassono P, BA, Pak Bistok, Pak Bambang Suwarso, BA (kini telah pensiun), Pak Adhi Sutanto, dan sebagainya. Para perintis ini yang dengan dedikasi tinggi dan sarana dan prasarana yang belum memadai, bekerja keras menancapkan tonggak keberadaan sekolah kita.
Seiring perjalanan waktu SMP Baru ini kian tumbuh dan berkembang dan mulai unjuk prestasi. Prestasi fenomenal di awal keberadaannya adalah berhasil menjadi pesaing kuat untuk SMP 41yang saat itu selalu menjadi langganan juara dalam lomba Tata Upacara Bendera. Bahkan akhirnya bisa mengunggulinya. Awal tahun 1989, SMP Negeri Baru Jagakarsa mendapat nomor resmi. Maka berubahlah namanya menjadi SMP Negeri 254 Jakarta. Guru-guru baru pun mulai didatangkan untuk memenuhi kebutuhan kegiatan belajar. Guru-guru yang pada umumnya merupakan tenaga muda ini dengan penuh semangat semakin menghidupkan dan menghembuskan kejayaan SMP 254 . Pak Jalaseno , Bu Rini, Bu Elva, dll berkibar dengan ekstrakurikuler Pramuka yang dikembangkannya, Pak Bambang Suwarso dan Pak Khoirudin dengan ekstrakurikuler lPaskibra yang sangat diandalkan. Pak Jaenudin dengan PMR-nya, dan segenap guru dan karyawan terus membangun 254 dengan dedikasinya.
Untuk keperluan Ibadah, didirikanlah sebuah Mushola yang kemudian diresmikan oleh Bapak H. Muhamad Ali selaku kepala sekolah pada tahun 1992. Tak lama setelah itu, terjadilah alih kepemimpinan. Pak Haji Muhamad Ali BA yang sangat dicintai dan dihormati ini berpindah tugas ke SMP 86 Jakarta. Sebagai penggantinya adalah Pak Tedjo dari SMP 239 Jakarta. Maka sejak tahun 1992, dengan dibantu oleh Pak Bambang Suwarso sebagai Wakil Kepala Sekolah bidang Kesiswaan, Pak Rassono BA sebagai Wakil Kepala Sekolah bidang Kurikulum, dan Bu Ratna Komala BA sebagai Wakil Kepala Sekolah bidang Sarana Prasarana, Pak Tedjo yang gagah ini memimpin SMP 254.
Dengan berjalannya waktu , semakin banyak prestasi yang terus berhasil diraih SMP 254. Bapak –Ibu gurunya pun silih berganti, datang dan pergi. Tahun 1995 Pak Bambang Suwarso yang memprakarsai berdirinya ekstrakurikulerl wajib Komputer, meninggalkan SMP 254 karena menjadi Kepala SMP 275. Demikian juga Ibu Ratna Komala yang menjadi Kepala SMP 245 Jakarta. Tugas beliau sebawai Wakil Kepala Sekolah kemudian digantikan oleh Bapak Drs. Zaenudin dan Bapak Drs. Ahmad Zen . Pada puncak kepemimpinan Pak Tedjo inilah sekolah kita berhasil meraih prestasi yang sampai kini belum bisa disamai, yakni Juara Kompetisi Matematika se-Jagakarsa atas nama Maemunah Nurmayasari tahun 1995/1996.
Karena prestasi tingginya, pada tahun 1996 Pak Tedjo berpindah tugas sebagai Kepala Sekolah di SMP Unggulan yaitu SMP 41 Jakarta. Dan sebagai penggantinya adalah Bapak H. Relly Satria Dani. Pak Relly ini sebelumnya menjadi Kepala SMP 55.
Walaupun sepeninggalan Pak Tedjo sekolah kita harus kita akui sedikit lesu darah, namun tidak menyurutkan para siswa untuk tetap berprestasi meski lebih cenderung ke arah non akademis. Berderet Piala Kemenangan terus memenuhi lemari sekolah kita. Atletik dan Sepakbola serta bidang lain seperti tak sabar untuk terus mengisi ruang rak piala. PS 254, begitu nama tim Sepakbola SMP 254 begitu berjaya, disegani, dan ditakuti. Mereka sulit dikalahkan. Prestasi tingkat Kodya, Provinsi, bahkan Jabotabek sudah direngkuh. Belum lagi yang berbentuk turnamen regional dan invitasi. Atletik pun tak mau ketinggalan. Dan Jadilah SMP 254 sebagai penyumbang Atlet sepakbola dan atletik untuk DKI Jakarta. Pada tahun 2000 terbitlah Majalah Sekolah ” Prestasi ”, atas Prakarsa Pak Sri Santoso. Seebelumnya pernah ada Majalah ” Derap” namun tidak berkembang. Kini ” Prestasi” berkembang menjadi majalah sekolah terbaik di Kecamatan, dibawah bimbingan Pak Worro Sudarmo.
Awal tahun pelajaran 2003-2004, SMP 254 mengalami rotasi Wakil Kepala Sekolah. Pak Sri Santoso, S.Pd dan Ibu Dra. Stp. Sri Wuryanti menggantikan Pak Ahmad Zen dan Pak Rassono. Dan beberapa bulan setelah memasuki tahun pelajaran 2003-2004, tepatnya bulan Agustus 2004, Pak Haji Relly Satria Dani memasuki masa purnabhakti/pensiun. Sempat terjadi kekosongan Kepala sekolah sekitar 3 bulan. Pimpinan sekolah pun digantikan oleh Pak Drs.H. Gimaniyanto M.S. Pak Gik, begitu sapaan akrab beliau sebelumnya adalah Kepala SMP 235 Pesanggrahan.
Di bawah pimpinan Pak Gik, SMP N 254 mengalami banyak perubahan. Walaupun hanya tiga tahun setengah, namun banyak hal yang berubah. Antara lain SMP 254 menjadi terlihat tampak cerah dan hijau. Bisa dikatakan sebagai “Tiga Tahun yang Mencerahkan” . Banyak fasilitas sekolah baru yang muncul. Antara lain Laboratorium Bahasa, ruang OSIS, ruang PMR, ruang redaksi Buletin, Kantin yang lebih nyaman-rapi-dan bersih, Gapura gerbang masuk SMP, parkir sepeda motor, taman, dan lain-lain. Dibidang olah raga, jaman nya Pak Gimaniyanto ini, punya prestasi yang sangat membanggakan : Juara Bola Voley 1 tingkat provinsi DKI Jakarta, sehingga mengikuti Porseni Nasional di Yogyakarta. Para atlet Bola Voley diantaranya : Arthur, Wayan dll.
November 2006, Pak Gimaniyanto yang tak pernah tampak marah dan sangat ke-Bapak-an dalam memimpin ini purnabhakti / pensiun. Penggantinya tidak segera ada. Oleh karena itu untuk menunggu Kepala Sekolah yang baru, SMP N 254 untuk sementara dipimpin oleh Pejabat Pelaksana Harian (PLH), yakni Bapak. Sukarmo S.Pd. Beliau adalah Kepala SMP Negeri 166.
Hanya dua bulan Pak Karmo menjabat sebagai PLH di SMP N 254. Sebab, pada bulan Februari 2007, hadirlah Kepala SMP N 254 yang baru. Ibu Dra. Hj. Ernawati, M.Pd,. Ibu Kepala Sekolah yang energik ini semula bertugas di SMP Negeri 273 Jakarta Pusat. Inilah Kepala Sekolah Wanita untuk yang pertama bagi SMP N 254. Bu Erna melanjutkan Program Pembangunan Fisik dan non fisik yang sudah diprogramkan Kepala sekolah sebelumnya. Diantara hasil yang nyata adalah: Laboratorium Bahasa makin lengkap, Aula diperindah dan dilengkapi alat band/ musik, Kamar mandi sangat bagus, dan taman yang makin indah.
Pada awal tahun pelajaran kepemimpinan Bu Erna (Tahun Pelajaran 2007-2008), terjadi penyegaran jajaran staf dan wakil. Wakil Kepala Sekolah yang semua berjumlah 3, dirampingkan menjadi 1. Wakil Kepala Sekolah dijabat oleh Bapak Urip Rohudi, S.Pd. Sedangkan Staf sebanyak 4 orang, yaitu Ibu Dra. Stephanie Sri Wuryanti (Staf Kurikulum), Bapak Jala Seno, S.Pd (Staf Kurikulum), Bu Prasetyaningsih, S.Pd (Staf Kesiswaan), dan Dra. Hj. Nina Ratna Nawangsih (Staf Sarana dan Prasarana). Dan sebagai Pembina OSIS adalah Ibu Sri Aisah, S.Pd. Namun pada awal semester genap , terjadi sedikit perubahan. Karena Ibu Dra. Hj. Nina Ratna Nawangsih sedang menempuh pendidikan S.2, maka beliau mengundurkan diri.dan sebagai penggantinya diangkatlah Ibu Sri Aisah, S.Pd untuk melanjutkan tugas bidang Sarana dan Prasarana. Sedangkan sebagai Pembina OSIS diangkatlah Bapak Worro Sudarmo, S.Pd. Selain itu, tenaga untuk menangani kurikulum juga ditambah. Bapak Sri Santoso, S.Pd kembali untuk membantu menanggani bidang Kurikulum. Dengan adanya Pak Sri, maka SMP N 254 memiliki 3 staf Kurikulum.
Satu hal yang tak mungkin terlupakan adalah beberapa bulan setelah memasuki semester pertama Tahun pelajaran 2007-2008, SMP N 254 kehilangan Guru terbaiknya. Bapak Drs. Zaenudin, yang sangat diandalkan, berpulang ke rahmatullah di tempat tugas tercintanya. Kamis, 8 November 2007, keluarga besar SMP N 254 berkabung. Sebelumnya pada tanggal 21 April 2006, SMPN 254 juga kehilangan salah satu gurunya, yaitu Bapak Agus Wijanarko M.Pd, karena sakit beberapa waktu. Tak berapa lama, terjadi rotasi staff dimana Pak Sri Santoso kembali menjabat Wakil Kepala Sekolah. Kenangan dimasa Bu Erna adalah peringkat UN SMPN 254 naik, dari yang biasanya peringkat 9 atau 10 menjadi peringkat 5 Kecamatan.
Pada Februari 2010, Bu Erna pindah ke SMPN 85 dan diganti oleh Pak Sunarno MPd, dari SMPN 110. Pada masa Pak Sunarno, tercatat prestasi akademik yang mengagumkan : Andromeda Al Fajri, berhasil menempati peringkat 18 Kompetisi Matematika tingkat Provinsi DKI Jakarta pada tahun 2010. Tak lama kemudian karena masa Jabatan Pak Sri Santoso habis, maka terjadilah pergantian jajaran pimpinan: Pak Urip Rohudi S.Pd sbg Wakil Kepala Sekolah, dibantu Staf Kurikulum : Bu Sri Aisah M.Pd dan Pak Jalaseno serta Staf kesiswaan Pak Jaenudin. Pada November 2013 Pak Sunarno, pindah ke SMP 124 dan diganti Pak Sumardi, dari SMP 153. Pak Sumardi tidak lama menjabat di SMP 254, hanya 1 tahun 2 bulan, lalu pada januari 2015 diganti oleh Ibu Dra, Sri Sukanti, MM, pindahan dari SMP 253. Pada bulan Juni 2015 diadakan penyegaran staff, dimana Bu Sri Sukanti, didampingi oleh Wakil kepala Sekolah bidang Kurikulum : Sri Aisah MPd, Wakasek Bid Kesiswaan : Sri Santoso S.Pd dan wakasek Bid sarpras/ Humas : Urip Rohudi S.Pd. Sementara Ibu Stephanie diangkat menjadi Kepala SMPN 242 Jakarta, serta ibu Farihah, diangkat menjadi Kepala SMPN 101 Palmerah. Pada masa bu Sri Sukanti ini, terjadi rotasi guru oleh Dinas Pendidikan DKI Jakarta pada tahun 2015. Bu Zuhrianah dan Bu Erlinda yang sudah mengajar 27 tahun dipindah ke SMPN 166. Satu Semseter kemudian, tahuan 2016 terjadi lagi rotasi, dimana Pak Sugeng dipindah ke SMPN 239, Bu Martini KJ ke SMP 253 , Pak Suraji dan Bu Nina Ratna Nawangsih ke SMP 166. Semester berikutnya terjadi lagi rotasi, dimana ibu Isnaini di rotasi ke SMPN 98, Bu Prasetyaningsih dan Bu Tri Wahyu Pratiwi ke SMPN 253. Pada masa bu Sri Sukanti, beliau berhasil mendapatkan bantuan tambahan 1 ruang kelas baru di lantai 3, serta membuat tangga lantai 3 utara. Di masa bu Sri Sukanti, peringkat SMPN 254 kembali naik menajdi peringkat 5 Kecamatan. Dimasa Bu Kanti ini juga, Pak Sri Santoso membentuk eks kul baru : Karawitan atau gemelan Jawa,Bu Sri Sukanti sendiri, akhirnya selesai masa Jabatannya pada 31 Desember 2016 dan pindah ke SMPN 166. Pak Afrisyaf Amir, M.Pd, Kepala SMPN 41 menggantikan Bu Sri Sukanti di SMP 254. Sementara Pak Urip Rohudi diangkat menjadi Kepala SMPN 79 Kemayoran. Sebagai gantinya dipilihlah ibu Dra. Tarsini sebagai Wakasek bidang Sarana Prasarana. Pada masa Pak Afrisyaf, kita membangun , lapangan parkir sepeda serta perluasan aula, sehingga luas aula menjadi 2,5 kali luas semula. Prestasi non akademiknya diantaranya : Juara 1 Lomba PMR DKI Jakarta. Prestasi akademiknya, menempati peringkat 94 dari 320 SMPN dan SMPN terbuka di DKI Jakarta. Satu setengah tahun tidak ada rotasi , kembali SMPN 254 Jakarta ditinggal guru guru terbaiknya karena harus pindah. Pak Budi Mulyono pindah ke SMPN 239 Jakarta, Bu Elvi ke SMPN 98, Pak Worro yang kreatif pindah ke SMPN 276. Semeseter berikutnya giliran Bu Sulisti dimutasi ke SMPN 98.Sebagian guru guru yang merintis SMPN 254 sudah pensiun diantaranya: Pak Bambang, Bu Ratna Komala, Pak Adhi Sutanto,Pak Maman, Pak Ramlan Tamba, Pak Adhi Sutanto,, Pak Riman Sudin, Bu Hj Relia, bu Sri Suharmi dan bu Susdiasih. Sebagian pindah ke luar Propinsi: Pak Slamet Triyanto, di Kebumen, Bu Rini Widyastuti ke Cilacap. Sebagian lagi sudah almarhum : Pak Zaenudin, Pak Agus Wijanarko, Pak Rassono, Bu Hj Maryam, Pak H. Muhammad Ali , Pak Khoirudin dan ibu Nurul Miftahul Jannah. Semoga beliau beliau diterima disisi Nya dan ditempatkan yang layak sesuai dengan amalnya. Amien
Pada Okober 2018 Pak Afrisaf Amir, selesai masa baktinya di SMPN 254 dan beliau digantikan oleh Bapak Marlan Kasni, MS, Kepala SMPN 73. Pak Marlan dulunya guru SMPN 41 Jakarta. Sedang gencar gencarnya membangun,pada Juli 2019 Pak Marlan dimutasi ke SMPN 68, dan beliau digantikan oleh Drs. Wawang Darmawan M.Pd, dari SMPN 96 Pondok Labu. Jadi Pak Marlan hanya menjabat 10 bulan, Kepala Sekolah tersingkat di SMPN 254 Jakarta. Dibawah pimpinan Pak Marlan SMPN 254 kembali menduduki peringkat 5 dari 10 SMPN di Jagakarsa , serta perinhgkat 89 dari sekitar 300 SMPN dan MTSn di DKI Jakarta.
Sepeninggalan Pak Marlan Kasni, SMP negeri 254 Jakarta dipimpin oleh Drs. Wawang Dharmawan,M.Pd, dibantu Wakasek bidang Kesiswaan : Bapak Sri Santoso S.Pd, Wakasek Bidang Kurikulum : Ibu Sri Aisah M.Pd , Wakasek Bidang Sarana Prasarana Dra. Tarsini, serta oleh para staff : Ibu Elvi Indrawati, MPd ( Staf Kesiswaan), Pak Dirawnto,ST , Pak Hidayat ( staf Kurikulum) dan Pak Abidin Ismail S.Pd ( Staf Sarana Prasarana).
Pada tanggal 1 Januar 2021 Pak Wawang memasuki masa pensiun dan beliau digantikan oleh Pak Jarwoto sebagai PLT, yang mana pak Jarwoto adalah kepala SMP 98 Lenteng Agung. Pada tanggal 2 September 2021 , Pak Jarwoto digantikan oleh Bapak Suryoto, MM, pindahan dari SMP 160 Cipayung, Jakarta Timur . Pak Suryoto awalnya mengajar olahraga di SMP 212 Cilandak.
Dengan guru sebanyak 43 orang yang sebagian besar Sarjana Pendidikan dan sebagian Master Pendidikan serta didukung gedung megah, peralatan peralatan yang lengkap , dan tentunya semangat yang tetap menyala, SMP 254 menyongsong masa depan yang cerah menghantarkan generasi bangsa ke pintu sukses masa depan.