Sejarah pembentukan KSPI tak lepas dari dinamika yang terjadi dalam tubuh SPSI pasca 1998. Sejak terbitnya Kepmenaker no 5 tahun 1998 tentang pendaftaran serikat pekerja, banyak SP/SB yang berdiri di Indonesia. Hal tersebut akhirnya menimbulkan kekhawatiran di kalangan pengurus SPSI. Di sisi lain, para pengurus SPSI mulai mempertanyakan bentuk organisasi mereka; yang berbentuk Federasi tetapi kedaulatan tertinggi di tangan anggota, yaitu orang-orang.

Kemudian Presiden Habibie meratifikasi Konvensi ILO no 87 tentang Kebebasan berorganisasi. Hal itulah yang mendorong terbentuknya SPSI Reformasi. Di awal pembentukannya, SPSI Reformasi didukung oleh 13 Serikat Pekerja Anggota (SPA). Pembentukan SPSI Reformasi ini didukung oleh ICFTU.

Sejak tahun 2000, ada upaya untuk menyatukan SP/SB tapi pada saat yang sama tidak menghalangi kebebasan untuk membentuk serikat pekerja/ serikat buruh. Pada tahun 2001 kembali diadakan seminar untuk mematangkan gagasan ini, dengan dukungan dari ICFTU, tetapi mulai timbul perbedaan pendapat antara para pengurus SP/SB. Pada tahun 2002 diadakan seminar lagi dengan dihadiri oleh 35 SP/SB yang disepakati untuk membentuk Tim Panitia yang bertugas merumuskan pokok-pokok pikiran mengenai ‘wadah’ yang hendak dibangun.

Hingga 3 bulan sejak pembentukannya, tim ini tidak berjalan seperti yang diharapkan. Kemudian dibentuk tim baru yang disebut Komite Serikat Pekerja Indonesia (KSPI) yang dipimpin oleh Sjaeful DP (FSP KEP). Tim ini, selain berhasil merumuskan pokok-pokok pikiran untuk menyatukan SP/SB juga menyiapkan pertemuan untuk membentuk KSPI dalam Konvensi.

Akhirnya pada 1 Februari 2003, diadakan Kongres pertama pembentukan KSPI di Wisma Kinasih Bogor dan disepakati terbentuknya Kongres Serikat Pekerja Indonesia. Presiden pertama KSPI adalah Rustam Aksan dan Sekjennya Rindorindo.

KSPI memiliki tujuan yang tertuang dalam Pasal 7 Anggaran Dasar KSPI, yakni:

1) Terhimpunnya federasi-federasi serikat pekerja dan terciptanya kesetiakawanan serta tali persahabatan diantara sesama serikat pekerja, baik secara nasional maupun secara internasional.

2) Terciptanya KSPI dan afiliasi yang sehat, kuat, demokratis, independen, professional dan bertanggungjawab.

3) Terciptanya penegakan hukum dan perlindungan HAM di dalam seluruh kehidupan bermasyarakat, berbangsa dan bernegara, khususnya di bidang ketenagakerjaan.

4) Terciptanya keadilan sosial dan kesejahteraan bagi pekerja khususnya serta rakyat Indonesia pada umumnya, dengan mengaktualisasikan perintah Konstitusi, khususnya Pasal 27, Pasal 28 D ayat (1) dan ayat (2), Pasal 28H ayat (3) dan Pasal 33 ayat (1) Amandemen Keempat UUD 1945. (5) Terciptanya kehidupan dan penghidupan dan demokratis dan berkeadilan dalam hubungan industrial dengan membela serta melindungi hak dan kepentingan afiliasi.