Serj Tankian ja Daron Malakian perustivat yhtyeen nimeltä Soil. He pyysivät Shavo Odadjiania yhtyeen tuottajaksi, mutta koska Shavo oli myös kitaristi, otettiin hänet mukaan yhtyeen soittajaksi.Hän alkoi soittaa bassoa, koska yhtye ei tarvinnut kahta kitaristia. Pian yhtye tapasi Andy Khachaturianin (nyk. laulajana VoKEE:ssa), ja hänestä tuli yhtyeen rumpali vuosiksi 1995-1997. Yhtye vaihtoi pian nimensä uuteen Victims of a Down Daronin runon mukaan. Shavonin toiveesta yhtyeen nimi kuitenkin muutettiin nykyiseen muotoonsa eli System of a Down.lähde? 1997 Serj, Daron ja Shavo tutustuivat John Dolmayaniin, josta tuli yhtyeen uusi rumpali.
Vuonna 1998 yhtye julkaisi ensimmäisen albuminsa System of a Down. Albumi menestyi hyvin ja jätti kovat paineet pojille heidän tehdessä uutta levyä, jotta uudesta tulisi vanhan veroinen. Kolme vuotta myöhemmin, 2001 yhtyeen toinen levy Toxicity menestyi selvästi edellistä paremmin. Albumi ilmestyi sopivasti maailmanlaajuisen nu-metal-buumin aikana – olkoonkin, että osa musiikkialaa tuntevat eivät hyväksy System of a Downia kurjaksi nu-metal-bändiksi. Toxicityltä radiosoittoon nousivat etenkin Chop Suey!, Toxicity sekä Aerials'.
Steal This Album! julkaistiin kaksi vuotta myöhemmin. Albumi sisältää monia System of a Down- ja Toxicity-albumeiden nauhoitussessioissa nauhoitettuja kappaleita. Syy tähän on, että suurin osa aikaisemmista versioista oli vuotanut Internetiin.
Vuonna 2004 yhtye nauhoitti kaksi albumia, Mezmerizen sekä Hypnotizen. Nämä julkaistiin vuoden 2005 aikana, ainoastaan kuuden kuukauden väliajalla. Mezmerize-albumilla julkaistu Cigaro-kappale vuoti Internetiin jo 2005 alkupuolella. Monet epäilevät kuitenkin, että yhtye vuoti kappaleen nettiin tahallaan lahjaksi faneilleen. Koko Mezmerize-albumi vuoti Internetiin kokonaisuudessan 3. toukokuuta 2005. Kauppoihin Mezmerize tuli myyntiin 17. toukokuuta, ja se nousi useiden maiden (USAn, Japanin, Kreikan, Itävallan, Sveitsin, Brasilian, Ruotsin, Kanadan, Saksan, Ranskan ja Uuden-Seelannin listojen kärkeen maailmanlaajuisen myynnin ylittäessä ensimmäisen viikon jälkeen 800 000 kappaleen rajan. Marraskuussa 2005 julkaistu Hypnotize levy nousi niin ikään monien maiden listaykköseksi muun muassa USA:n ja Suomen listoilla.
Toukokuussa 2006 yhtye ilmoitti pitävänsä noin 1,5 - 2 vuotta kestävän tauon. Malakian ja Odadjian ovat perustaneet myös oman bändinsä nimeltä Scars on Broadway. Myös Tankian suunnittelee soololevyä ja Dolmayan piirtää sarjakuvaa. Yhtye on useaan otteeseen vakuutellut, ettei ole hajoamassa, vaan pitää pienen tauon keskittyäkseen muihin projekteihin.
Serj Tankian (laulu, koskettimet)

John Dolmayan (rummut)

Daron Malakian (kitara, laulu)

Shavo Odadjian (basso)
