1996년 1집 앨범인 "그대 떠나가도"로 데뷔했다. 여기에는 비화가 있는데 원래 조장혁은 체인지라는 영화의 주제가를 만들기만 했고 그 노래를 부를 가수는 따로 있었다고 한다. 그런데 부르기로 했던 가수가 어른의 사정으로 포기하는 바람에 할 수 없이 조장혁 자신이 직접 불렀고 이게 가요 차트에서 10위 권 안에 들 정도로 히트를 치면서 가수로 정식데뷔했다.
그의 최고 히트곡인 3집의 ‘중독된 사랑'을 만들 때 이야기다. 25살부터 집에서 혼자 나와 살았던 그는 ‘다시 너를 볼 수 있을까'의 첫 멜로디만 쓰고 그 다음 멜로디가 안 만들어져 1년간 서랍 속에 넣어두었다. 억지로 퍼즐 맞추듯이 코드를 진행하면 안 되기 때문이다. 그러다 어느 날 이를 들춰보고 소주 1잔 먹은 다음 1시간만에 '이렇게 너의 집까지 오고 만 거야'로 연결하며 멜로디를 마무리했다. 그렇게 쓴 '중독된 사랑'은 발표하자마자 Top 5까지 오를 정도로 히트했고 후속곡인 'LOVE' 역시 좋은 반응을 얻었다. 하지만 그 이후의 4,5집 음악 인생은 나락이었다.
5집까지는 앨범에 수록된 모든 곡을 자신이 직접 작곡했으며, 간혹 작사와 작곡을 모두 스스로 했다. 다만 6집은 기존 곡을 리메이크한 곡이 대다수였으며, 대다수의 앨범 수록곡을 주영훈이 작곡한 곡으로 채웠다. 발라드를 제대로 소화해낼 수 있는 몇 안되는 가수라는 평가를 들었고, 그의 노래를 듣는 사람에게 감동을 준다는 찬사도 많이 받았던 가수였지만 정작 조장혁 본인은 활동 당시 그렇게 큰 인기를 얻진 못했다.
2000년대 이후로는 2002년에 SBS 드라마 '명랑소녀 성공기'에서 일본의 가수 차게 앤 아스카의 'LOVE SONG'이라는 노래를 번안해 불렀고, SBS 드라마 '별을 쏘다'에서는 차게 앤 아스카의 곡 'On Your Mark'를 리메이크한 곡 'In My Dream'을 부르기도 했다. 하지만 이 이후로 활동이 뜸해지는 바람에 대중들에게 잊혀졌고, 2004년 5집을 내고 매니저와의 계약이 잘못돼 가수 활동을 접었다. 그래도 이정도면 충분히 성공적인 발라드 가수 커리어다. 이후 7년동안 굴비 사업을 하던 조장혁은 불후의 명곡 2 전설과의 듀엣 미션에 출연해 포맨의 신용재와 함께 '중독된 사랑'을 부르면서 대중 앞에 다시 모습을 드러냈다. 불후의 명곡 출연 이후로는 홍경민과 함께 K-POP학과의 교수가 되어 강연을 하고 있다고 한다.
1. 중독된 사랑
2. Love
3. 체인지
4. 그대 떠나가도
5. Love Song
6. 이별보다 아픈 하루