В чемпионатах СССР и России Коваленко играл за горьковское «Динамо», ЦСКА, «Ладу», «Локомотив», «Авангард» и «Северсталь». С 1992 по 2001 год выступал в НХЛ, сыграв 620 матчей за «Квебек»/»Колорадо», «Монреаль», «Эдмонтон», «Филадельфию», «Каролину» и «Бостон» и набрав 379 (173+206) очков. За океаном нападающий получил прозвище Русский Танк». Андрей Коваленко — олимпийский чемпион 1992 года, серебряный призёр Олимпиады 1998 года, а также серебряный призёр чемпионата мира 2002 года.