В 1950 году Тарасов завершил карьеру игрока и сосредоточился на тренерской работе. Под его руководством ЦСКА 18 раз становился чемпионом СССР (1948–1950, 1955, 1956, 1958–1960, 1963–1966, 1968, 1970–1973, 1975). В 1957 году Анатолию Тарасову было присвоено звание заслуженного тренера СССР, а в 1958-м он стал старшим тренером советской сборной. За два года работы на этом посту команда завоевала серебро чемпионатов мира 1958 и 1959 годов, а также бронзу Олимпийских игр 1960 года в Скво-Вэлли.
Главных успехов в национальной команде Тарасов добился будучи помощником старшего тренера Аркадия Чернышева. Тарасов и Чернышев успешно проработали вместе более десяти лет. Под их руководством сборная Советского Союза с 1963 по 1971 год выиграла девять чемпионатов мира подряд, а также трижды становилась чемпионом Олимпийских игр (1964, 1968, 1972).

