'Taking Liberties' recopila 20 canciones que nunca habían aparecido en un álbum de Costello en Estados Unidos. No solo fue una bendición para los completistas, sino que dio una imagen clara de los muchos caminos musicales que Costello había recorrido en sus primeros cuatro años, pop, punk duro, power pop ligero, R&B duro, country llorón, Tin Pan Alley y algunos temas que desafiaban cualquier clasificación.
1.- Clean Money 1:59
2.- Girls Talk 1:56
3.- Talking in the Dark 1:57
4.- Radio Sweetheart 2:27
5.- Black and White World 1:50
6.- Big Tears 3:09
7.- Just a Memory 2:16
8.- Night Rally 2:43
9.- Stranger in the House 3:01
10.- Clowntime Is Over 3:44
11.- Getting Mighty Crowded 2:09
12.- Hoover Factory 1:44
13.- Tiny Steps 2:41
14.- (I Don't Want to Go To) Chelsea 3:06
15.- Dr. Luther's Assistant 3:28
16.- Sunday's Best 3:22
17.- Crawling to the USA 2:53
18.- Wednesday Week 2:03
19.- My Funny Valentine 1:29
20.- Ghost Train 3:06