Pejabat Jabatan Akauntan Negara Malaysia, Cawangan Wilayah Persekutuan Labuan ditubuhkan pada tahun 1985 dan pada masa itu diketuai oleh seorang Akauntan Perbendaharaan serta dibantu oleh 13 orang kakitangan. Semasa penubuhan, pejabat ini ditempatkan di Tingkat 1, Bangunan Lucas Kong, Jalan Merdeka, W.P Labuan.

Sebelum wujudnya, Jabatan Akauntan Negara Malaysia, Cawangan W. P Labuan segala urusan perakaunan dan kutipan hasil dikendalikan oleh Pejabat Dareah, Kerajaan Negeri Sabah. Pada sekitar tahun 1969, Jurukira Kecil yang ditugaskan di Pejabat Daerah dipertanggungjawabkan mengendalikan tugas-tugas yang biasanya dikendalikan oleh sesebuah Bendahari Negeri. Ketika itu, Pejabat Daerah ditempatkan di Jalan Dewan, sekarang ini dijadikan Muzium Labuan.

Pada sekitar tahun 1984, Federal Accounting Unit ditubuhkan dengan tujuan mengambilalih tugas-tugas Perbendaharaan di Labuan. Kelima-lima anggota yang bertugas di Bendahari Negeri ketika itu memilih untuk menyertai FAU menjadikan bilangan kakitangan kepada 8 orang. Ketika itu, PTJ-PTJ yang terlibat termasuk Kastam, Imigresen, Pendidikan (termasuk Daerah Beaufort), Polis dan JKR.

Peranan di atas diambilalih oleh Jabatan Akauntan Negara, Cawangan W.P Labuan yang ditubuhkan pada tahun 1985. Bangunannya ditempatkan di Tingkat 1, Bangunan Lucas Kong, Jalan Merdeka. Pejabat JANM berpindah ke bangunan yang sekarang iaitu di Blok 4, Tingkat 5, Kompeks Ujana Kewangan pada bulan Jun 2000.

Pembukaan rasmi pejabat disempurnakan oleh Akauntan Negara Malaysia, Yg. Bhg. Datuk Mohamed Adnan pada 12 Ogos 2000.