1859. gadā sīkpilsonis Jakubs Padežins atvēra Dinaburgā pirmo grāmatu veikalu un blakus grāmatveikalam atvēra arī bibliotēku. Tā kļuva par pirmo bibliotēku Dinaburgā un darbojās vairāk par 80 gadiem. Grāmatas un žurnālus bibliotēka izsniedza par maksu.

Pilsētā pēc grāmatām bija liels pieprasījums un viena bibliotēka nevarēja to apmierināt. Tā rezultātā 1873. gadā sāka darboties vēl divas bibliotēkas. Pirmo atvēra dižciltīgo biedrība, otro – ģildes tirgotājs Kārlis Jozess. 1886. gadā viņš atvēra arī otru bibliotēku. Līdzas K.Jozesa bibliotēkām veiksmīgi darbojās viņa grāmatu veikals, ar kuru ir saistīts ievērojamā latviešu grāmatizdevēja, sabiedriskā darbinieka un literāta Anša Gulbja vārds. 1881. gadā K.Jozesa dēls – Isaaks Livšics atvēra pilsētā vēl vienu, ceturto bibliotēku.

Četru bibliotēku atvēršanās tik īsa laika periodā, neapšaubāmi liecina par iedzīvotāju interesi par grāmatām. 1888. gadā ne tikai par Dinaburgas, bet arī par Vitebskas guberņas lielāko, tika atzīta Padežina bibliotēka. Sējumu skaits Dinaburgas lielākajās bibliotēkās bija sekojošs:

• Padežina bibliotēkā – 13.175 sēj.
• K.Jozesa bibliotēkā – 4.137 sēj.
• I.Livšica bibliotēkā – 2.945 sēj.
  

19. gs. Daugavpilī atvērās vēl dažas privātās bibliotēkas, bet trīs iepriekš nosauktās saglabāja lielāko bibliotēku statusu.

1904. gadā pēc pilsētnieku lūguma Dvinskā tika atvērta N.Gogoļa vārdā nosauktā bezmaksas lasītava. Atļauju atvērt lasītavu parakstīja 1903. gada decembrī Vitebskas guberņas gubernators.

Lasītavas atvēršanu pilsētā plaši reklamēja. 1904. g. tika izdota dažas lapas bieza brošūra “Проект устава Двинской городской бесплатной библиотеки – читальни в память Н.В.Гоголя”. Statūtu projektu parakstīja pilsētas valdes galva A.Pffeifers un pilsētas sekretārs K.Stankevičs, bet apstiprināja Vitebskas gubernators. Vienā no statūtu paragrāfiem bija teikts, ka bibliotēku pārvaldīs komisija, kuru ievēlēs pilsētas dome no valdes locekļu un mācību resora vidus.

Pirmais pasaules karš izpostīja pilsētu, cieta arī pilsētnieku kultūras dzīve. Norimstot kara vētrām, pilsētnieki sāka atjaunot visu izpostīto. Līdztekus daudziem pēckara pasākumiem tika atvērtas arī bibliotēkas. Tā 1919. gadā – Skolotāju Savienības bibliotēka, 1920. gadā – Latviešu biedrības bibliotēka, 1921. gadā – dzelzceļnieku biedrības bibliotēka un vairākas cittautu biedrību bibliotēkas. Turpmāk bibliotēkas atvēra gandrīz visas organizācijas.

Jāatzīmē, ka Daugavpils Skolotāju Savienības bibliotēka iekļāvās Kultūras fonda izveidotajā bibliotēku tīklā, un saņēma no tā daudz vērtīgu grāmatu. Pēc likvidētās Sieviešu ģimnāzijas bibliotēkas pievienošanas Daugavpils Skolotāju Savienības bibliotēka kļuva par kvalitatīvi labāko un ar grāmatām bagātāko bibliotēku ne tikai pilsētā, bet visā Latgalē.

Kārļa Ulmaņa realizētais apvērsums 1934. gada maijā aizsāka jaunu posmu Latvijas kultūras dzīvē. Tas skāra arī bibliotēku darbību.

1937. gadā Daugavpils pilsētas valde pieņēma lēmumu apvienot Daugavpils Skolotāju Savienības un Daugavpils Latviešu Biedrības bibliotēkas un pārņemt apvienoto bibliotēku savā pārziņā. Pilsētas bibliotēka (tā turpmāk sauc apvienoto bibliotēku) sāka darboties 1937. g. septembrī šaurās un nepiemērotās telpās Raiņa ielā 101. Par Daugavpils pilsētas bibliotēku vadītāju no tās pirmsākumiem līdz 1944. gadam strādāja Jānis Tāle – ievērojams bibliotekārs un bibliogrāfs.

1938. gadā bibliotēka savā īpašumā ieguva plašas, skaistas telpas jaunuzceltajā Vienības namā. Arī šodien pilsētas bibliotēka (Latgales Centrālā bibliotēka) atrodas Vienības namā. Tā aizņem telpas 1., 2., 3. stāvos.

Otrā pasaules kara pirmo dienu postījumos Daugavpilī cieta arī pilsētas bibliotēka – Vienības namā trāpīja mīna un gāja bojā tā Vienības nama daļa, kurā atradās bibliotēka un līdz ar to, sadega arī viss bibliotēkas grāmatu fonds, t.i. apmēram 40.000 sējumu. Līdz ar grāmatām gāja bojā unikāli J.Tāles krājumi un kartotēkas.

Sākās smags darbs pie grāmatu fonda atjaunošanas. Prese publicēja “Aicinājumu” ziedot grāmatas bibliotēkai. Uz aicinājumu atsaucās daudz cilvēku ne tikai Daugavpilī, bet visā Latgalē – iedzīvotāju aktivitāte bija apbrīnojama. Pēc ugunsgrēka bija saglabājušās 655 grāmatas, tam pievienoja no pamestajiem dzīvokļiem savāktās un ziedotās grāmatas. Darbs ritēja necerēti ātri. 1942. gadā bibliotēkā bija jau 22.000 grāmatu.

1944. gadā bibliotēkai draudēja jaunas briesmas. Pametot Daugavpili, nacistu okupanti nolēma paņemt līdzi atjaunoto bibliotēkas fondu, kurā jau bija 30.000 sējumu. Grāmatas jau otro reizi izglāba J.Tāle. Vācieši sakrāva grāmatas vagonos un pievienoja kara ešelonam. J.Tāle grāmatas panāca Mažeiķos. Tur bibliotekārs piekukuļoja stacijas priekšnieku un uz grāmatu vagoniem tika uzrakstīta cita adrese – “TALSI”. Talsos J.Tāle kopā ar grāmatām sagaidīja kara beigas. Izglābtās grāmatas (apmēram 10.000) tika nosūtītas atpakaļ uz Daugavpili. Jānis Tāle palika Talsos, kur viņam piedāvāja Talsu rajona bibliotēkas vadītāja amatu. Daugavpilī pilsētas bibliotēka atjaunoja savu darbību 1944. gada 27. septembrī. No šī brīža bibliotēka iekļāvās Padomju Savienības bibliotēku tīklā un kļuva par Daugavpils Centrālo bibliotēku. Tai atdeva telpas atjaunotajā Vienības namā.

Gandrīz sešdesmit gadu laikā bibliotēka vairākkārt ir mainījusi nosaukumu.

1973. gadā tika izveidota Centralizētā bibliotēku sistēma Daugavpils pilsētas bibliotēka kļuva par Daugavpils pilsētas centrālo Zinātnisko bibliotēku.

Saskaņā ar 1993. g. 13. maija Daugavpils pilsētas domes lēmumu Nr. 359 Daugavpils pilsētas Centrālajai Zinātniskai bibliotēkai piešķirts jauns nosaukums – Latgales Centrālā bibliotēka.

Bibliotēkas vēstures atmiņā saglabājusies vesela virkne bibliotēkas vadītāju, kuri veicināja mūsu bibliotēkas attīstību: Ņina Voiceha, Jefrosinija Gorkina, Eleonora Kleščinska, Svetlana Lapāne. No 1999. g. bibliotēkas direktore Jeļena Šapkova.

Pēc dažāda veida reorganizācijām un apvienošanām Daugavpilī strādā 7 publiskās bibliotēkas:

Latgales Centrālā bibliotēka;
Bērnu bibliotēka "Zīlīte";
Ezeru bibliotēka
Jaunbūves bibliotēka
Pārdaugavas bibliotēka
Ceriņu bibliotēka
Piekrastes bibliotēka