Normal view

There are new articles available, click to refresh the page.
Before yesterdayMain stream

Collecting content for LLM dataset – Part 2 – FreeTamilEbooks

16 June 2024 at 02:35

At FreeTamilEbooks.com we have published 850 ebooks. All in sharable creative commons license. There are many people asking for the text only content of all these books many times. As it is a big task, took long time for it. Thanks to Lenin, Anwar of Kaniyam Foundation, all the contributors, all the writers and readers for making this project alive and a great success.

We are publishing the books as epub format, along with PDF format. Epub is just a zip file of HTML files. So, we can copy all the content from it as unicode text. Pandoc is a wonderful open source software, which can convert an epub to plaintext file.

There are the list of actions we have to do.

  1. Get URLs of all the 850+ epub files
  2. Download them all.
  3. using pandoc, convert to text file.

So far, we dont have a metadata file for all the books published. Getting the links of all epub files need some programming. As Python is a swiss knife to automate anything, started to explore the wordpress REST api with python to get all the books pages content.

https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/get_Data.py

Wrote the code here to get all the books info.

This gave a JSON file with book name, author, genre, epub, mobi, a4 pdf,6 inch pdf links.

Converted this to a CSV file with the below code. https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/parse.py

I had to fix few things manually on the CSV file.

This is the final CSV file. https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/fte_metadata.csv

The below code is to download all the epub files from their links in the fte_metadata.csv file. Used pandoc to convert to text.

https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/get_fte_books.py

Got 845 txt files. Total size is 374 MB

Compressed with 7z to get 47MB compressed file.

Published the data here. https://kaniyam.cloudns.nz/tamil_datasets/fte-books/

Download, share the text data for free. Dont sell them as most of the books are released as CC-BY-NC ( No Commercial ) license.

Use these data to build awesome open source applications and researches like Spellchekers, grammar checkers, LLm, RAG, what not?

Data is always the oil. Let us grow the open data oil.

Please share all your text, audio, video content in sharable license like creative commons. They will use to build a better future.

Collecting content for LLM dataset – Part 2 – FreeTamilEbooks

16 June 2024 at 02:35

At FreeTamilEbooks.com we have published 850 ebooks. All in sharable creative commons license. There are many people asking for the text only content of all these books many times. As it is a big task, took long time for it. Thanks to Lenin, Anwar of Kaniyam Foundation, all the contributors, all the writers and readers for making this project alive and a great success.

We are publishing the books as epub format, along with PDF format. Epub is just a zip file of HTML files. So, we can copy all the content from it as unicode text. Pandoc is a wonderful open source software, which can convert an epub to plaintext file.

There are the list of actions we have to do.

  1. Get URLs of all the 850+ epub files
  2. Download them all.
  3. using pandoc, convert to text file.

So far, we dont have a metadata file for all the books published. Getting the links of all epub files need some programming. As Python is a swiss knife to automate anything, started to explore the wordpress REST api with python to get all the books pages content.

https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/get_Data.py

Wrote the code here to get all the books info.

This gave a JSON file with book name, author, genre, epub, mobi, a4 pdf,6 inch pdf links.

Converted this to a CSV file with the below code. https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/parse.py

I had to fix few things manually on the CSV file.

This is the final CSV file. https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/fte_metadata.csv

The below code is to download all the epub files from their links in the fte_metadata.csv file. Used pandoc to convert to text.

https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/get_fte_books.py

Got 845 txt files. Total size is 374 MB

Compressed with 7z to get 47MB compressed file.

Published the data here. https://kaniyam.cloudns.nz/tamil_datasets/fte-books/

Download, share the text data for free. Dont sell them as most of the books are released as CC-BY-NC ( No Commercial ) license.

Use these data to build awesome open source applications and researches like Spellchekers, grammar checkers, LLm, RAG, what not?

Data is always the oil. Let us grow the open data oil.

Please share all your text, audio, video content in sharable license like creative commons. They will use to build a better future.

ரசவாதி/The Alchemist

By: Gowtham G
9 February 2024 at 15:19

ரசவாதி

இப்பெயரின் அர்த்தம் அறிந்திடாமல் தான் நான் இப்புத்தகத்தை வாசிக்க துடங்கினேன்.புதையல் சார்ந்த புத்தகம் என கேள்விபட்டுள்ளேன்.அப்படி தான் என் கை விரல் அதன் பக்கங்களில் பதிந்தது.

கதையின் நாயகனாக சான்டியாகோ வருகிறான்.இடையன் தொழிலை ஆர்வமுடன் பார்க்கும் மனிதன்.தனது ஆடுகளின் மேல் மிகுந்த அன்பு கொண்டவன்.உலகை சுற்ற வேண்டும் என தன் பெற்றோரிடம் தெரிவிக்க,அவர்களும் சம்மதிக்க இவன் இடையனாகிறான்.

அவன் ஓர் கனவு காண்கிறான்.அதில் புதையல் தனக்கு கிடைக்க போவதாக வந்தது.அதனை மீண்டும் காணவே,கனவை விவரிக்க கூடிய பழங்குடி பெண் ஒருவளை காண செல்கிறான்.அவளிடம் கனவை விவரிக்கிறான்.நேரம் அதிகமாக அவனிடமும் போதிய பணம் கைவசம் இல்லாததால்,விடை பெற்றுக்கொள்ள எத்தனித்தவுடன் அவள் எனக்கு பணம் வேண்டாம்…,மாற்றாக உன் புதையலின் பத்தில் ஒரு பங்கினை எனக்கு தர வேண்டும் என்கிறாள்.அவனோ கனவு நிஜத்தில் நடந்திட போவதில்லை என்றும் நமக்கு பணம் மிச்சம் என யோசித்து அங்கிருந்து செல்கிறான்.

ஒருமுறை ஓர் ஊரில் பெண் ஒருவளை கண்டு காதல் கொள்கிறான்.வருடம் கடந்தது.இம்முறை மீண்டும் அந்த ஊருக்கு செல்ல நினைத்து தனது ஆடுகளுடன் செல்கிறான்.

அங்கே ஓர் முதிவரை சந்திக்கிறான்.அவர் தன்னை அரசர் என அறிமுகம் செய்துகொள்கிறார்.அவரும் இவன் தன் கனவை பின் தொடரவேண்டும் என கூறுகிறார்.அப்பழங்குடி பெண் தான் இவரிடம் என் கனவை பற்றி கூறியிருக்க வேண்டும் என யோசித்தான்.பிறகு கனவை பின் தொடற விருப்பம் கொள்கிறான்.இவர் சில ஆலோசனை வழங்க,அதற்கு சில ஆடுகளை பெற்றுக்கொண்டார்.இவன் கையில் இரண்டு கற்களை தந்து “துவும்” இதன் பெயர் என்றார்.இதனை குழப்பம் வரும் சூழலில் பயன் படுத்த கேட்டுக்கொண்டார்.

தனது ஆடுகளை விற்றுவிட்டு பயணத்திற்கு புறப்பட்டான்.அக்கறையில் இருந்து,இக்கறை வந்தான்.மொழி தெரியவில்லை.இருந்தும் சமாளித்தான்.

திருடன் என தெரியாமல் அவனிடம் தனது பணத்தை பறிகொடுக்க,பின் விற்பனையில் மந்தமான ஒரு படிகக் கடையில் வேளை செய்யும் சூழல் வருகிறது.வருடம் ஓட…,பணம் சேர்த்துவிட்டான்அக்கடையையும் பிரபலமாக்கினான்…அவரிடமும் உங்கள் கனவை தொடருங்கள் என கூறி விடைபெற்றான் அவ்விடம் விட்டு.

என்ன இன்னும் ரசவாதி வரவில்லையே….நானும் காத்திருக்கிறேன்…

காத்திருப்போம்……..,

ரசவாதி/The Alchemist

By: Gowtham G
9 February 2024 at 15:19

ரசவாதி

இப்பெயரின் அர்த்தம் அறிந்திடாமல் தான் நான் இப்புத்தகத்தை வாசிக்க துடங்கினேன்.புதையல் சார்ந்த புத்தகம் என கேள்விபட்டுள்ளேன்.அப்படி தான் என் கை விரல் அதன் பக்கங்களில் பதிந்தது.

கதையின் நாயகனாக சான்டியாகோ வருகிறான்.இடையன் தொழிலை ஆர்வமுடன் பார்க்கும் மனிதன்.தனது ஆடுகளின் மேல் மிகுந்த அன்பு கொண்டவன்.உலகை சுற்ற வேண்டும் என தன் பெற்றோரிடம் தெரிவிக்க,அவர்களும் சம்மதிக்க இவன் இடையனாகிறான்.

அவன் ஓர் கனவு காண்கிறான்.அதில் புதையல் தனக்கு கிடைக்க போவதாக வந்தது.அதனை மீண்டும் காணவே,கனவை விவரிக்க கூடிய பழங்குடி பெண் ஒருவளை காண செல்கிறான்.அவளிடம் கனவை விவரிக்கிறான்.நேரம் அதிகமாக அவனிடமும் போதிய பணம் கைவசம் இல்லாததால்,விடை பெற்றுக்கொள்ள எத்தனித்தவுடன் அவள் எனக்கு பணம் வேண்டாம்…,மாற்றாக உன் புதையலின் பத்தில் ஒரு பங்கினை எனக்கு தர வேண்டும் என்கிறாள்.அவனோ கனவு நிஜத்தில் நடந்திட போவதில்லை என்றும் நமக்கு பணம் மிச்சம் என யோசித்து அங்கிருந்து செல்கிறான்.

ஒருமுறை ஓர் ஊரில் பெண் ஒருவளை கண்டு காதல் கொள்கிறான்.வருடம் கடந்தது.இம்முறை மீண்டும் அந்த ஊருக்கு செல்ல நினைத்து தனது ஆடுகளுடன் செல்கிறான்.

அங்கே ஓர் முதிவரை சந்திக்கிறான்.அவர் தன்னை அரசர் என அறிமுகம் செய்துகொள்கிறார்.அவரும் இவன் தன் கனவை பின் தொடரவேண்டும் என கூறுகிறார்.அப்பழங்குடி பெண் தான் இவரிடம் என் கனவை பற்றி கூறியிருக்க வேண்டும் என யோசித்தான்.பிறகு கனவை பின் தொடற விருப்பம் கொள்கிறான்.இவர் சில ஆலோசனை வழங்க,அதற்கு சில ஆடுகளை பெற்றுக்கொண்டார்.இவன் கையில் இரண்டு கற்களை தந்து “துவும்” இதன் பெயர் என்றார்.இதனை குழப்பம் வரும் சூழலில் பயன் படுத்த கேட்டுக்கொண்டார்.

தனது ஆடுகளை விற்றுவிட்டு பயணத்திற்கு புறப்பட்டான்.அக்கறையில் இருந்து,இக்கறை வந்தான்.மொழி தெரியவில்லை.இருந்தும் சமாளித்தான்.

திருடன் என தெரியாமல் அவனிடம் தனது பணத்தை பறிகொடுக்க,பின் விற்பனையில் மந்தமான ஒரு படிகக் கடையில் வேளை செய்யும் சூழல் வருகிறது.வருடம் ஓட…,பணம் சேர்த்துவிட்டான்அக்கடையையும் பிரபலமாக்கினான்…அவரிடமும் உங்கள் கனவை தொடருங்கள் என கூறி விடைபெற்றான் அவ்விடம் விட்டு.

என்ன இன்னும் ரசவாதி வரவில்லையே….நானும் காத்திருக்கிறேன்…

காத்திருப்போம்……..,

❌
❌