Normal view

There are new articles available, click to refresh the page.
Before yesterdayMain stream

Weekly Notes 44 – 2024

5 November 2024 at 04:20

  • For the past few months, I was preparing for an English Exam called CELPIP. It is an exam to check the Listening, Reading, Writing and Speaking. Though we know English, preparing for an exam is an exhausting one. We took online training from “Galaxy Training Academy“. https://galaxytraining.in The coach “Jay Kumar” gave nice intro about exam pattern. He gave many mock tests and gave good feedback on how to improve, on each test. Last month, Nithya and I cleared the exam. It is a good feel to released from exam fear. Postponed many activities because of the exam preparation. Will roll out them all soon. If you are preparing for any English Exam, I suggest taking training and mock tests with “Galaxy Training Academy”.

    ——

  • In Canada, Daylight saving ended yesterday. This happens every year in fall season and referred as “Fallback”. The clocks are moved one hour back. This is to adjust the dark winter season. It seems like all in a sudden, we got one hour extra to sleep in morning. 🙂

    ——

  • On Oct 31, we had Deepavali, Halloween and our Marriage day. Deepavali day went with great remembering our childhood memories. The evening was filled with fun, as we went to neighbourhood houses, with friends and kids, to play “Trick or Treat”. Saw many weird, spooky decorated houses and people. Kids collected a bag full of chocolates. Last year, it was too cold. This year, the same day had a nice weather, to roam around in the evening.

    ——

  • On Nov 1, we celebrated Deepavali with firing crackers. Bought a few crackers, which emit light. Here, we don’t get loud-full crackers like atom bombs, 1000 piece fireworks shots etc. With limited available crackers, kids enjoyed firing them, with all their friends together.

    ——

  • On Nov 8, we are planning for a mega Deepavali event with around 250 people here. I am contributing on the planning/photography. Nithya and kids are practicing dance with their friends. Hope it will be a fun-filled evening.


    ——

  • On Nov 2, gave a talk on tolkappiyam Canada monthly meeting, about our efforts on writing python code for tamil grammar rules in Tolkappiyam book. It was a good meeting. Few of the participants accepted to collaborate. You can read our progress here – https://github.com/KaniyamFoundation/ProjectIdeas/issues/214


    ——

  • Few weeks ago, gave a talk on open-tamil python library, at Kanchi Linux Users Group ( KanchiLUG) meet. Video is here – https://www.youtube.com/watch?v=GtIrbvw2V-w


    ——

  • Kids started going to tamil school on every Saturday morning. This week, they received books. Viyan is good at Tamil and English. Iyal started to read Tamil and English. Paari is trying to learn writing.

    ——

  • We conduct daily meetings in a text based chat system called IRC (Internet Relay Chat). daily, 7-8 pm IST. Good to see many people are joining and discussing many things about open source software and mentoring to contribute to open source software. More details here – https://goinggnu.wordpress.com/2024/10/21/open-source-projects-mentoring-via-irc/

    ——

  • Practicing Manual mode in photography for few weeks. Feeling like learning linux and Emacs. It gives the most flexible options and results are stunning. It is better to learn it in early days, so that we can do more magics with lighting.


    ——


    The one thing I follow in photography is – shoot a lot, share a little. I keep and share only 10%. All others are deleted. Though it is hard to select the best photos, sharing only 10% is easy for viewers and brings a Wow from them.


    ——
  • Completed reading books in last week.
  • currently reading these books.

Weekly Notes 44 – 2024

5 November 2024 at 04:20

  • For the past few months, I was preparing for an English Exam called CELPIP. It is an exam to check the Listening, Reading, Writing and Speaking. Though we know English, preparing for an exam is an exhausting one. We took online training from “Galaxy Training Academy“. https://galaxytraining.in The coach “Jay Kumar” gave nice intro about exam pattern. He gave many mock tests and gave good feedback on how to improve, on each test. Last month, Nithya and I cleared the exam. It is a good feel to released from exam fear. Postponed many activities because of the exam preparation. Will roll out them all soon. If you are preparing for any English Exam, I suggest taking training and mock tests with “Galaxy Training Academy”.

    ——

  • In Canada, Daylight saving ended yesterday. This happens every year in fall season and referred as “Fallback”. The clocks are moved one hour back. This is to adjust the dark winter season. It seems like all in a sudden, we got one hour extra to sleep in morning. 🙂

    ——

  • On Oct 31, we had Deepavali, Halloween and our Marriage day. Deepavali day went with great remembering our childhood memories. The evening was filled with fun, as we went to neighbourhood houses, with friends and kids, to play “Trick or Treat”. Saw many weird, spooky decorated houses and people. Kids collected a bag full of chocolates. Last year, it was too cold. This year, the same day had a nice weather, to roam around in the evening.

    ——

  • On Nov 1, we celebrated Deepavali with firing crackers. Bought a few crackers, which emit light. Here, we don’t get loud-full crackers like atom bombs, 1000 piece fireworks shots etc. With limited available crackers, kids enjoyed firing them, with all their friends together.

    ——

  • On Nov 8, we are planning for a mega Deepavali event with around 250 people here. I am contributing on the planning/photography. Nithya and kids are practicing dance with their friends. Hope it will be a fun-filled evening.


    ——

  • On Nov 2, gave a talk on tolkappiyam Canada monthly meeting, about our efforts on writing python code for tamil grammar rules in Tolkappiyam book. It was a good meeting. Few of the participants accepted to collaborate. You can read our progress here – https://github.com/KaniyamFoundation/ProjectIdeas/issues/214


    ——

  • Few weeks ago, gave a talk on open-tamil python library, at Kanchi Linux Users Group ( KanchiLUG) meet. Video is here – https://www.youtube.com/watch?v=GtIrbvw2V-w


    ——

  • Kids started going to tamil school on every Saturday morning. This week, they received books. Viyan is good at Tamil and English. Iyal started to read Tamil and English. Paari is trying to learn writing.

    ——

  • We conduct daily meetings in a text based chat system called IRC (Internet Relay Chat). daily, 7-8 pm IST. Good to see many people are joining and discussing many things about open source software and mentoring to contribute to open source software. More details here – https://goinggnu.wordpress.com/2024/10/21/open-source-projects-mentoring-via-irc/

    ——

  • Practicing Manual mode in photography for few weeks. Feeling like learning linux and Emacs. It gives the most flexible options and results are stunning. It is better to learn it in early days, so that we can do more magics with lighting.


    ——


    The one thing I follow in photography is – shoot a lot, share a little. I keep and share only 10%. All others are deleted. Though it is hard to select the best photos, sharing only 10% is easy for viewers and brings a Wow from them.


    ——
  • Completed reading books in last week.
  • currently reading these books.

Collecting content for LLM dataset – Part 2 – FreeTamilEbooks

16 June 2024 at 02:35

At FreeTamilEbooks.com we have published 850 ebooks. All in sharable creative commons license. There are many people asking for the text only content of all these books many times. As it is a big task, took long time for it. Thanks to Lenin, Anwar of Kaniyam Foundation, all the contributors, all the writers and readers for making this project alive and a great success.

We are publishing the books as epub format, along with PDF format. Epub is just a zip file of HTML files. So, we can copy all the content from it as unicode text. Pandoc is a wonderful open source software, which can convert an epub to plaintext file.

There are the list of actions we have to do.

  1. Get URLs of all the 850+ epub files
  2. Download them all.
  3. using pandoc, convert to text file.

So far, we dont have a metadata file for all the books published. Getting the links of all epub files need some programming. As Python is a swiss knife to automate anything, started to explore the wordpress REST api with python to get all the books pages content.

https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/get_Data.py

Wrote the code here to get all the books info.

This gave a JSON file with book name, author, genre, epub, mobi, a4 pdf,6 inch pdf links.

Converted this to a CSV file with the below code. https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/parse.py

I had to fix few things manually on the CSV file.

This is the final CSV file. https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/fte_metadata.csv

The below code is to download all the epub files from their links in the fte_metadata.csv file. Used pandoc to convert to text.

https://github.com/KaniyamFoundation/create_ebooks/blob/master/get_metadata/get_fte_books.py

Got 845 txt files. Total size is 374 MB

Compressed with 7z to get 47MB compressed file.

Published the data here. https://kaniyam.cloudns.nz/tamil_datasets/fte-books/

Download, share the text data for free. Dont sell them as most of the books are released as CC-BY-NC ( No Commercial ) license.

Use these data to build awesome open source applications and researches like Spellchekers, grammar checkers, LLm, RAG, what not?

Data is always the oil. Let us grow the open data oil.

Please share all your text, audio, video content in sharable license like creative commons. They will use to build a better future.

ரசவாதி/The Alchemist

By: Gowtham G
9 February 2024 at 15:19

ரசவாதி

இப்பெயரின் அர்த்தம் அறிந்திடாமல் தான் நான் இப்புத்தகத்தை வாசிக்க துடங்கினேன்.புதையல் சார்ந்த புத்தகம் என கேள்விபட்டுள்ளேன்.அப்படி தான் என் கை விரல் அதன் பக்கங்களில் பதிந்தது.

கதையின் நாயகனாக சான்டியாகோ வருகிறான்.இடையன் தொழிலை ஆர்வமுடன் பார்க்கும் மனிதன்.தனது ஆடுகளின் மேல் மிகுந்த அன்பு கொண்டவன்.உலகை சுற்ற வேண்டும் என தன் பெற்றோரிடம் தெரிவிக்க,அவர்களும் சம்மதிக்க இவன் இடையனாகிறான்.

அவன் ஓர் கனவு காண்கிறான்.அதில் புதையல் தனக்கு கிடைக்க போவதாக வந்தது.அதனை மீண்டும் காணவே,கனவை விவரிக்க கூடிய பழங்குடி பெண் ஒருவளை காண செல்கிறான்.அவளிடம் கனவை விவரிக்கிறான்.நேரம் அதிகமாக அவனிடமும் போதிய பணம் கைவசம் இல்லாததால்,விடை பெற்றுக்கொள்ள எத்தனித்தவுடன் அவள் எனக்கு பணம் வேண்டாம்…,மாற்றாக உன் புதையலின் பத்தில் ஒரு பங்கினை எனக்கு தர வேண்டும் என்கிறாள்.அவனோ கனவு நிஜத்தில் நடந்திட போவதில்லை என்றும் நமக்கு பணம் மிச்சம் என யோசித்து அங்கிருந்து செல்கிறான்.

ஒருமுறை ஓர் ஊரில் பெண் ஒருவளை கண்டு காதல் கொள்கிறான்.வருடம் கடந்தது.இம்முறை மீண்டும் அந்த ஊருக்கு செல்ல நினைத்து தனது ஆடுகளுடன் செல்கிறான்.

அங்கே ஓர் முதிவரை சந்திக்கிறான்.அவர் தன்னை அரசர் என அறிமுகம் செய்துகொள்கிறார்.அவரும் இவன் தன் கனவை பின் தொடரவேண்டும் என கூறுகிறார்.அப்பழங்குடி பெண் தான் இவரிடம் என் கனவை பற்றி கூறியிருக்க வேண்டும் என யோசித்தான்.பிறகு கனவை பின் தொடற விருப்பம் கொள்கிறான்.இவர் சில ஆலோசனை வழங்க,அதற்கு சில ஆடுகளை பெற்றுக்கொண்டார்.இவன் கையில் இரண்டு கற்களை தந்து “துவும்” இதன் பெயர் என்றார்.இதனை குழப்பம் வரும் சூழலில் பயன் படுத்த கேட்டுக்கொண்டார்.

தனது ஆடுகளை விற்றுவிட்டு பயணத்திற்கு புறப்பட்டான்.அக்கறையில் இருந்து,இக்கறை வந்தான்.மொழி தெரியவில்லை.இருந்தும் சமாளித்தான்.

திருடன் என தெரியாமல் அவனிடம் தனது பணத்தை பறிகொடுக்க,பின் விற்பனையில் மந்தமான ஒரு படிகக் கடையில் வேளை செய்யும் சூழல் வருகிறது.வருடம் ஓட…,பணம் சேர்த்துவிட்டான்அக்கடையையும் பிரபலமாக்கினான்…அவரிடமும் உங்கள் கனவை தொடருங்கள் என கூறி விடைபெற்றான் அவ்விடம் விட்டு.

என்ன இன்னும் ரசவாதி வரவில்லையே….நானும் காத்திருக்கிறேன்…

காத்திருப்போம்……..,

ரசவாதி/The Alchemist

By: Gowtham G
9 February 2024 at 15:19

ரசவாதி

இப்பெயரின் அர்த்தம் அறிந்திடாமல் தான் நான் இப்புத்தகத்தை வாசிக்க துடங்கினேன்.புதையல் சார்ந்த புத்தகம் என கேள்விபட்டுள்ளேன்.அப்படி தான் என் கை விரல் அதன் பக்கங்களில் பதிந்தது.

கதையின் நாயகனாக சான்டியாகோ வருகிறான்.இடையன் தொழிலை ஆர்வமுடன் பார்க்கும் மனிதன்.தனது ஆடுகளின் மேல் மிகுந்த அன்பு கொண்டவன்.உலகை சுற்ற வேண்டும் என தன் பெற்றோரிடம் தெரிவிக்க,அவர்களும் சம்மதிக்க இவன் இடையனாகிறான்.

அவன் ஓர் கனவு காண்கிறான்.அதில் புதையல் தனக்கு கிடைக்க போவதாக வந்தது.அதனை மீண்டும் காணவே,கனவை விவரிக்க கூடிய பழங்குடி பெண் ஒருவளை காண செல்கிறான்.அவளிடம் கனவை விவரிக்கிறான்.நேரம் அதிகமாக அவனிடமும் போதிய பணம் கைவசம் இல்லாததால்,விடை பெற்றுக்கொள்ள எத்தனித்தவுடன் அவள் எனக்கு பணம் வேண்டாம்…,மாற்றாக உன் புதையலின் பத்தில் ஒரு பங்கினை எனக்கு தர வேண்டும் என்கிறாள்.அவனோ கனவு நிஜத்தில் நடந்திட போவதில்லை என்றும் நமக்கு பணம் மிச்சம் என யோசித்து அங்கிருந்து செல்கிறான்.

ஒருமுறை ஓர் ஊரில் பெண் ஒருவளை கண்டு காதல் கொள்கிறான்.வருடம் கடந்தது.இம்முறை மீண்டும் அந்த ஊருக்கு செல்ல நினைத்து தனது ஆடுகளுடன் செல்கிறான்.

அங்கே ஓர் முதிவரை சந்திக்கிறான்.அவர் தன்னை அரசர் என அறிமுகம் செய்துகொள்கிறார்.அவரும் இவன் தன் கனவை பின் தொடரவேண்டும் என கூறுகிறார்.அப்பழங்குடி பெண் தான் இவரிடம் என் கனவை பற்றி கூறியிருக்க வேண்டும் என யோசித்தான்.பிறகு கனவை பின் தொடற விருப்பம் கொள்கிறான்.இவர் சில ஆலோசனை வழங்க,அதற்கு சில ஆடுகளை பெற்றுக்கொண்டார்.இவன் கையில் இரண்டு கற்களை தந்து “துவும்” இதன் பெயர் என்றார்.இதனை குழப்பம் வரும் சூழலில் பயன் படுத்த கேட்டுக்கொண்டார்.

தனது ஆடுகளை விற்றுவிட்டு பயணத்திற்கு புறப்பட்டான்.அக்கறையில் இருந்து,இக்கறை வந்தான்.மொழி தெரியவில்லை.இருந்தும் சமாளித்தான்.

திருடன் என தெரியாமல் அவனிடம் தனது பணத்தை பறிகொடுக்க,பின் விற்பனையில் மந்தமான ஒரு படிகக் கடையில் வேளை செய்யும் சூழல் வருகிறது.வருடம் ஓட…,பணம் சேர்த்துவிட்டான்அக்கடையையும் பிரபலமாக்கினான்…அவரிடமும் உங்கள் கனவை தொடருங்கள் என கூறி விடைபெற்றான் அவ்விடம் விட்டு.

என்ன இன்னும் ரசவாதி வரவில்லையே….நானும் காத்திருக்கிறேன்…

காத்திருப்போம்……..,

❌
❌