ஏன் பல தரவு அறிவியல் வேலைகள் உண்மையில் தரவு பொறியியல்

இந்த நாட்களில், ஒவ்வொரு நிறுவனமும் ஒரு "தரவு விஞ்ஞானி" பாத்திரத்தை நிரப்ப ஆர்வமாக உள்ளது, இது இயந்திர கற்றல் வழிமுறைகள், முன்கணிப்பு மாதிரிகள் மற்றும் ஆழமான கற்றல் கட்டமைப்புகளுடன் வேலை செய்வதற்கான அற்புதமான வாய்ப்புகளை உறுதியளிக்கிறது. இருப்பினும், இந்த நிலைகளில் அடியெடுத்து வைக்கும் பல தொழில் வல்லுநர்களுக்கு, யதார்த்தம் கவர்ச்சியுடன் பொருந்தவில்லை. AI இல் தலையை முடுக்கிவிடுவதற்குப் பதிலாக அல்லது சிக்கலான தரவுத் தொகுப்புகளை மாடலிங் செய்வதற்குப் பதிலாக, அவர்கள் தரவுப் பிரித்தெடுத்தல், சுத்தம் செய்தல் மற்றும் தயாரிப்பில் முழங்கால் அளவுக்குத் தங்களைக் காண்கிறார்கள். டேட்டா இன்ஜினியரிங் உலகிற்கு வரவேற்கிறோம்—ஒரு டொமைனில் தாங்கள் பதிவு செய்திருப்பதை பலர் உணரவில்லை.

இந்த நிகழ்வு நிறுவனங்கள் தங்களுக்கு உண்மையில் என்ன தேவை என்பதைப் பற்றிய அடிப்படை தவறான புரிதலிலிருந்து உருவாகிறது. "தரவு விஞ்ஞானிகளுக்கான" வேலைப் பட்டியலை அவர்கள் இடுகையிடுகிறார்கள், அவர்களின் பணியின் பெரும்பகுதி தரவைச் சுத்தம் செய்வது மற்றும் அதைக் கையாளுவதற்கான உள்கட்டமைப்பை உறுதி செய்வது - மிக முக்கியமான தரவு பொறியியல் பணிகள். இதன் விளைவாக, தரவு விஞ்ஞானிகளாக பணியமர்த்தப்பட்ட வல்லுநர்கள் தாங்கள் எதிர்பார்க்காத முணுமுணுப்பு வேலையைச் செய்கிறார்கள்: குழப்பமான தரவைச் சண்டையிடுவது, தளங்களுக்கு இடையில் நகர்த்துவது மற்றும் பகுப்பாய்வுக்குத் தயார்படுத்துவது. SQL வினவல்களை எழுதாமல், பைப்லைன்களை அமைக்காமல், இயந்திரக் கற்றல் மாதிரிகளை உருவாக்கி தங்கள் நாட்களைக் கழிக்க வேண்டும் என்று எதிர்பார்த்தவர்களுக்கு ஏமாற்றம் தவிர்க்க முடியாமல் ஏற்படுகிறது.

ஆர்வமுள்ள தரவு பொறியாளர்களுக்கு, இது ஒரு மறைக்கப்பட்ட வாய்ப்பு. வேலை சந்தையில் தரவு விஞ்ஞானிகளைத் தேடும் நிறுவனங்களால் நிரம்பியிருந்தாலும், இந்த நிறுவனங்களில் பலவற்றிற்கு அவர்கள் உணர்ந்ததை விட ஒரு தரவு பொறியாளர் தேவை. இரண்டு துறைகளுக்கும் ஒன்றுடன் ஒன்று திறன்கள் தேவை, குறிப்பாக ஆரம்ப கட்டங்களில்-நிரலாக்கம், தரவுத்தள மேலாண்மை மற்றும் சில அடிப்படை புள்ளியியல் அறிவு. இருப்பினும், பணிகள் மற்றும் தொழில் பாதைகள் விரைவாக வேறுபடுகின்றன. தரவு விஞ்ஞானிகள் நுண்ணறிவுகளைப் பெறுவதிலும் கணிப்புகளைச் செய்வதிலும் கவனம் செலுத்துகின்றனர், அதேசமயம் தரவு பொறியாளர்கள் தரவு சுற்றுச்சூழல் அமைப்பு வலுவானதாகவும் நம்பகமானதாகவும் இருப்பதை உறுதிசெய்கிறார்கள். ஒரு அறிவார்ந்த வல்லுநர் தரவு அறிவியல் நிலையில் தொடங்கி, மற்றவர்கள் தங்களுக்குக் கீழே கருதும் பணிகளைச் சமாளிக்க முடுக்கிவிடுவதன் மூலம் தரவுப் பொறியியல் தொழிலுக்குச் செல்லலாம்.

தரவு விஞ்ஞானிகள், குறிப்பாக உயர் கல்விப் பின்னணியில் உள்ளவர்கள், தரவுகளை சுத்தம் செய்தல் மற்றும் தயாரிப்பது கடினமானதாகவே பார்க்கின்றனர் . அவர்களைப் பொறுத்தவரை, இது வேலையின் "சலிப்பூட்டும்" பக்கமாகும் - முன்கணிப்பு மாதிரிகளை உருவாக்குதல் அல்லது அதிநவீன அல்காரிதம்களைப் பயன்படுத்துதல் போன்ற மிகவும் கவர்ச்சியான பணிகளின் வழியில் கிடைக்கும் முணுமுணுப்பு வேலை. இருப்பினும், நன்கு கட்டமைக்கப்பட்ட தரவு இல்லாமல், அந்த வழிமுறைகள் பயனற்றவை. தரவு பொறியாளர்கள் இதை நன்கு அறிவார்கள் மற்றும் தரவு விஞ்ஞானிகள் நம்பியிருக்கும் கட்டமைப்பை உருவாக்கும் சவாலை ஏற்றுக்கொள்கிறார்கள். தரவை பிரித்தெடுத்தல் மற்றும் மாற்றுவதை தானியக்கமாக்குவது முதல் சுத்தமான, நன்கு ஒழுங்கமைக்கப்பட்ட தரவுத்தொகுப்புகளை வழங்கும் குழாய்களை உருவாக்குவது வரை, இந்த பணிகள் தரவு பொறியியலின் ரொட்டி மற்றும் வெண்ணெய் ஆகும்.

சில தரவு விஞ்ஞானிகள் குழப்பமான தரவுத்தொகுப்புகளிலிருந்து பொருளைப் பிரித்தெடுக்க போராடும் போது, தரவு பொறியாளர்கள் அளவிடக்கூடிய அமைப்புகளை உருவாக்குவதில் மும்முரமாக உள்ளனர், அவை நேரத்தையும் ஏமாற்றத்தையும் குறைக்கும். CSV கோப்புகளுடன் மல்யுத்தம் செய்து SQL பற்றி புகார் செய்வதற்கு பதிலாக, ஆர்வமுள்ள தரவு பொறியாளர் இந்த கருவிகளை தங்களுக்கு சாதகமாக பயன்படுத்துகிறார். அவை செயல்முறைகளை நெறிப்படுத்துகின்றன, தரவு தயாரிப்பு பணிகளை தானியக்கமாக்குகின்றன, மேலும் நிகழ்நேர அல்லது திட்டமிடப்பட்ட தரவு புதுப்பிப்புகளை அனுமதிக்கும் வலுவான பைப்லைன்களை செயல்படுத்துகின்றன. அவை தரவுகளை நகர்த்துவது மட்டுமல்ல; அவை தரவு சுற்றுச்சூழல் அமைப்பின் முதுகெலும்பை உருவாக்குகின்றன. தரவு விஞ்ஞானிகள் தங்கள் தரவுத்தொகுப்புகளை கைமுறையாகத் தயாரித்து முடிப்பதற்குள், தரவுப் பொறியாளர் ஏற்கனவே செயல்முறையை தானியக்கமாக்கி, மீண்டும் மீண்டும் செய்யும் வேலையை நீக்கி, மேலும் மூலோபாயப் பணிகளுக்கான நேரத்தை விடுவிக்கிறார்.

வேலை தலைப்புகள் மற்றும் வேலை செயல்பாடுகளுக்கு இடையிலான இந்த துண்டிப்பு அணிகளுக்குள் உராய்வை உருவாக்கலாம், சில தரவு விஞ்ஞானிகள் தங்கள் பாத்திரங்களில் "உண்மையான" தரவு அறிவியல் வேலை இல்லாததால் புலம்புகின்றனர். ஆனால் தரவு பொறியாளரைப் பொறுத்தவரை, அவர்கள் இங்குதான் செழித்து வளர்கிறார்கள். எந்த இயந்திரக் கற்றல் கட்டமைப்பானது சிறந்தது என்று அவர்களது சகாக்கள் விவாதிக்கும்போது, தரவு பொறியாளர்கள் உற்பத்தி-தர தீர்வுகளை செயல்படுத்துவதில் மும்முரமாக உள்ளனர், தற்காலிக பகுப்பாய்வுகளைத் தாண்டி மீண்டும் மீண்டும் மதிப்பை வழங்கும் அமைப்புகளை உருவாக்குகிறார்கள். தரவுகள் தடையின்றிப் பாய்வதையும், நுண்ணறிவுகள் திறமையாக உருவாக்கப்படுவதையும், அமைப்பு சீராக இயங்குவதையும் அமைதியாக உறுதிசெய்து, தரவு உலகின் பாடப்படாத ஹீரோக்கள் அவர்கள்.

மேலும், தரவு பொறியாளர்கள் தரவு விஞ்ஞானிகள் மற்றும் பிற வணிக பிரிவுகளுக்கு இடையிலான இடைவெளியைக் குறைக்க தனித்துவமாக நிலைநிறுத்தப்பட்டுள்ளனர். தரவு தயாரிப்பின் "கடினமான பகுதி" முடிந்ததும், அவர்கள் தொழில்நுட்பம் அல்லாத பங்குதாரர்களுக்கு அணுகக்கூடிய, பயனர் நட்பு பயன்பாடுகளை உருவாக்க முடியும். இவை டாஷ்போர்டுகள், காட்சிப்படுத்தல் கருவிகள் அல்லது நிறுவனம் முழுவதும் தரவு நுண்ணறிவுகளை ஜனநாயகப்படுத்தும் இணைய அடிப்படையிலான தளங்களாக இருக்கலாம். தரவு விஞ்ஞானிகள் இன்னும் தங்கள் பைதான் ஸ்கிரிப்ட்களை மெருகூட்டிக்கொண்டிருக்கும் வேளையில், தரவு பொறியாளர் ஏற்கனவே அளவிடக்கூடிய, நிலையான மற்றும் பயன்படுத்தக்கூடிய ஒன்றை உருவாக்கியுள்ளார்.

இறுதியில், இந்த டைனமிக் ஒரு ஆழமான உண்மையை வெளிப்படுத்துகிறது: பல நிறுவனங்களுக்கு அவர்கள் நினைப்பது போல் அவசரமாக தரவு விஞ்ஞானிகள் தேவையில்லை . அவர்களின் தரவு கட்டமைக்கப்பட்டதாகவும், சுத்தமாகவும், அணுகக்கூடியதாகவும் இருப்பதை உறுதிசெய்யக்கூடிய தரவு பொறியாளர்கள் அவர்களுக்கு உண்மையில் தேவை. தரவு விஞ்ஞானிகள் உருவாக்கும் நுண்ணறிவுகள், கணிப்புகள் மற்றும் மாதிரிகள் அடிப்படை தரவு உள்கட்டமைப்பைப் போலவே சிறந்தவை. "உண்மையான" தரவு விஞ்ஞானியாக யார் தகுதி பெறுகிறார்கள் என்பது குறித்து சிலர் தொடர்ந்து வாதிடுகையில், தரவு பொறியாளர்கள் இது தலைப்பைப் பற்றியது அல்ல - இது வேலையைச் செய்வது பற்றியது என்பதை அறிவார்கள்.

நீங்கள் ஆர்வமுள்ள டேட்டா இன்ஜினியராக இருந்தால், இந்தப் பாதை உங்கள் பொன்னான வாய்ப்பாக இருக்கும். இந்த தவறாக வகைப்படுத்தப்பட்ட தரவு அறிவியல் பாத்திரங்களுக்குள் நுழைவதன் மூலம், மற்றவர்கள் தொட விரும்பாத சிக்கல்களைத் தீர்ப்பதில் நீங்கள் அமைதியாக ஒரு தொழிலை உருவாக்க முடியும். நீங்கள் பணிப்பாய்வுகளை தானியங்குபடுத்தலாம், செயல்முறைகளை நெறிப்படுத்தலாம் மற்றும் நிறுவனத்தின் தரவு உள்கட்டமைப்பு திடமானதாகவும், அளவிடக்கூடியதாகவும் இருப்பதை உறுதிசெய்யலாம். உங்கள் சகாக்கள் தங்கள் மாதிரிகளை மாற்றியமைப்பதில் கவனம் செலுத்துகையில், நீங்கள் நிறுவனத்திற்கு உண்மையான மதிப்பைக் கொண்டுவரும் அமைப்புகளை உருவாக்குவீர்கள், மேலும் நீங்கள் கவனிக்கப்படாமல் இருப்பீர்கள்-நீங்கள் செய்த வேலையை நிறுவனம் எவ்வளவு நம்பியுள்ளது என்பது தெளிவாகும் வரை.

இறுதியில், தரவு பொறியாளர்கள் தரவு அறிவியலை சாத்தியமாக்குபவர்கள். சவாலை ஏற்றுக்கொள்ள விரும்புவோருக்கு, வெகுமதிகள் கணிசமானதாக இருக்கலாம்-தொழில் வளர்ச்சியின் அடிப்படையில் மட்டுமல்லாமல், தரவு உந்துதல் இயந்திரத்தை அமைதியாக இயக்குவது நீங்கள்தான் என்பதை அறிவது.

என்னைப் பற்றி: தரவு, AI, இடர் மேலாண்மை, உத்தி மற்றும் கல்வி ஆகியவற்றை ஒருங்கிணைக்கும் 25+ வருட IT அனுபவம். 4x உலகளாவிய ஹேக்கத்தான் வெற்றியாளர் மற்றும் தரவு வழக்கறிஞரின் சமூக தாக்கம். தற்போது பிலிப்பைன்ஸில் AI பணியாளர்களை ஜம்ப்ஸ்டார்ட் செய்யும் பணியில் ஈடுபட்டுள்ளனர். இங்கே என்னைப் பற்றி மேலும் அறிக: https://docligot.com