Ntirho wa Data eka Dyondzo ya Muchini Eka ndhawu ya namuntlha leyi fambiwaka hi AI, ku dyondza hi muchini, AI ni ti- chatbot swi hundzula tiindasitiri hi rivilo leri nga si tshamaka ri va kona. Mabindzu yo tala ya langutele ku hlanganisa AI eka matirhelo ya wona, kambe ndlela leyi tisisiteme leti ti akiwaka ha yona hakanyingi ya honisiwa. Xana i xiaki lexikulu? Datara. Modele wa ku dyondza hi muchini wu kahle ntsena ku fana na data leyi wu leteriweke eka yona. Kambe xana data leyi hinkwayo yi huma kwihi? Xiphemu xa nkoka xa datha leyi hi titshegeke ha yona xi kumeka erivaleni, hakanyingi xi kumeka eka swiviko swa swihangalasamahungu swa le ka social media, tinhlamuselo ta vatirhisi, na swin’wana leswi nga eka inthanete. For , xin’wana xa swihlovo leswi fuweke swinene swa data i , leyi yaka emahlweni yi khulukisa swilo swa nkarhi wa xiviri leswi endliweke hi vatirhisi. Hambiswiritano, ntlhontlho wu le ka ndlela yo hlengeleta rungula leri hi ndlela leyinene ni leyi tengeke. sentiment analysis Twitter Xiphiqo xa Nhlengeleto wa Data ya Ndhavuko ya Twitter Loko ndzi sungula ku tirha eka phurojeke ya nxopaxopo wa matitwelo hi ku tirhisa datha ya Twitter, eku sunguleni ndzi ehlekete ku tirhisa API ya Twitter. Hambiswiritano, ndzi hatle ndzi hlangana na xipimelo lexikulu: API ya xiyimo xa mahala yi nyika ntsena mfikelelo eka ti-tweet ku suka eka masiku ya nkombo lama hundzeke. Eka nxopaxopo wa matitwelo lowu heleleke, ngopfungopfu eka tinhlokomhaka leti nga na trending kumbe swiendlakalo swa tipolitiki leswi hlanganisaka mavhiki kumbe tinhweti, xipimelo lexi xi ringanyeta swinene vukulu na khwalithi ya datha leyi nga kona. Loko ku ndlandlamuxa eka xiyimo xa le henhla xa API a ku ri xihlawuhlawu, ntsengo a wu yirisa eka phurojeke leyitsongo yo fana na ya mina. Leswi swi ndzi siye na tindlela timbirhi: ku ringeta ku hlengeleta datha hi voko hi ku tirhisa ku khwaxa ka ndhavuko (leswi nga ta na sete ya swona ya mintlhontlho yo fana na CAPTCHA, ku hungutiwa ka vatirhi, na tirhekhodo leti nga helelangiki) kumbe ku kuma ntlhantlho wun’wana. Hi kona laha Bright Data yi nghenaka kona, yi tlhantlha timhaka leti hi ndlela yo pfumala swiphiqo hi ku nyika tidathaseti ta Twitter leti tengeke, leti nga ringanisiwaka, na ta matimu. Ematshan’wini yo pfaleriwa hi swipimelo swa API, a ndzi kota ku fikelela datha yo hambana, ya xiyimo xa le henhla ya phurojeke ya mina handle ka swiphiqo leswi tolovelekeke. Nkongomiso wa Goza hi Goza ro Tirhisa Dataset ya Twitter leyi akiweke ka ha ri emahlweni ya Bright Data Eka xitsalwana lexi, ndzi ta ku fambisa hi ndlela leyi u nga tirhisaka Bright Data’s Marketplace ku kuma data ya xiyimo xa le henhla ya Twitter eka nxopaxopo wa matitwelo na ku avelana ntokoto wa mina. Goza 1: Tsarisa u tlhela u nghena eka Pulatifomo ya Data yo Vonakala Khoma ndlela eka webusayiti ya Bright Data kutani u endla akhawunti ya mahala ku sungula. Loko se u nghene, u ta kongomisiwa eka Data Marketplace, laha ti dataset to hambana leti akiweke ka ha ri emahlweni ti nga ngheniwaka, ku katsa na leti fambelanaka na Twitter. Goza 2: Ku lavisisa Dataset leyi Faneleke Loko se u hlawurile dataset ya wena, u nga yi dawuniloda hi ku kongoma eka muchini wa wena wa laha kaya kutani u yi fikelela hi ku tirhisa API. Endlelo ro hatlisa ri ku pfumelela ku sungula ku tirha hi datha ya xiyimo xa le henhla kwalomu ka hi ku hatlisa. Ndzi tirhise sete ya data ya Twitter-posts Goza 3: Layicha na ku Basisa Data Data ya Twitter yo ka yi nga swekiwanga hi ntolovelo yi na metadata yo tala leyi nga ha vaka yi nga ri ya nkoka eka nxopaxopo wa matitwelo, ku fana na vuxokoxoko bya mutirhisi, ti-URL ta swifaniso, na datha yin’wana leyi nga riki ya matsalwa. Hi ta kongomisa eka tsalwa ra ti tweet, tanihileswi hi kona laha nxopaxopo wa matitwelo wu nga ta tirhisiwa kona, kun’we na timetriki ta ku nghenelela leti faneleke ku fana na ku rhumela nakambe na ku tsakela. import pandas as pd df = pd.read_csv("path_to_your_dataset.csv") df.head() Goza leri landzelaka i ku basisa datha hi ku khoma mimpimo leyi kayivelaka na ku susa tikholomu leti nga riki ta nkoka. df_clean = df[['user_posted', 'description', 'date_posted', 'reposts', 'likes']] df_clean = df_clean.dropna(subset=['description']) df_clean = df_clean.drop_duplicates(subset=['description']) df_clean.head() Goza 4: Nxopaxopo wa Mintlhaveko — Ku humesa Nhlamuselo eka ti-Tweet Sweswi hi basisile data naswona hi nga na tsalwa leri faneleke, i nkarhi wo nghena eka . Nxopaxopo wa mintlhaveko wu vula ku kumisisa thoni ya mintlhaveko endzhaku ka marito—loko tweet yi ri leyinene, yo biha kumbe yo ka yi nga ri na xihlawuhlawu. nxopaxopo wa matitwelo Ndzi tirhise layiburari leyi dumeke leyi vuriwaka (Valence Aware Dictionary and Sentiment Reasoner), leyi endleriweke ngopfu-ngopfu matsalwa ya swihaxa-mahungu swa le ka social media. Swi kahle swinene eka ku khoma ririmi leri nga riki ra xivumbeko ku fana na slang na emojis. VADER Xiphemu xa khodi lexi nga laha hansi xi endla nxopaxopo wa matitwelo hi ku tirhisa VADER from vaderSentiment.vaderSentiment import SentimentIntensityAnalyzer analyzer = SentimentIntensityAnalyzer() def get_sentiment(text): sentiment = analyzer.polarity_scores(text) return sentiment['compound'] df_clean['sentiment'] = df_clean['description'].apply(get_sentiment) df_clean.head() Goza ra 5: Ku xopaxopa ku hangalasiwa ka mintlhaveko Loko swikoweto swa matitwelo swi hlayiwile, hi nga xopaxopa ku hangalasiwa ku vona leswaku ti tweet ti kahle kumbe ti bihile ku fikela kwihi hi xiringaniso. Leswi swi nga nyika vutivi eka miehleketo hinkwayo ya vaaki mayelana na nhlokomhaka yo karhi kumbe xiendlakalo xo karhi. Hi nga tlhela hi vona hi mahlo ya mianakanyo ku hangalasiwa ka mintlhaveko hi ku tirhisa kumbe ku vona mintlhaveko ya nkoka. histogram wordcloud Xihundla lexi xi ta ku nyika ku twisisa lokunene ka ku hangalaka ka mintlhaveko, hambi ku ri ku tshemba eka leswinene, swo biha, kumbe ku nga hlanganyeli. Eka mhaka leyi, Kuna nhlayo ya le henhla ya ti tweets leti nga riki na xihlawuhlawu. Goza 6: Ku Fambisanisa Ntlhaveko na Ku Nghenela Sweswi hi nga na swikoweto swa matitwelo eka tweet yin’wana na yin’wana, goza leri landzelaka i ku lavisisa loko ku ri na ku yelana exikarhi ka matitwelo na timetriki ta ku nghenela ku fana na ku tsakela na ku rhumela nakambe. Eka vuxopaxopi bya swihangalasamahungu swa le ka social media, munhu a nga langutela leswaku ku va na mavonelo lamanene swi nga endla leswaku ku va na ku nghenelela lokukulu (ku tsakela ko tala, ku tlhela ku tsariwa nakambe). Hambiswiritano, xana sweswo swi tano hakunene? Ku kuma, hi nga hlayela ku yelana exikarhi ka swikoweto swa matitwelo na timetriki ta ku nghenelela, mimbuyelo hi leyi: Correlation between sentiment and likes: 0.022806738610786123 Correlation between sentiment and reposts: 0.008885789875330416 Hi ku nyikiwa mimpimo ya ku yelana leyi tsaneke ku suka eka nxopaxopo wa mina wa datha, hi vona leswaku a ku na vuxaka byo tiya exikarhi ka matitwelo na ku nghenelela. Ku yelana exikarhi ka sentiment na likes a ku ri 0.02, naswona eka sentiment na reposts, a ku ri 0.008 ntsena. Mimpimanyeto leyi yi ringanyeta leswaku . timetriki ta ku nghenelela to fana na ti likes na reposts a ti kuceteriwi ngopfu hi matitwelo ya ti tweets Ku Ehleketa Hi Vuntshwa Hi Ntirho wa Ntlhaveko eka ku Nghenela Ku yelana loku tsaneke exikarhi ka matitwelo na ku nghenelela swi kombisa leswaku ku na swin’wana leswi tlangaka. Hambileswi nxopaxopo wa mintlhaveko wu hi pfunaka ku twisisa mavonelo ya vaaki, ku nghenelela swi nga ha endleka ku hlohloteriwa hi swilo leswi engetelekeke, swo tanihi: : Tinhlokomhaka leti trending ti tala ku humesa ku nghenelela ko tala ku nga langutiwi matitwelo. Ku yelana ka nhundzu : Tiakhawunti leti dumeke ti tala ku kuma ku nghenelela ka le henhla, ku nga langutiwi matitwelo ya tona ya tweet. Nkucetelo wa vatirhisi : Ti tweet leti rhumeriwaka hi nkarhi wa swiendlakalo leswi hanyaka kumbe minkarhi ya nhlohlorhi ti tala ku kuma nyingiso. Nkarhi Loko nxopaxopo wa matitwelo wu ri xitirhisiwa xa nkoka xo twisisa ndlela leyi vanhu va titwaka ha yona hi nhlokomhaka, a hi minkarhi hinkwayo ku nga xikombiso lexi tshembekaka xa ku nghenelela. Ku kuma vutivi lebyi dzikeke eka mahanyelo ya mutirhisi, i swa nkoka ku languta swilo swin’wana swo fana na nkarhi wa leswi nga endzeni, ku yelana, na nkucetelo wa mutirhisi.
