المهارات الرقمية، الصف الثاني عشر · الوحدة 2 · الوحدات والمواضيع
تحليل البيانات
الدروس باختصار
البيانات والمعلومات وتحديد نوع البيانات
نتدرّب هنا على أمرين أساسيين في تحليل البيانات: التمييز بين البيانات (Data) والمعلومات (Information)، ثم تحديد نوع أي قيمة نراها (نص أو عدد أو منطقية أو قائمة أو صف أو قاموس) من شكل كتابتها.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- البيانات والمعلومات: البيانات خام: أرقام وحروف وصور وتسجيلات صوتية جُمعت ولم تُفسَّر بعد، ولا تفيد وحدها في قرار. فإذا فحصناها ومعالجناها وربطناها بسياق خرجت منها معلومات لها معنى. هدف تحليل البيانات هو تحويل البيانات الخام إلى معارف ومعلومات تساعد على اتخاذ القرار. اختبار عملي: هل القيمة قياس أو إدخال خام كما جُمع؟ فهي بيانات. هل رُتّبت أو لُخّصت أو حُوّلت إلى حكم أو نتيجة مفسَّرة؟ فهي معلومات.
- أمثلة على التصنيف: علامات الطلبة في مادة العلوم كما سُجّلت: بيانات خام (أرقام). نسب هطل الأمطار خلال أسبوع كما قيست: بيانات خام. قائمة أسماء الطلبة بعد أن رُتّبت هجائيًّا: معلومات لأن الأسماء عولجت بالترتيب فصارت مفيدة للبحث. نتائج الطلبة النهائية في امتحان قبول (ناجح أو راسب): معلومات لأنها خلاصة مفسَّرة حُوّلت فيها العلامات إلى حكم يُبنى عليه قرار القبول.
- أنواع البيانات من شكل الكتابة: نتعرّف النوع من الشكل: كلمة بين اقتباسين نص. عدد صحيح مثل 20 أو سالب مثل -56 بيانات رقمية. True أو False بيانات منطقية. أقواس مربعة [20,32,45,90] قائمة. أقواس دائرية ("apple", 'Banana', "Cherry") صف. أقواس مجموعة بأزواج مفتاح وقيمة قاموس. أما عنوان البريد hello@gmail.com فنص لأنه يتكوّن من حروف ورموز خاصة مثل @، وقيمة بين اقتباسين مثل "5763_5432_1235" نص حتى لو ضمّت أرقامًا لأن ما بين الاقتباسين نص.
- القيمة 20 , 5 بلا أقواس: الشكل 20 , 5 يحتمل قراءتين: إن كانت الفاصلة علامة عشرية فهي العدد 20.5 أي بيانات رقمية (عشرية). وإن كانت قيمتين منفصلتين بفاصلة دون أي أقواس فبايثون تقرؤها صفًّا (Tuple) من عنصرين، فالفاصلة هي التي تصنع الصف. لا تُعدّ قائمة لأن القائمة تحتاج أقواسًا مربعة. لذلك نكتب في الإجابة أي القراءتين اعتمدنا وسببها.
مقدمة في تحليل البيانات
البيانات أرقام ونصوص وصور وغيرها، وتصبح مفيدة حين نحلّلها لنفهمها ونتّخذ قرارًا. في هذا الدرس نتعرّف أنواع البيانات، ومراحل عملية التحليل السبع، وأهميتها في التنبؤ وكشف العلاقات والأنماط والاتجاهات، وأنواع التحليل الأربعة: الوصفي والتشخيصي والتنبؤي والتوجيهي.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- أنواع البيانات: العددية: صحيحة (Integer) مثل `10` وعشرية (Float) مثل `3.14`. النصية: حرف (Character) وسلسلة نصية (String) مثل `"Hello"`. المنطقية (Boolean): `True` أو `False`. وهناك القوائم `[1, 2, 3]`، والمجموعات (Sets) غير المرتبة وبلا تكرار `{1, 2}`، والصفوف (Tuples) التي لا تُعدَّل بعد تعريفها `(1, 2)`، والقواميس (Dictionaries) أزواج مفتاح وقيمة `{"name": "John"}`، والتصنيفية مثل حار/بارد، والوقت والتاريخ.
- مراحل عملية التحليل: سبع مراحل متتابعة، وتعتمد كل مرحلة على ما قبلها: (1) تحديد الأهداف والأسئلة، (2) الإعداد: أي بيانات نحتاج ومن أين، (3) جمع البيانات، (4) تنظيف البيانات: إزالة المكرر ومعالجة القيم المفقودة وتصحيح الأخطاء، (5) تحليل البيانات بأدوات مثل Python وExcel، (6) تفسير البيانات وعرضها بالرسوم واللوحات، (7) اتخاذ القرارات وتنفيذ الإجراءات.
- أهمية التحليل: يساعد على: التنبؤ بالمستقبل اعتمادًا على بيانات سابقة، وكشف الارتباط بين المتغيّرات (موجب: يزداد أحدهما بزيادة الآخر، سالب: ينقص أحدهما بزيادة الآخر، أو لا ارتباط)، وتعرّف الأنماط المتكررة، ورصد الاتجاهات (تصاعدي، تنازلي، جانبي).
- أنواع تحليل البيانات: الوصفي (Descriptive) يجيب: ما الذي حدث؟ ويلخّص البيانات بالوسط والتكرار والتشتت. التشخيصي (Diagnostic): لماذا حدث ذلك؟ ويبحث عن الأسباب الجذرية. التنبؤي (Predictive): ماذا سيحدث مستقبلًا؟ ويستعمل النماذج الإحصائية وتعلّم الآلة. التوجيهي (Prescriptive): ماذا يجب أن نفعل حيال ذلك؟ ويقدّم توصيات عملية.
- المواطنة الرقمية عند التحليل: نحترم خصوصية الأفراد ونستعمل بياناتهم وفق القوانين، ونكون شفافين في بيان هدف التحليل وكيفية استعمال البيانات، ونتحمّل مسؤولية القرارات المبنية على النتائج.
تقنيات تحليل البيانات
قبل تحليل أي بيانات نحتاج إلى جمعها بطريقة تناسب سؤالنا، ثم استكشافها وتنظيفها وتمثيلها بيانيًا، ثم اختيار أداة تحليل مناسبة. نتعلّم هنا طرائق جمع البيانات، ومراحل استكشافها، وأنواع المخططات ومتى نستعمل كلًّا منها، وأدوات التحليل (بايثون وإكسل وغيرهما) ومعايير المفاضلة بينها.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- طرائق جمع البيانات: لكل طريقة استعمال يناسبها: المقابلات للبيانات النوعية المفصّلة؛ الاستبانات لبيانات شاملة وموحّدة من شريحة واسعة؛ المسوحات لعدد أكبر من الأفراد لرصد الاتجاهات والتغيّرات مع الزمن؛ الملاحظة لمراقبة السلوك مباشرة وبعيدًا عن التحيّز؛ مجموعات التركيز لاستكشاف آراء مجموعة صغيرة؛ دراسة الحالة لفهم وحدة واحدة بعمق. والمقابلات تتنوّع حسب عدد المشاركين (فردية/جماعية) وطبيعتها (رسمية بأسئلة مجهّزة/غير رسمية بأسئلة مفتوحة) ووسيلة التنفيذ (وجهًا لوجه/عن بُعد).
- مراحل استكشاف البيانات: الاستكشاف أول مراحل التحليل. يبدأ بتحديد المشكلة أو السؤال ثم جمع البيانات من مصادر متنوعة (قواعد بيانات، واجهات برمجية APIs، جداول، ملفات نصية). بعد ذلك تنظيف البيانات بإزالة الأخطاء والقيم المفقودة وغير المنتمية، ثم تمثيلها بيانيًا للكشف عن الأنماط والعلاقات والاتجاهات والقيم الشاذة، ثم تلخيصها بالإحصاءات الوصفية (كالمتوسط)، وصولًا إلى توجيه التحليل العميق. وهي عملية تكرارية تحتاج مراجعات وتنقيحًا مستمرًا.
- اختيار المخطط المناسب: يعتمد على نوع البيانات: المدرّج التكراري (Histogram) للتوزيعات التكرارية للبيانات العددية المتصلة؛ المخطط العمودي (Bar Chart) للبيانات التصنيفية؛ مخطط التشتت (Scatter Plot) للعلاقة بين متغيرين عدديين؛ المخطط الصندوقي (Box Plot) لنطاق البيانات وتوزيعها وإبراز القيم غير المنتمية؛ مخطط السلاسل الزمنية (Time Series) للبيانات على مدى زمني؛ القطاعات الدائرية (Pie Chart) للنسب المئوية بين فئات قليلة (3 إلى 5).
- أدوات تحليل البيانات: بايثون (Python): مجانية ومفتوحة المصدر وواسعة الاستخدام، ومن مكتباتها: Pandas لمعالجة الجداول، وNumPy للمصفوفات والعمليات الحسابية، وMatplotlib للرسوم والمخططات، وSciPy للحسابات العلمية، وScikit-learn للتعلّم الآلي، وPySpark للبيانات الضخمة، وNLTK للغة الطبيعية. إكسل (Excel): يوفّر أكثر من 20 نوعًا من المخططات، منها مخططات الرادار لمقارنة عدة متغيرات، وخرائط الأشجار (Treemap) لإبراز العناصر الأكثر أهمية. وهناك أدوات أخرى: R للتحليل الإحصائي، وSQL للاستعلام عن قواعد البيانات العلائقية، وPower BI للتقارير التفاعلية، وGoogle BigQuery لتحليل البيانات الضخمة على السحابة.
- المفاضلة بين الأدوات والمواطنة الرقمية: لا توجد أداة تناسب كل الحاجات، لذا نفهم طبيعة البيانات أولًا ثم نقارن الأدوات بمعايير: السعر، وسهولة التعلّم، والفاعلية في إدارة البيانات، والقدرات الرسومية. وعند جمع البيانات نراعي الحقوق الرقمية (حق الأفراد في معرفة بياناتهم وطلب حذفها والالتزام بالقوانين) والأخلاقيات الرقمية (أخذ موافقة واضحة وصريحة وتوضيح الغرض من الجمع).
تصوّر البيانات وتقنيات أنواع التحليل والمقابلات
نجمع هنا أربع نقاط: تعريف تصوّر البيانات (Data Visualization)، والتقنية التي تُستخدم في كل نوع من أنواع تحليل البيانات الأربعة (الوصفي والتشخيصي والتنبؤي والتوجيهي)، والفرق بين المقابلة الرسمية وغير الرسمية من حيث المرونة.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- تصوّر البيانات: هو تمثيل بصري للبيانات في مخططات ورسوم بيانية. يمثّل مرحلة من مراحل استكشاف البيانات تأتي بعد تنظيف البيانات، وهدفه الكشف عن الأنماط (Patterns) والعلاقات والاتجاهات (Trends) واكتشاف القيم غير المتسقة (Anomalies) بسهولة. يختار الباحث الطريقة بحسب نوع البيانات: المدرّج التكراري (Histogram) للبيانات العددية المتصلة، والأعمدة (Bar Chart) للبيانات التصنيفية.
- تقنيات كل نوع من أنواع التحليل: الوصفي (ماذا حدث؟): مقاييس التكرار والجداول التكرارية، ومقاييس النزعة المركزية والتشتت (الوسط والوسيط والمنوال والتباين والانحراف المعياري)، وتحليل توزيع البيانات. التشخيصي (لماذا حدث؟): تحليل السلاسل الزمنية، وتحليل الارتباط. التنبؤي (ماذا قد يحدث؟): النماذج الإحصائية وخوارزميات تعلّم الآلة، وتستعمل بايثون (Pandas وNumPy وScikit-Learn) وSQL وAzure Machine Learning. التوجيهي (ماذا نفعل؟): الخوارزميات، وخوارزميات تعلّم الآلة.
- اختيار تقنية لكل نوع: عند طلب تقنية واحدة لكل نوع تكفي واحدة مما سبق: التوجيهي: الخوارزميات أو تعلّم الآلة. التشخيصي: السلاسل الزمنية أو تحليل الارتباط. الوصفي: مقاييس النزعة المركزية. التنبؤي: النماذج الإحصائية أو تعلّم الآلة. يساعد على التذكّر أن التوجيهي يقدّم توصيات لذلك يستخدم الخوارزميات، وأن التشخيصي يبحث في العلاقة بين المتغيرات عبر الزمن.
- المقابلات: الرسمية وغير الرسمية: المقابلة طريقة شائعة لجمع البيانات. بحسب عدد المشاركين: فردية للحصول على بيانات عميقة ومفصّلة من شخص واحد، وجماعية لجمع آراء متعددة معًا. وبحسب طبيعتها: الرسمية يخطَّط لها مسبقًا بأسئلة مجهّزة وواضحة؛ وغير الرسمية بلا تخطيط دقيق ومحكم وأسئلتها مفتوحة تتيح نقاشًا حرًّا. إذن المرونة صفة المقابلة غير الرسمية لا الرسمية، فالعبارة «الرسمية أكثر مرونة» غير صحيحة.
مخطط الأعمدة: اللون والعرض واسم الملف وعناوين المحاور
نفهم هنا جملة رسم الأعمدة plt.bar(data['name'], data['average'], color='red', width=0.5) جزءًا جزءًا: ما الغرض منها، وما اسم ملف البيانات الذي تقرأه، وما معنى color وwidth وماذا يحدث إذا غيّرنا العرض، ومن أين نعرف عنوان كل محور.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- البرنامج الكامل للأعمدة: مخطط الأعمدة يناسب بيانات تُقارن بين فئات. البرنامج:
import pandas
import matplotlib.pyplot as plt
data = pandas.read_csv('C:\\Users\\user\\OneDrive\\Desktop\\testdoc.csv')
plt.title('average of Class')
plt.xlabel('Names')
plt.ylabel('Average')
plt.bar(data['name'], data['average'], color='red', width=0.5)
plt.show()
الجملة plt.bar تعمل على رسم الأعمدة بعد قراءة الملف وتنسيق الرسم. - معاني أجزاء الجملة: data['name'] هو عمود الأسماء على المحور السيني. data['average'] هو عمود المعدلات على المحور الصادي (ارتفاع كل عمود). color='red' يجعل لون الأعمدة أحمر بدل الأزرق الافتراضي. width=0.5 يضبط عرض كل عمود 0.5 بدل 0.8 الافتراضي. فهدف الجملة رسم مخطط أعمدة يعرض معدل كل طالب باسمه بأعمدة حمراء عرضها 0.5.
- اسم الملف وعناوين المحاور: الجملة plt.bar وحدها لا تذكر اسم الملف، بل يُعرف من أمر القراءة في البرنامج نفسه: read_csv('...testdoc.csv') فاسم الملف testdoc.csv (الامتداد csv). وكذلك عنوانا المحورين يعرفان من أمري xlabel وylabel: عنوان المحور السيني Names، وعنوان المحور الصادي Average.
- تغيير العرض واللون: كلما كبرت قيمة width عرضت الأعمدة أعرض وصغرت المسافات بينها. إذا غيّرنا 0.5 إلى 0.9 صارت الأعمدة أعرض وأكثر التصاقًا بعضها ببعض، ولا يتغيّر ارتفاعها ولا لونها. وإن حذفنا color عاد اللون الأزرق الافتراضي، وإن حذفنا width صار العرض 0.8. يمكن اختيار لون آخر مثل 'green' بالطريقة نفسها.
الرسم البياني الخطي من ملف أو من قائمتين وقراءة الاتجاه العام
نكتب هنا برامج رسم الخط البياني من البداية: الأوامر اللازمة لرسم بيانات من ملف CSV أو من قائمتين، وكيف نضيف العنوان وعناوين المحورين والمفتاح، وماذا يظهر على الشاشة عند التنفيذ، وكيف نقرأ الاتجاه العام للرسم.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- خطوات رسم خط بياني من ملف: (1) استدعاء المكتبتين: import pandas و import matplotlib.pyplot as plt. (2) قراءة الملف: data = pandas.read_csv('...csv'). (3) إضافة العنوان plt.title('average of class'). (4) عنوانا المحورين plt.xlabel('Names') وplt.ylabel('Average'). (5) الرسم plt.plot(data['name'], data['average'])، حيث عمود name على المحور السيني وعمود average على المحور الصادي. (6) إظهار الرسم plt.show(). لمفتاح الرسم نضيف قبل show الأمر plt.legend(['average']).
- ماذا يظهر عند التنفيذ؟: يظهر رسم بياني خطي: في أعلاه العنوان average of class، وعلى المحور السيني عنوان Names وتحته أسماء الطلاب، وعلى المحور الصادي عنوان Average وتدرّج قيم المعدلات. وهناك خط واحد يصل بين نقطة كل طالب ومعدله فيرتفع وينخفض بحسب المعدلات، وتظهر أعلى نقطة لأعلى معدل وأدنى نقطة لأدنى معدل. لا يظهر مفتاح لأن legend غير مكتوبة. هذا الرسم يتيح المقارنة بين معدلات طالبين بسهولة.
- الرسم من قائمتين: الدالة plot تحتاج مجموعتين من القيم بالطول نفسه، ويمكن أن تكونا قائمتين: plt.plot(heights, weights) حيث heights قائمة الأطوال على المحور السيني وweights قائمة الأوزان على المحور الصادي. تُرسم النقاط بترتيب القائمتين فإن لم تكن القيم السينية مرتبة ظهر الخط متعرّجًا. نضيف العناوين نفسها: title وxlabel وylabel ثم show.
- قراءة الاتجاه العام: عند رسم العلاقة بين متغيرين كساعات الدراسة والعلامات ننظر إلى اتجاه النقاط: إذا ارتفعت العلامات بزيادة الساعات فالعلاقة موجبة واتجاه الرسم صاعد. وإذا انخفضت قيمة الثاني بزيادة الأول فالعلاقة سالبة والاتجاه هابط. نستعمل لذلك المخطط المبعثر plt.scatter(x, y) أو الخط، ثم نصف الاتجاه بجملة مثل: كلما زادت ساعات الدراسة زادت العلامة.
دوال Matplotlib: plot وbar وshow وtitle وxlabel وylabel وlegend
تعتمد رسوم Matplotlib على مجموعة قصيرة من الدوال المتكررة. نتعلّم هنا وظيفة كل منها: plot وbar وshow وtitle وxlabel وylabel وlegend (وكذلك pie)، حتى نكتب بجانب كل دالة وظيفتها ونحكم على العبارات الصحيحة وغير الصحيحة عنها.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- جدول الدوال: نستورد الرسم بالأمر import matplotlib.pyplot as plt، ثم نستدعي الدوال بالبادئة plt وبحروف صغيرة في الكود: plt.plot وplt.bar وplt.pie، لأن بايثون حساسة لحالة الأحرف. الوظائف: Plot() إنشاء رسم بياني خطي. Bar() رسم مخطط بياني على شكل أعمدة. show() إظهار الرسم البياني على شاشة المخرجات. title() إظهار عنوان للرسم البياني. xlabel() إظهار عنوان المحور السيني على المخطط. ylabel() إظهار عنوان المحور الصادي على المخطط. legend() إظهار مفتاح الرسم البياني. Pie() رسم المخطط البياني على شكل دائري.
- العناوين: title وxlabel وylabel: الدالة title تحدّد العنوان الذي يظهر أعلى المخطط: plt.title('average of class'). أما xlabel فتعطي عنوانًا للمحور السيني (X) أي الأفقي، وylabel تعطي عنوانًا للمحور الصادي (Y) أي العمودي: plt.xlabel('Names') وplt.ylabel('Average'). والعنوان يكتب بين علامتي اقتباس. لذلك العبارة «xlabel تضيف عنوانًا إلى المحور السيني» صحيحة، أما وضع عنوان للمخطط كله فمن عمل title.
- Legend: مفتاح الرسم: عند رسم خطين أو أكثر على المخطط نفسه نحتاج أن نعرف أي لون يمثّل أي بيانات. الدالة legend تُظهر مفتاحًا للرسم على هيئة مربع يقع غالبًا في الزاوية اليمنى العليا، ويحتوي ألوان الخطوط وما يرمز إليه كل خط. نكتبها قبل show: plt.legend(['grade1','grade2']). وفي سؤال اختيار من متعدد عن الدالة التي تُظهر مفتاح الرسم، الجواب legend() وليس title ولا xlabel ولا ylabel.
- ترتيب الأوامر في البرنامج: نكتب عادة: استيراد المكتبات، ثم قراءة البيانات، ثم أوامر التنسيق (title وxlabel وylabel)، ثم الرسم (plot أو bar)، ثم legend إن لزم، وأخيرًا show التي تعرض الرسم الناتج بعد تنفيذ التعليمات السابقة. من دون show لا يظهر الرسم على الشاشة في برنامج عادي.
دوال Pandas المساعدة: import وread_csv وread_excel وset_option وinfo
قبل رسم أي مخطط نحتاج إلى استيراد المكتبات وقراءة ملف البيانات وفحصه. نتعلّم هنا وظائف الأوامر المساعدة: import وread_csv وread_excel وset_option وinfo، ونراجع وظائف title وlegend وshow التي تخص الرسم.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- Import وread_csv: الأمر import pandas يستدعي مكتبة Pandas المسؤولة عن تحليل البيانات، والأمر import matplotlib.pyplot as plt يستدعي مكتبة الرسم. ولا يمكن استخدام دالة من مكتبة قبل استيرادها. بعد ذلك نقرأ الملف بالدالة read_csv: df = pandas.read_csv("C:\\Users\\user\\Desktop\\apple_products.csv")، فيُخزَّن المحتوى في المتغير df. ويُكتب المسار بين علامتي اقتباس مع تكرار الشرطة المائلة للخلف لتجنّب المشكلات.
- ملفات Excel: تُقرأ ملفات البيانات في بايثون بصيغة CSV. فإذا كان الملف محفوظًا بصيغة أخرى مثل Excel (xlsx) فنحوّله أولًا إلى CSV بفتحه في Excel ثم Save As واختيار CSV. وتتيح مكتبة Pandas كذلك دالة read_excel لقراءة ملفات Excel مباشرة، فالعبارة «تُستخدم read_excel لقراءة ملفات Excel في Pandas» عبارة صحيحة.
- set_option: عند طباعة ملف كبير تعرض Pandas جزءًا من الصفوف والأعمدة فقط. لعرض جميعها نغيّر الإعدادات الافتراضية بالدالة set_option قبل الطباعة: pandas.set_option('display.max_rows', None) وpandas.set_option('display.max_columns', None). بعد ذلك تعرض print(df) كل الأسطر والأعمدة ما يسهل قراءتها.
- Info وتذكير بدوال الرسم: الدالة info() أداة أساسية للحصول على ملخص عن البيانات: تعرض أسماء الأعمدة الموجودة في الجدول، وعدد القيم غير المفقودة في كل عمود، وأنواع بيانات كل عمود، وهذا يساعد على معرفة الأعمدة التي فيها بيانات مفقودة. أما دوال الرسم: title تُظهر عنوان الرسم، وlegend تُظهر مفتاح الرسم، وshow تُظهر الرسم على شاشة المخرجات.
جمع البيانات وتحليلها باستخدام برمجية بايثون
في هذا الدرس نستعمل بايثون (Python) وحدها لجمع البيانات وتحليلها: نثبّت المكتبات الخارجية، ونقرأ ملف بيانات، ونلخّص أرقامه بالإحصاءات الوصفية، ثم نرسمها بيانيًّا لنلاحظ الأنماط ونستنتج منها.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- تثبيت المكتبات: مكتبات تحليل البيانات (Pandas) و(NumPy) و(Matplotlib) ليست مثبتة افتراضيًّا، فنفتح شاشة الأوامر (Command Prompt) ونكتب `pip install pandas` ثم نضغط (Enter) وننتظر انتهاء التثبيت. الأمر نفسه يصلح لباقي المكتبات بتغيير اسمها.
- قراءة الملف: نستدعي المكتبة بالأمر `import pandas`، ثم نقرأ الملف بالدالة `read_csv` ونخزّنه في متغيّر، مثل `df = pandas.read_csv("المسار")`، ثم نطبعه بـ `print(df)`. يُكتب المسار بين علامتَي اقتباس مع رمز الشرطة المائلة المعكوسة مزدوجًا `\\`، وإلا ظهر خطأ (SyntaxError). وإن كان الملف بصيغة (Excel) فيُحفظ أولًا بصيغة (CSV).
- عند طباعة جدول كبير يعرض بايثون افتراضيًّا أول خمسة أسطر وآخر خمسة أسطر فقط، ثم: عند طباعة جدول كبير يعرض بايثون افتراضيًّا أول خمسة أسطر وآخر خمسة أسطر فقط، ثم يطبع في النهاية عدد الصفوف والأعمدة الكلي. لعرض كل شيء نغيّر الإعدادات بالدالة `set_option` مع `display.max_rows` و`display.max_columns` ونعطيهما القيمة `None`. وتعطي `info()` ملخصًّا بأسماء الأعمدة وأنواعها وعدد القيم غير المفقودة.
- الدالة `describe()` تحسب الإحصاءات الوصفية للأعمدة الرقمية فقط: Count (عدد القيم)، mean (الوسط الحسابي)، std (الانحراف المعياري، ويقيس تشتّت القيم حول الوسط)، min (الأصغر)، 25% (الربيع الأول)، 50% (الوسيط)، 75% (الربيع الثالث)، max (الأكبر). تُكتب هكذا: `print(df.describe())`.
- للرسم نستدعي `import matplotlib.pyplot as plt`. نضيف العنوان بـ `plt.title`، وعن: صاعد يعني زيادة وهابط يعني نقصانًا.
علاقة السبب والنتيجة في البيانات
نتعلّم هنا كيف نفهم علاقة السبب والنتيجة بين المتغيّرات في البيانات، ومتى نقبل أن متغيّرًا يسبّب آخر، وكيف نميّز العلاقة الحقيقية من العلاقة الزائفة، ثم نستعمل معادلة الانحدار الخطي للتنبّؤ بالنتيجة من السبب.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- ما علاقة السبب والنتيجة؟: نقول إن متغيّرًا سبب لآخر إذا كان تغيّره يؤدّي إلى تغيّر الآخر الذي نسمّيه النتيجة. فعدم صيانة السيارة دوريًّا (سبب) يزيد احتمال الأعطال المفاجئة (نتيجة). تفيد معرفة هذه العلاقات في اختيار الإجراءات التي تحقّق نتيجة مرغوبة، وفي كشف الأنماط، وفي التنبّؤ بالنتيجة من السبب.
- أربعة ضوابط لإثبات السببية: لا نقبل علاقة سببية إلا إذا تحقّق: (1) ارتباط واضح بين المتغيّرين، ومع ذلك لا يكفي الارتباط وحده؛ (2) أسبقية زمنية: السبب (المتغيّر المستقل) يسبق النتيجة (المتغيّر التابع)؛ (3) تفسير نظري منطقي يبيّن كيف يؤثّر السبب في النتيجة؛ (4) غياب العلاقة الزائفة، أي ألا يكون وراء الارتباط متغيّر ثالث خفي.
- العلاقة الزائفة: قد يزداد متغيّران معًا لأن عاملًا ثالثًا يرفعهما، لا لأن أحدهما يسبّب الآخر. فكلما كبر الطفل كبر حذاؤه وزادت معرفته؛ والعمر هو المتغيّر المشترك. إذا حذفنا العمر من الحساب اختفت العلاقة بين الحذاء والمعرفة وصار الارتباط صفرًا، فنعرف أنها زائفة.
- خطوات التحليل السببي: نحدّد المشكلة بوضوح على شكل سبب ونتيجة، ثم نحدّد المتغيّرات ونميّز السبب من النتيجة، ثم نجمع بيانات كافية ودقيقة، ثم نبني العلاقة بأدوات مثل مخطّط التشتت (Scatter Plot) لرؤية النمط والاتجاه (موجب أو سالب)، وأخيرًا نميّز الارتباط من السببية ونتأكد أن العلاقة غير زائفة.
- الانحدار الخطي البسيط للتنبّؤ: المعادلة العامة : المتغيّر المستقل نستعمله للتنبّؤ، والتابع هو المتنبَّأ به، و هو المقطع (قيمة عندما )، و هو الميل أي مقدار تغيّر عند زيادة بوحدة واحدة. نعوّض قيمة في المعادلة فنحصل على القيمة المتوقعة لـ .
خط الانحدار الأفضل ملاءمة للتنبؤ
عندما نرسم علاقة بين متغيرين نضيف خطًّا يمثل النمط العام هو خط الانحدار. نتعلّم هنا كيف نقرأ المخططات المبعثرة وكيف نحكم أي خط انحدار أفضل للتنبؤ بالقيم المستقبلية، ولماذا.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- قراءة المخطط المبعثر وخط الانحدار: كل نقطة تمثل حالة واحدة (مثل طالب: ساعات دراسته على X وعلامته على Y). الخط المرسوم بين النقاط هو خط الانحدار، ومعادلته Y = a + bX حيث a القيمة عند X = 0، وb ميل الخط أي مقدار تغيّر Y عند زيادة X وحدة واحدة. من الأمثلة: العلامة = 3.69 × عدد ساعات الدراسة + 60.64، فمن يدرس 5 ساعات نتوقّع علامته 79.09.
- متى يكون الخط ملائمًا؟: نتوقّع قيمة Y بناءً على الخط، فنثق بالتنبؤ حين تكون النقاط قريبة جدًّا من الخط وتتبع اتجاهًا واضحًا. في المخططات التي ظهر فيها R² = 0.9 وR² = 0.96 كانت النقاط ملتصقة تقريبًا بالخط الصاعد. أما حين تكون النقاط مبعثرة بعيدة عن الخط فالخط لا يمثّلها، ويكون التنبؤ به ضعيف الثقة.
- المقارنة بين ثلاثة خطوط: عند عرض ثلاثة مخططات نسأل في كل مخطط: كم تبتعد النقاط عن الخط؟ هل تتبع الخط أم تتناثر؟ (أ): نقاط قريبة جدًّا من خط صاعد، فالخط يمثلها تمثيلًا ممتازًا. (ب): نقاط متفرقة وخط هابط قليلًا، فبعضها بعيد عنه. (ج): سحابة كثيفة مبعثرة جدًّا وخط صاعد قليلًا، فالخط لا يعبّر عنها. الأفضل للتنبؤ هو (أ).
الفرضيات في تحليل البيانات
الفرضية (Hypothesis) تخمين مؤقّت قابل للاختبار عن علاقة بين متغيّرين أو أكثر. نتعلّم هنا كيف تُكتب الفرضية بشكل سليم، وما الفرق بين الفرضية الصفرية والفرضية البديلة، وكيف نقارن نتيجة الاختبار بمستوى الدلالة المعنوية لنقرّر هل نرفض الفرضية الصفرية أم نقبلها.
اقرأ تلخيص الدرس كامل · أسئلة على الدرس
- شروط كتابة الفرضية: تُصاغ الفرضية بلغة واضحة غير غامضة، وتكون قابلة للاختبار بالتجربة أو بالبيانات، وتتضمّن علاقة بين متغيّرين أو أكثر، وتُحدَّد بموقف أو ظروف معيّنة. مثال مقبول: لا توجد علاقة بين عدد ساعات النوم وأداء الموظفين في عملهم.
- الفرضية الصفرية والبديلة: تُكتب الفرضيتان معًا قبل الاختبار وهما متعاكستان. الصفرية () تنفي وجود علاقة أو فرق أو أثر، والبديلة () تثبت وجوده. مثلًا: : لا يوجد أثر لنوع معيّن من السماد في طول النبات، و: يوجد أثر له في طول النبات.
- خطوات اختبار الفرضية: أولًا نصوغ الفرضيتين الصفرية والبديلة. ثانيًا نحدّد مستوى الدلالة المعنوية . ثالثًا نجمع البيانات المتعلقة بالفرضية بشكل منظّم ودقيق من تجارب أو مسوح أو دراسات. رابعًا نختبر الفرضية باختبار مناسب، مثل اختبار t لمقارنة متوسطين، واختبار Z للعيّنات الكبيرة، واختبار مربّع كاي () للعلاقة بين المتغيّرات الفئوية. خامسًا نحلّل النتيجة.
- قاعدة القرار: ينتج الاختبار قيمة دلالة نقارنها بـ . إذا كانت القيمة أقل من فنرفض الفرضية الصفرية لمصلحة البديلة، أي توجد علاقة أو أثر أو فرق. وإذا كانت أكبر من أو تساويه فنقبل الفرضية الصفرية، أي لا توجد دلالة على علاقة أو أثر أو فرق.
- المواطنة الرقمية عند صياغة الفرضيات: الشفافية (Transparency): نجعل الفرضيات واضحة، ونبيّن الأساس الذي بُنيت عليه ونشارك الآخرين في طريقة صياغتها واختبارها. المسؤولية الاجتماعية (Social Responsibility): نتأكد أن الفرضيات ونتائجها لا تسبّب أثرًا سلبيًّا للأفراد أو المجتمع، ونستخدمها في تحسين الخدمات والتوعية لا في التضليل.
أمثلة محلولة
مثال 1
صنّف إلى بيانات أو معلومات: (1) قائمة أسماء الطلبة مرتبة هجائيًّا. (2) نسب هطل الأمطار خلال أسبوع. (3) علامات الطلبة في العلوم. (4) نتائج امتحان القبول النهائية (ناجح أو راسب).
اعرض الحل
- (1) أسماء رتبناها هجائيًّا: عولجت ورُتّبت فصارت معلومات.
- (2) و(3) أرقام قيست أو سُجّلت كما هي ولم تُفسَّر: بيانات.
- (4) ناجح أو راسب حكم ناتج عن تفسير العلامات: معلومات.
الجواب: (1) معلومات (2) بيانات (3) بيانات (4) معلومات
مثال 2
ما نوع البيانات `True` في البرمجة؟
اعرض الحل
- القيمة لا تحمل رقمًا ولا نصًّا، بل تدلّ على صواب.
- لا يوجد لهذا النوع إلا قيمتان: `True` و`False`.
- إذن هي بيانات منطقية (Boolean).
الجواب: بيانات منطقية (Boolean)
مثال 3
شركة تريد معرفة رضا العملاء عن منتج جديد بعد إطلاقه، ويشارك فيها عدد كبير من العملاء. ما أنسب طريقة لجمع البيانات؟
اعرض الحل
- المطلوب بيانات من عدد كبير من الأفراد بصيغة موحّدة تسهّل التحليل.
- الاستبانة تتيح ذلك بسرعة وسهولة، ويمكن توزيعها إلكترونيًا.
- المقابلات أبطأ ولا تناسب هذا العدد الكبير.
الجواب: الاستبانة
جاهز تتدرّب؟
182 سؤال على هالوحدة، بتتصحّح خطوة خطوة، ومعها تلميحات لما تعلق. أول أسئلة مجانية.
تدرّب على 182 سؤال من هالوحدة مجانًا