الدرس 3 من 12
تلخيص درس تقنيات تحليل البيانات
الدرس باختصار
قبل تحليل أي بيانات نحتاج إلى جمعها بطريقة تناسب سؤالنا، ثم استكشافها وتنظيفها وتمثيلها بيانيًا، ثم اختيار أداة تحليل مناسبة. نتعلّم هنا طرائق جمع البيانات، ومراحل استكشافها، وأنواع المخططات ومتى نستعمل كلًّا منها، وأدوات التحليل (بايثون وإكسل وغيرهما) ومعايير المفاضلة بينها.
مصطلحات الدرس
- المقابلة (Interview)
- طريقة مرنة لجمع البيانات النوعية؛ قد تكون فردية أو جماعية، رسمية أو غير رسمية، وجهًا لوجه أو عن بُعد.
- الاستبانة (Questionnaire)
- مجموعة أسئلة ورقية أو إلكترونية يجيب عنها أفراد مستهدفون، وتناسب جمع بيانات موحّدة يسهل تحليلها.
- المسح أو الاستطلاع (Survey)
- يشبه الاستبانة في تصميمه لكنه يُوزَّع على عيّنة مختارة من عدد أكبر من أفراد المجتمع لفهم الاتجاهات العامة.
- الملاحظة (Observation)
- مراقبة الباحث لسلوك أو أحداث محددة وتسجيلها بدقة، دون تدخّل منه، للحصول على بيانات موضوعية.
- مجموعات التركيز (Focus Groups)
- نقاش جماعي منظّم حول موضوع معيّن، عادةً بين 6 و12 فردًا، لفهم تصوّراتهم وآرائهم.
- دراسة الحالة (Case Study)
- تحليل معمّق لوحدة محددة (فرد أو أسرة أو مدرسة أو موقع) في سياقها الطبيعي.
- القيمة غير المنتمية (Outlier)
- قيمة بعيدة عن معظم قيم مجموعة البيانات.
- المكتبة (Library)
- مجموعة وحدات تحتوي تعليمات برمجية جاهزة يمكن إعادة استخدامها دون كتابتها من جديد.
أهم الأفكار
طرائق جمع البيانات
لكل طريقة استعمال يناسبها: المقابلات للبيانات النوعية المفصّلة؛ الاستبانات لبيانات شاملة وموحّدة من شريحة واسعة؛ المسوحات لعدد أكبر من الأفراد لرصد الاتجاهات والتغيّرات مع الزمن؛ الملاحظة لمراقبة السلوك مباشرة وبعيدًا عن التحيّز؛ مجموعات التركيز لاستكشاف آراء مجموعة صغيرة؛ دراسة الحالة لفهم وحدة واحدة بعمق. والمقابلات تتنوّع حسب عدد المشاركين (فردية/جماعية) وطبيعتها (رسمية بأسئلة مجهّزة/غير رسمية بأسئلة مفتوحة) ووسيلة التنفيذ (وجهًا لوجه/عن بُعد).
مراحل استكشاف البيانات
الاستكشاف أول مراحل التحليل. يبدأ بتحديد المشكلة أو السؤال ثم جمع البيانات من مصادر متنوعة (قواعد بيانات، واجهات برمجية APIs، جداول، ملفات نصية). بعد ذلك تنظيف البيانات بإزالة الأخطاء والقيم المفقودة وغير المنتمية، ثم تمثيلها بيانيًا للكشف عن الأنماط والعلاقات والاتجاهات والقيم الشاذة، ثم تلخيصها بالإحصاءات الوصفية (كالمتوسط)، وصولًا إلى توجيه التحليل العميق. وهي عملية تكرارية تحتاج مراجعات وتنقيحًا مستمرًا.
اختيار المخطط المناسب
يعتمد على نوع البيانات: المدرّج التكراري (Histogram) للتوزيعات التكرارية للبيانات العددية المتصلة؛ المخطط العمودي (Bar Chart) للبيانات التصنيفية؛ مخطط التشتت (Scatter Plot) للعلاقة بين متغيرين عدديين؛ المخطط الصندوقي (Box Plot) لنطاق البيانات وتوزيعها وإبراز القيم غير المنتمية؛ مخطط السلاسل الزمنية (Time Series) للبيانات على مدى زمني؛ القطاعات الدائرية (Pie Chart) للنسب المئوية بين فئات قليلة (3 إلى 5).
أدوات تحليل البيانات
بايثون (Python): مجانية ومفتوحة المصدر وواسعة الاستخدام، ومن مكتباتها: Pandas لمعالجة الجداول، وNumPy للمصفوفات والعمليات الحسابية، وMatplotlib للرسوم والمخططات، وSciPy للحسابات العلمية، وScikit-learn للتعلّم الآلي، وPySpark للبيانات الضخمة، وNLTK للغة الطبيعية. إكسل (Excel): يوفّر أكثر من 20 نوعًا من المخططات، منها مخططات الرادار لمقارنة عدة متغيرات، وخرائط الأشجار (Treemap) لإبراز العناصر الأكثر أهمية. وهناك أدوات أخرى: R للتحليل الإحصائي، وSQL للاستعلام عن قواعد البيانات العلائقية، وPower BI للتقارير التفاعلية، وGoogle BigQuery لتحليل البيانات الضخمة على السحابة.
المفاضلة بين الأدوات والمواطنة الرقمية
لا توجد أداة تناسب كل الحاجات، لذا نفهم طبيعة البيانات أولًا ثم نقارن الأدوات بمعايير: السعر، وسهولة التعلّم، والفاعلية في إدارة البيانات، والقدرات الرسومية. وعند جمع البيانات نراعي الحقوق الرقمية (حق الأفراد في معرفة بياناتهم وطلب حذفها والالتزام بالقوانين) والأخلاقيات الرقمية (أخذ موافقة واضحة وصريحة وتوضيح الغرض من الجمع).
أمثلة محلولة
مثال 1: اختيار طريقة الجمع لتقييم منتج
شركة تريد معرفة رضا العملاء عن منتج جديد بعد إطلاقه، ويشارك فيها عدد كبير من العملاء. ما أنسب طريقة لجمع البيانات؟
اعرض الحل
- المطلوب بيانات من عدد كبير من الأفراد بصيغة موحّدة تسهّل التحليل.
- الاستبانة تتيح ذلك بسرعة وسهولة، ويمكن توزيعها إلكترونيًا.
- المقابلات أبطأ ولا تناسب هذا العدد الكبير.
الجواب: الاستبانة
مثال 2: اختيار طريقة لفهم سلوك الطلبة
باحث يريد فهم كيفية تفاعل الطلبة الصغار مع معلّميهم وزملائهم داخل الصف دون أن يتدخل. أي طريقة يستعمل؟
اعرض الحل
- الهدف مراقبة السلوك مباشرة كما يحدث في الواقع.
- هذا ما تحققه الملاحظة، إذ يسجّل الباحث ما يراه بدقة ودون تحيّز.
الجواب: الملاحظة
مثال 3: اختيار المخطط لعلاقة بين متغيرين
نريد دراسة العلاقة بين عدد ساعات الدراسة وعلامة الطالب، وكلاهما متغير عددي. أي مخطط نستعمل؟
اعرض الحل
- لدينا متغيران عدديان ونبحث عن علاقة بينهما.
- مخطط التشتت يعرض الأزواج كنقاط ويكشف النمط أو الاتجاه.
الجواب: مخطط التشتت
مثال 4: كشف القيمة غير المنتمية
علامات عشرة طلاب: 85، 85، 90، 22، 92، 95، 91، 93، 87، 89. ما العلامة التي تُعدّ قيمة غير منتمية؟
اعرض الحل
- معظم العلامات تقع بين 85 و95.
- العلامة 22 بعيدة جدًّا عن هذا النمط، فهي القيمة غير المنتمية.
- يمكن كشفها بالمخطط الصندوقي أو بالتمثيل البياني.
الجواب:
مثال 5: اختيار أداة لقاعدة بيانات علائقية
فريق يريد استخراج بيانات من قواعد بيانات علائقية (مثل MySQL) ومعالجتها بكفاءة. أي أداة أنسب؟
اعرض الحل
- الأداة المصمَّمة للاستعلام عن قواعد البيانات العلائقية وإدارتها هي لغة SQL.
- وهي لغة قياسية تدعم أنظمة قواعد بيانات متعددة.
الجواب: SQL
أخطاء شائعة
استعمال المخطط الدائري لعرض فئات كثيرة جدًّا.
ليش غلط: القطاعات الدائرية تناسب النسب المئوية بين عدد محدود من الفئات (3 إلى 5)، وإلا صعبت قراءتها.
الصح: للفئات الكثيرة نستعمل المخطط العمودي، وللنسب بين فئات قليلة نستعمل الدائري.
الخلط بين الاستبانة والمسح على أنهما شيء واحد تمامًا.
ليش غلط: هما متشابهان في التصميم، لكن المسح يُوزَّع على عيّنة من عدد أكبر من أفراد المجتمع لفهم الاتجاهات العامة.
الصح: نستعمل الاستبانة لبيانات موحّدة من شريحة واسعة، والمسح لرصد الاتجاهات العامة في المجتمع.
البدء بالتحليل العميق مباشرة دون تنظيف البيانات.
ليش غلط: الأخطاء والقيم المفقودة وغير المنتمية تُضعف جودة النتائج.
الصح: ننظّف البيانات أولًا ثم نمثّلها ونلخّصها قبل التحليل العميق.
الاعتقاد بأن أداة واحدة هي الأفضل دائمًا لكل البيانات.
ليش غلط: الأدوات تتباين في السعر وسهولة التعلّم وإدارة البيانات وقدراتها الرسومية.
الصح: نفهم طبيعة البيانات ثم نفاضل بين الأدوات بحسب المعايير.
اختبر حالك
1. ما الطريقة التي تعتمد على مناقشة جماعية منظّمة لمجموعة صغيرة (6 إلى 12 فردًا) حول موضوع معيّن؟
اعرض الجواب
الجواب: مجموعات التركيز
هي الطريقة التي تجمع أفرادًا مهتمّين بالموضوع لفهم تصوّراتهم وآرائهم عبر أسئلة موجّهة.
2. أي مكتبة في بايثون تُستخدم لإنشاء الرسوم البيانية والمخططات؟
اعرض الجواب
الجواب: Matplotlib
مكتبة Matplotlib تتيح إنشاء المخططات الخطية ومخططات التشتت وغيرها.
3. أي مخطط يناسب عرض بيانات على مدى زمني لفهم الاتجاهات والتغيّرات الموسمية؟
اعرض الجواب
الجواب: مخطط السلاسل الزمنية
مخططات السلاسل الزمنية تُستخدم لاستكشاف البيانات على مدى زمني.
4. أي مكتبة في بايثون تُستخدم في معالجة البيانات وعرضها والتعامل مع الجداول؟
اعرض الجواب
الجواب: Pandas
مكتبة Pandas مخصّصة لمعالجة الجداول والبيانات.
جاهز تتدرّب؟
35 سؤال على هالدرس، بتتصحّح خطوة خطوة، ومعها تلميحات لما تعلق. أول أسئلة مجانية.
تدرّب على 35 سؤال من هالدرس مجانًا