الدرس 9 من 12
تلخيص درس جمع البيانات وتحليلها باستخدام برمجية بايثون
الدرس باختصار
في هذا الدرس نستعمل بايثون (Python) وحدها لجمع البيانات وتحليلها: نثبّت المكتبات الخارجية، ونقرأ ملف بيانات، ونلخّص أرقامه بالإحصاءات الوصفية، ثم نرسمها بيانيًّا لنلاحظ الأنماط ونستنتج منها.
مصطلحات الدرس
- الأمر (pip)
- أمر يُكتب في شاشة الأوامر لتثبيت مكتبة خارجية في بايثون، مثل `pip install pandas`.
- المكتبة الخارجية (External Library)
- مجموعة جاهزة من الدوال لا تأتي مع بايثون افتراضيًّا ويجب تثبيتها منفصلةً؛ أهمّها (Pandas) و(NumPy) و(Matplotlib).
- ملف (CSV)
- ملف نصّي تُخزَّن فيه البيانات بهيئة جدول، وتُفصل القيم داخل الصف الواحد بفواصل، وامتداده `.csv`.
- الإحصاءات الوصفية (Descriptive Statistics)
- أرقام تلخّص البيانات وتصفها، وتشمل مقاييس النزعة المركزية ومقاييس التشتّت والتكرارات.
- المخطط الخطي (Line Chart)
- رسم بياني يربط القيم بخطوط، ويفيد في ملاحظة التغيّر عبر الزمن أو عبر ترتيب معيّن.
أهم الأفكار
تثبيت المكتبات
مكتبات تحليل البيانات (Pandas) و(NumPy) و(Matplotlib) ليست مثبتة افتراضيًّا، فنفتح شاشة الأوامر (Command Prompt) ونكتب `pip install pandas` ثم نضغط (Enter) وننتظر انتهاء التثبيت. الأمر نفسه يصلح لباقي المكتبات بتغيير اسمها.
قراءة الملف
نستدعي المكتبة بالأمر `import pandas`، ثم نقرأ الملف بالدالة `read_csv` ونخزّنه في متغيّر، مثل `df = pandas.read_csv("المسار")`، ثم نطبعه بـ `print(df)`. يُكتب المسار بين علامتَي اقتباس مع رمز الشرطة المائلة المعكوسة مزدوجًا `\\`، وإلا ظهر خطأ (SyntaxError). وإن كان الملف بصيغة (Excel) فيُحفظ أولًا بصيغة (CSV).
عند طباعة جدول كبير يعرض بايثون افتراضيًّا أول خمسة أسطر وآخر خمسة أسطر فقط، ثم
عند طباعة جدول كبير يعرض بايثون افتراضيًّا أول خمسة أسطر وآخر خمسة أسطر فقط، ثم يطبع في النهاية عدد الصفوف والأعمدة الكلي. لعرض كل شيء نغيّر الإعدادات بالدالة `set_option` مع `display.max_rows` و`display.max_columns` ونعطيهما القيمة `None`. وتعطي `info()` ملخصًّا بأسماء الأعمدة وأنواعها وعدد القيم غير المفقودة.
الدالة `describe()` تحسب الإحصاءات الوصفية للأعمدة الرقمية فقط
Count (عدد القيم)، mean (الوسط الحسابي)، std (الانحراف المعياري، ويقيس تشتّت القيم حول الوسط)، min (الأصغر)، 25% (الربيع الأول)، 50% (الوسيط)، 75% (الربيع الثالث)، max (الأكبر). تُكتب هكذا: `print(df.describe())`.
للرسم نستدعي `import matplotlib.pyplot as plt`. نضيف العنوان بـ `plt.title`، وعن
صاعد يعني زيادة وهابط يعني نقصانًا.
أمثلة محلولة
مثال 1: تثبيت مكتبة الرسم
ما الأمر الذي يُكتب في شاشة الأوامر لتثبيت مكتبة (Matplotlib)؟
اعرض الحل
- المكتبات الخارجية لا تأتي مع بايثون، فتُثبَّت بالأمر `pip`.
- نكتب كلمة `install` ثم اسم المكتبة.
- نضغط (Enter) وننتظر انتهاء التثبيت.
الجواب: `pip install matplotlib`
مثال 2: كم سطرًا يطبع بايثون؟
قرأنا ملفًّا فيه 62 صفًّا و11 عمودًا بـ `df = pandas.read_csv(...)` ثم نفّذنا `print(df)` بلا تغيير الإعدادات. كم صفًّا من البيانات يظهر؟
اعرض الحل
- السلوك الافتراضي يعرض أول خمسة أسطر وآخر خمسة أسطر.
- نجمعهما: .
- يبقى عدد الصفوف الكلي (62) مكتوبًا في آخر المخرجات.
الجواب: 10 صفوف
مثال 3: مدى عمود السعر
أعطت `describe()` لعمود `Sale Price` أصغر قيمة 29999 وأكبر قيمة 140900. ما الفرق بين الأكبر والأصغر؟
اعرض الحل
- نقرأ min و max من مخرجات `describe()`.
- نطرح: .
الجواب: 110901
مثال 4: الفرق بين الربيعين
في نتيجة `describe()` لعلامات 20 طالبًا، الربيع الأول لعمود `grade1` يساوي 66 والربيع الثالث 90.5. أوجد الفرق بينهما، وماذا يعني؟
اعرض الحل
- الربيع الثالث (75%) أكبر من الأول (25%).
- نطرح: .
- نصف العلامات تقريبًا (الوسطى) تقع ضمن هذا المدى.
الجواب: 24.5
مثال 5: مجموع نسب القطاع الدائري
رُسم قطاع دائري بـ `y = np.array([35, 25, 25, 15])`. كم يساوي مجموع القيم، ولماذا يهمّ ذلك؟
اعرض الحل
- نجمع: .
- القيم نسب مئوية من الكل، فيجب أن يكون مجموعها 100.
الجواب: 100
أخطاء شائعة
كتابة مسار الملف بشرطة مائلة معكوسة واحدة `\` فيظهر الخطأ (SyntaxError)
ليش غلط: يحدث عند التطبيق العملي في بيئة بايثون.
الصح: الصواب شرطتان `\\` (أو نسخ المسار بالخيار Copy as path).
نسيان `plt.show()` فلا يظهر الرسم، أو نسيان تثبيت (Matplotlib) قبل الاستيراد.
ليش غلط: يحدث عند التطبيق العملي في بيئة بايثون.
الصح: راجع الخطوات المشروحة في المثال.
الظنّ أن `describe()` تعالج الأعمدة النصّية
ليش غلط: يحدث عند التطبيق العملي في بيئة بايثون.
الصح: هي تعرض الأعمدة الرقمية فقط.
قراءة ملف (Excel) بصيغة `.xlsx` بـ `read_csv` دون تحويله إلى (CSV) أولًا.
ليش غلط: يحدث عند التطبيق العملي في بيئة بايثون.
الصح: راجع الخطوات المشروحة في المثال.
اختبر حالك
1. من نتيجة `describe()` لعلامات 20 طالبًا: أصغر قيمة في `grade3` هي 38 وأكبر قيمة 100. ما الفرق بينهما؟
اعرض الجواب
الجواب: 62
.
2. ما الدالة في (Matplotlib) التي تُظهر الرسم البياني على الشاشة؟
اعرض الجواب
الجواب: `plt.show()`
تعرض `show()` الرسم الذي أُنشئ بالتعليمات السابقة.
3. الربيع الأول لعمود `grade3` هو 68.25 والربيع الثالث 93.25. ما الفرق بينهما؟
اعرض الجواب
الجواب: 25
.
جاهز تتدرّب؟
31 سؤال على هالدرس، بتتصحّح خطوة خطوة، ومعها تلميحات لما تعلق. أول أسئلة مجانية.
تدرّب على 31 سؤال من هالدرس مجانًا