Расширенная фильтрация и анализ данных
Компания TechCorp хочет выявить перспективных сотрудников для программы развития лидерских качеств: молодых специалистов до 30 лет, которые уже получают зарплату уровня Mid или Senior. Для этого нужно удалить выбросы, создать категориальные грейды зарплат на основе числовых данных, а затем объединить несколько условий фильтрации. Эти техники позволяют решать реальные бизнес-задачи, с которыми простая фильтрация не справится.
Классы Table, Selection и StringColumn уже импортированы.
Это упражнение является частью курса
Импорт данных в Java
Инструкции к упражнению
- Удалите выбросы (зарплата < $40 тыс. или > $250 тыс.).
- Подсчитайте количество удалённых строк после фильтрации.
- Сопоставьте зарплаты с грейдами
"Junior","Mid"и"Senior". - Отфильтруйте сотрудников с грейдом
"Mid"или"Senior"моложе 30 лет.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
public class DataExploration {
public static void main(String[] args) {
// Start with the high earners table from previous exercises
Table employees = Table.read().csv("employees.csv");
// Remove outliers (salary < $40K or > $250K)
Selection outliers = employees.intColumn("Salary").isLessThan(____)
.or(employees.intColumn("Salary").isGreaterThan(____));
Table cleanedData = employees.____(outliers);
// Count rows removed after filtering
System.out.println("Employees after removing outliers: " + (employees.____() - cleanedData.____()));
// Map salaries to Junior, Mid, and Senior grades
StringColumn salaryGroup = cleanedData.intColumn("Salary").map(
salary -> {
if (salary < 100000) return "____";
else if (salary < 200000) return "Mid";
else if (salary >= 200000) return "____";
else return "Error";
},StringColumn::create).setName("SalaryGrade");
cleanedData = cleanedData.addColumns(salaryGroup);
// Filter for Mid/Senior grades under age 30
Selection highPotential = cleanedData.stringColumn("____")
.isEqualTo("Mid")
.or(cleanedData.stringColumn("SalaryGrade").isEqualTo("Senior"))
.and(cleanedData.intColumn("____").isLessThan(30));
Table highPotentialEmployees = cleanedData.where(____);
System.out.println(highPotentialEmployees.rowCount());
System.out.println(highPotentialEmployees.first(5));
}
}