Skill: Azure Databricks
Experience: 6 to 9 years
Location: AIA Kochi
Job Summary
This hybrid role is for an Architect with six to ten years of experience who designs and optimizes Databricks platforms using Databricks SQL Databricks Workflows and PySpark to deliver scalable analytics solutions. The architect collaborates with cross functional teams in a day shift model to transform complex data into actionable insights that support business outcomes and positive societal impact.
Responsibilities
- Design robust Databricks based data architectures that efficiently process high volumes of structured and unstructured data while meeting performance security and governance expectations for a large multinational organization.
- Develop and optimize complex Databricks SQL queries that power analytics dashboards and reporting solutions ensuring consistent query performance and reliable insight generation for business stakeholders.
- Build scalable PySpark data pipelines that cleanse transform and enrich raw data into curated datasets enabling advanced analytics machine learning and data science use cases across multiple domains.
- Configure and manage Databricks Workflows to orchestrate end to end batch and incremental data processing jobs ensuring reliable scheduling dependency handling and automated recovery from failures.
- Collaborate with data engineers data scientists and product teams in a hybrid work model to translate analytical requirements into well structured Databricks solutions that are maintainable and future ready.
- Implement and promote coding standards modular design patterns and reusable PySpark components that increase developer productivity and reduce long term maintenance efforts across projects.
- Optimize cluster configurations job parameters and resource usage within Databricks to control cloud costs while sustaining required throughput latency and availability for critical workloads.
- Establish data quality validation steps within Databricks Workflows and PySpark jobs that detect anomalies early and prevent propagation of inconsistent or incomplete data into downstream systems.
- Document architectural decisions data flow diagrams and technical implementation details in clear and accessible formats to support knowledge sharing and smooth onboarding of new team members.
- Collaborate with security and compliance teams to align Databricks configurations access controls and data handling practices with enterprise policies and regional regulations thereby safeguarding sensitive information.
- Guide teams in adopting monitoring and alerting practices for Databricks jobs and clusters using logs and metrics enabling proactive issue detection and timely remediation of production incidents.
- Engage with business stakeholders to understand analytical goals and translate them into prioritized technical roadmaps that maximize the value of Databricks investments for both the company and the wider community.
- Continuously explore new features in Databricks PySpark and supporting cloud services and evaluate their fit for enhancing existing architectures or creating innovative data products that have measurable societal benefits.
Qualifications
- Showcase extensive hands on experience designing and implementing Databricks based solutions including data ingestion transformation and consumption layers gained over six to ten years in data engineering or architecture roles.
- Demonstrate strong proficiency in Databricks SQL by crafting complex joins aggregations window functions and performance tuned queries that enable advanced reporting and analytics needs.
- Apply deep practical knowledge of PySpark for building distributed data processing jobs that handle large datasets including experience with DataFrames Spark SQL and performance optimization techniques.
- Exhibit practical expertise with Databricks Workflows by configuring tasks job clusters and dependencies to create resilient data pipelines that are simple to operate and troubleshoot.
- Bring solid understanding of data modeling concepts such as star schema and data lakehouse patterns and use these concepts to design reliable and flexible analytical layers within Databricks.
- Utilize experience with version control unit testing and continuous integration practices to ensure that Databricks and PySpark codebases remain robust traceable and easy to enhance.
- Leverage effective communication and collaboration skills to work with geographically distributed teams in a hybrid environment ensuring shared understanding of requirements timelines and quality expectations.
Certifications Required
ข่าวประชาสัมพันธ์แบบสำเร็จรูปของ Cognizant
Cognizant(NASDAQ: CTSH) คือผู้สร้าง AI และผู้ให้บริการด้านเทคโนโลยี ซึ่งเชื่อมช่องว่างระหว่างการลงทุนใน AI และมูลค่าขององค์กรด้วยการสร้างโซลูชัน AI แบบครบวงจรให้แก่ไคลเอนต์ของเรา ความเชี่ยวชาญเชิงลึกด้านอุตสาหกรรม กระบวนการ และวิศวกรรมของเรา ช่วยให้เราผสานบริบทเฉพาะขององค์กรเข้ากับระบบเทคโนโลยีเพื่อเพิ่มศักยภาพมนุษย์ สร้างผลลัพธ์ที่จับต้องได้ และช่วยให้องค์กรระดับโลกก้าวนำหน้าอยู่เสมอในโลกที่เปลี่ยนแปลงไป ดูวิธีดำเนินการได้ที่ cognizant.ai หรือ @cognizant
ข้อมูลการจ้างงานเพิ่มเติม
ข้อมูลเกี่ยวกับค่าตอบแทนมีความถูกต้อง ณ วันที่ประกาศรับสมัครงานนี้ Cognizant ขอสงวนสิทธิ์ในการแก้ไขข้อมูลดังกล่าวได้ตลอดเวลา ภายใต้กฎหมายที่เกี่ยวข้อง
ผู้สมัครอาจถูกขอให้เข้ารับการสัมภาษณ์แบบพบตัวต่อตัวหรือผ่านการประชุมทางวิดีโอ นอกจากนี้ ผู้สมัครอาจถูกขอให้นำเอกสารประจำตัวที่ออกโดยหน่วยงานของรัฐ หรือบัตรประจำตัวที่ออกโดยรัฐบาลซึ่งยังมีผลบังคับใช้ มาแสดงในระหว่างการสัมภาษณ์แต่ละครั้ง
Cognizant เป็นนายจ้างที่ให้โอกาสอย่างเท่าเทียม การสมัครและการพิจารณาคุณสมบัติของคุณจะไม่ถูกตัดสินจากเชื้อชาติ สีผิว เพศ ศาสนา ความเชื่อ รสนิยมทางเพศ อัตลักษณ์ทางเพศ สัญชาติ ความพิการ ข้อมูลทางพันธุกรรม การตั้งครรภ์ สถานะทหารผ่านศึก หรือคุณลักษณะอื่นใดที่ได้รับการคุ้มครองตามกฎหมายของรัฐบาลกลาง รัฐ หรือท้องถิ่น
