Wagdy El-Sherbiny，科威特哈瓦利省Salmiya的开发商
Wagdy is available for hire
Hire Wagdy

Wagdy El-Sherbiny

Verified Expert  in Engineering

数据和数据库开发人员

Location
科威特哈瓦利省Salmiya
至今成员总数
April 18, 2022

Wagdy是一名高级数据和数据库工程师，在数据相关和实时大型项目方面拥有超过八年的经验. 精通SQL, databases, 数据仓库, 包括设计和实现, 他管理过软件项目，并为重要客户工作过, such as ADNOC, Emarat, KNPC, and KOC. Wagdy是数据管道方面的专家, data analysis, 和Python，专注于了解客户需求，设计和开发最先进的解决方案.

数据仓库设计DatabasesSQL Server报表服务(SSRS)SQLData WranglingData EngineeringData AnalysisData PipelinesSQL Server集成服务(SSIS)PythonPandasMicrosoft Power BIPostgreSQLPL/SQLPL/SQL Developer

Portfolio

Susquehanna Technology Management, Inc. (STMI) - Main
Python, SQL, PL/SQL, Linux, c#.. NET, Oracle, c#， Microsoft SQL Server, Shell...
SIG - Main
SQL, Python, PL/SQL, Oracle, Linux, c#.. NET, c#，数据仓库...
迪亚尔联合公司
Azure SQL, C#, C#.. NET，数据库，数据工程，数据分析，敏捷...

Experience

数据库- 8年SQL Server报表服务(SSRS) - 8年数据仓库设计- 5年SQL Server集成服务(SSIS) - 4年数据工程- 4年Python - 3 yearsMicrosoft Power BI - 3年

Availability

Full-time

首选的环境

Data Engineering, Databases, 数据仓库设计, Python, Data Analysis, NoSQL, SQL, PostgreSQL, MongoDB, ETL Tools

The most amazing...

...我开发的是ADNOC在阿联酋使用的自助支付和操作站, 按产量计算，它是世界第12大石油公司.

Work Experience

全球贸易公司Python和PLSQL开发人员

2023 - 2024
Susquehanna Technology Management, Inc. (STMI) - Main
  • 实现了一个Python程序来替换遗留系统, 大大减少了计算每个符号和交换消息的交易量的处理时间. 将处理时间从7到10小时减少到大约20到30分钟.
  • 设计了一个Python脚本从url中提取数据, 解析JSON信息, 并将其无缝存储在SQL server数据库中，以实现高效的数据管理.
  • 创建了一个shell脚本，用于从FIDO交易系统中检索数据. 实现过滤，提取重要信息，保存到CSV文件. 利用外部表方便地将数据加载到Oracle表中.
  • 成功将最初在Python 2中编写的所有遗留Python脚本迁移到最新的Python 3.7版本，确保当前开发标准的兼容性和优化.
  • 使用Jira管理bug跟踪和解决过程, 确保无缝生产支持和维护.
  • 制作了一个健壮的DB日志记录和调试实用程序，用于简化故障排除. 此外，还设计了一个Python模块，便于集成到脚本中，增强了调试功能.
  • 更新和重新实现的过时系统在使用高效和快速的Python程序处理大文件时容易失败.
技术:Python, SQL, PL/SQL, Linux, c#.. NET, Oracle, c#， Microsoft SQL Server, Shell, Bash, 工作流自动化, Data Pipelines, ETL, Data Engineering, Big Data, PySpark

全球贸易公司Python和PLSQL开发人员

2022 - 2023
SIG - Main
  • 开发一个回归测试程序，验证SIG主要交易解决方案之一的结果. 该应用程序对于高层管理人员验证数据结果非常有用.
  • 开发了一个实时数据管道，监控三个交易符号的订单交易, 并按照ACT消息协议提取数据. 脚本提取、解析数据，然后将其加载到Oracle DB中.
  • 参与pyspark脚本开发, 将遗留报表转换为新报表可以优化执行时间吗, 并处理大量的日常数据, +5亿次交易.
  • 开发了一个ETL，用于解析XML文件，将数据加载到Oracle DB表中.
  • 使用SSRS开发了许多报告，使用Qlik Sense开发了现代可视化仪表板.
  • 将遗留Perl程序转换为Python, 该脚本旨在处理交易订单并计算每个符号的5分钟滑动平均线.
技术:SQL, Python, PL/SQL, Oracle, Linux, c#.. NET, c#，数据仓库, Data Engineering, Database Modeling, Data Visualization, Data Reporting, Optimization, Data Pipelines, PySpark, Big Data, Qlik Sense

高级数据工程师

2014 - 2022
迪亚尔联合公司
  • 与项目管理团队合作，分析和整合需求，以改进决策计划过程，满足项目截止日期.
  • 领导中型项目从范围定义到执行和实施.
  • 与跨职能团队合作解决问题, 确定适当的数据源, extract data, 并开发集成信息传递解决方案.
  • Designed, implemented, 维护不同类型的数据库管理系统(dbms), such as Oracle, Microsoft SQL Server, Microsoft Azure SQL, and PostgreSQL.
  • 分析和编译数据迁移或与各种系统集成所需的组件的逐项列表, 如Oracle企业资源规划(ERP), SAP, 与顾客忠诚度管理(CLM).
  • 参与设计和实现一个数据仓库, 用于分析的数据集市, 数据挖掘项目, 以及对现有BI系统实施变更.
  • 使用SSIS工具从各种资源中收集数据, 按照数据整理周期存储和交付清理后的数据以供数据分析, 并开发一个定制的管道，用于从外部系统获取和加载数据.
  • 建立了一个快速可靠的发票系统，有效地处理数百万笔交易，并与Oracle ERP或SAP系统集成. 发票生成时间从6小时减少到20分钟.
  • 确定满足客户需求的关键报表和仪表板，并开发不同类型的报表，如参数化报表, ad hoc reports, 以及使用SSRS和Power BI向下钻取和钻取报告.
  • 排除数据问题, 分析和纠正错误和性能日志, 制定备份程序, 准备系统部署和升级. 培训各个业务单元团队如何有效地使用流程、工具和资源.
技术:Azure SQL, c#， c#.. NET，数据库，数据工程，数据分析，敏捷, SQL Server报表服务(SSRS), SQL Server集成服务(SSIS), Microsoft Power BI, Qlik Sense, Oracle, PL/SQL, t - sql (transact - sql), Microsoft SQL Server, PostgreSQL, Python, Data Pipelines

完整的开发人员

2012 - 2014
MDC (Management Development Center)
  • 参与了Rhazes解决方案的开发，包括所有的医疗, clinical, 管理模块需要以一种顺畅和用户友好的方式管理和运营医院.
  • 开发了SCHOOLIZER软件，用于有效地管理与运行任何教育机构相关的所有系统和流程.
  • 排除故障并修复与称为MUST的电子学习系统相关的生产问题.
技术:活动服务器页面(ASP)， ASP.. NET, Windows服务，Web服务，水晶报告，SQL，微软SQL Server, HTML, CSS, c#

Teaching Assistant

2012 - 2014
北京科技大学
  • Managed, planned, 为不同的班级和水平准备计算机科学相关的学习材料和课程.
  • 使用不同的教育方法，促进积极的学习环境，组织小组工作项目和头脑风暴会议.
  • 为不同的评估设定要求，并记录学生的发展情况.
  • 与计算机科学领域的变化和发展保持同步.
Technologies: C#, C++, Data Structures, Operating Systems, Education, Communication, 大学教学, Algorithms, 应用数学, Statistics, Databases

ADNOC智能钱包

http://smart.adnocdistribution.ae/
ADNOC分销公司是阿联酋领先的零售加油站运营商. ADNOC钱包使ADNOC加油站支付快捷方便. 它是完全安全的，并跟踪ADNOC加油站的日常支出. 它包括加油、购物、更换润滑油和洗车. 此外，客户可以在一个账户中注册多辆车或受益人.

我是参与和开发所有与数据领域相关对象的软件工程师, 包括触发器等数据库, stored procedures, jobs, data warehouse, pipelines, and reporting. 我创建了一套系统，包括以下内容:

•卡片管理系统(CMS).
•全面的集中式软件解决方案，为我们的客户提供与其他后端和外部系统紧密集成的用户友好界面, 比如客户管理, 受益人管理, token management, 事务管理, system settings, BI报告和仪表板, 差别定价, 通知管理, ERP integration, loyalty system, e-vouchers, coupons, data migration, 以及个性化智能卡的卡片打印系统, 车辆库系统, and invoicing.

Emarat石油公司加油站管理服务

http://www.emarat.ae/businesses/fleet-payment-solutions
Emarat是一家多渠道的电力和能源公司，在迪拜和阿联酋北部拥有服务站和燃料库网络. 在这个项目中，我做了以下工作:

•实施和定制交钥匙解决方案，以满足公司的加油站管理和零售服务需求.
•参与系统需求收集和分析阶段.
•分析和编译数据迁移和与各种系统集成所需的组件, such as Oracle ERP, NCR, and NAMOS.
•开发数据迁移工作流，将数据迁移到使用SSIS的新系统.
•建立差异化定价体系和NCR折扣.
•使用SSRS和Power BI开发各种报告和仪表板.

Kuwait E-passport

我与一个团队合作设计并实现了一套科威特内政部电子护照系统的高管和操作用户的报告和仪表板. 我执行了需求分析, 完成系统设计, 监督实施, 起草文件. Also, 我使用Microsoft BI工具创建了许多流程来开发和实现数据仓库，并设计了一个SSIS包，该包使用查找转换和Foreach Loop容器从SQL Server数据库中提取公民数据. 最后，我构建了仪表板来展示护照打印中心的整体性能.

KNPC加油站

科威特国家石油公司(KNPC)是科威特的国家炼油公司. 作为一名软件工程师, 我从零开始参与构建零售服务站的交钥匙解决方案，以满足KNPC的业务需求和运营. 我参与了所有的系统开发生命周期(SDLC)，以构建一个管理客户配置文件的集中解决方案, consumption, transactions, invoicing, loyalty points, e-vouchers, 预制的凭证, 与Oracle ERP和NCR系统的数据集成, 除了构建与管理用户权限和系统设置以及数据备份例程相关的模块之外.

科威特数字油田项目

我在科威特参与了第一个数字油田(DOF)项目, 使用石油专家(PETEX)技术，通过为决策者提供框架和仪表板来提高油井的生产和运营. 我是PETEX解决方案的一线支持人员, 协助石油工程师进行日常作业, 监督数据问题的故障排除, 并帮助用户解释和理解报告数据. 我使用以下软件解决方案:集成可视化管理(IVM), 集成生产模型(IPM), IFM, PROSPER, 及型号目录.

科威特国民警卫队的舰队管理

这个web应用程序管理所有科威特国民警卫队的车队操作. 作为一名软件工程师, 我监督收集需求, 分析客户需求, 并为团队提供详细的设计文件. 我与开发团队密切合作，设计和实现数据库的对象和Windows通信基金会(WCF)服务，为前端开发人员提供web应用程序所需的信息. Also, 管理生产部署活动和故障排除问题，并为最终用户进行培训和用户验收测试(UAT)会议.

福特GoBike系统

http://github.com/wagdySamy/DataAnalysis
福特GoBike系统数据集包含了旧金山湾区共享单车系统中个人骑行的信息. 大约有183个,数据集中有400条记录，这些记录具有描述乘车的属性, 包括起跑站, end station, and duration.

WeRateDogs分析

我举例说明了处理一个名为WeRateDogs的真实数据集的步骤和过程. WeRateDogs是一个幽默的推特账号，用评论给狗打分. 我从不同的资源收集数据, 例如ZIP和CSV文件, 并查询Twitter API来获取数据.

Languages

SQL, Python, c#， c++， c#.. NET, t - sql (transact - sql)， Scala, Active Server Pages (ASP)， HTML, CSS, Bash

Storage

Databases, SQL Server报表服务(SSRS), PL/SQL, PL/SQL Developer, Oracle PL/SQL, SQL Server集成服务(SSIS), PostgreSQL, Data Pipelines, NoSQL, MongoDB, Azure SQL, Microsoft SQL Server, HBase, Apache Hive, 数据库管理(DBA), Database Modeling, SQL Server分析服务(SSAS)

Other

数据仓库设计, PL/SQL Tuning, Data Engineering, Data Analysis, ETL Tools, ELT, Data Wrangling, Big Data, Azure Data Factory, 软件工程, Data Structures, Operating Systems, Algorithms, Windows通信基础(WCF), 人工智能(AI), Neural Networks, Streaming, Machine Learning, Data Visualization, PETEX, DAX, Data, IIS, Analysis, Teamwork, Team Management, Data & Backup Management, Data Modeling, Production, Deployment, 软件故障诊断, Troubleshooting, Education, Communication, 大学教学, 应用数学, Statistics, Windows Services, Web Services, Linear Regression, 多维表达式(MDX), Star Schema, 大数据架构, Data Warehousing, Data Reporting, Optimization, 工作流自动化

Libraries/APIs

Pandas, Matplotlib, NumPy, Twitter API, PySpark

Tools

Microsoft Power BI, Qlik Sense, Flink, Flume, Apache ZooKeeper, SQL Server BI, Oracle ERP, Crystal Reports, Shell

Paradigms

ETL Implementation & 设计、敏捷、商业智能、MapReduce、ETL、用户验收测试(UAT)

Frameworks

Hadoop, Spark, ASP.NET

Platforms

Oracle, Apache, Kafka, Linux

2008 - 2012

计算机科学学士学位

埃及吉萨科技大学

2021年3月至今

大数据的Spark和Python

Udemy

2020年11月至今

hcia -大数据课程

Huawei Academy

2020年7月至今

AWS机器学习

Udacity

MAY 2020 - PRESENT

数据分析专业纳米学位课程

Udacity

MAY 2020 - PRESENT

Python数据工程师

DataCamp

2020年2月至今

MongoDB Basics

MongoDB University

2020年1月至今

数据分析高级纳米学位课程

Udacity

2019年8月至今

职业轨迹数据分析师与SQL Server

DataCamp

2019年3月至今

大数据入门课程

Coursera

2017年6月- 2020年6月

MCPS:微软认证专家

Microsoft

2014年9月至今

计算机科学文凭

收住曼苏拉大学的科

有效的合作

如何使用Toptal

在数小时内，而不是数周或数月，我们的网络将为您直接匹配全球行业专家.

1

Share your needs

在与Toptal领域专家的电话中讨论您的需求并细化您的范围.
2

Choose your talent

在24小时内获得专业匹配人才的简短列表，以进行审查，面试和选择.
3

开始你的无风险人才试验

与你选择的人才一起工作，试用最多两周. 只有当你决定雇佣他们时才付钱.

对顶尖人才的需求很大.

Start hiring