Fork me on GitHub

kettle基础

ETL(Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程)，对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种 ETL 工具的使用，必不可少。“
市面上常用的 ETL 工具有很多，比如 Sqoop，Daax，Kettle，Talend 等，作为一个大数据工程师，我们最好要掌握其中的两到三种，这里我们要学习的 ETL 工具是 Kettle!“

**Kettle (新名字PDI，但大家都叫老名字)**是一款国外开源的 ETL 工具，纯java 编写，可以在Window、Linux、Unix 上运行，绿色无需安装，数据抽取高效稳定。

more >>

展开全文 >>

linux命令

linux 由 unix 演化而来

基于Linux 开源的内核，不同厂商开发出了不同名称的系统: 如 Redhat,CentOSE, Ubuntu,Suse,红旗等。

虚拟机的网络连接形式

  • 桥连接

    Linux 可以和其他的通信，但是可能造成IP冲突

  • NAT

    网络地址转换方式，linux 可以访问外网，不会造成IP冲突

  • 主机模式

    你的Linux是一个独立的主机，不能访问外网

Vmtools

此工具可以让 centOS 与主机共享文件，剪切板

more >>

展开全文 >>

shell 脚本

shell 脚本开头的两个字符叫做 shebang “#!”。在unix系统中，程序会分析 shebang 后面内容，作为解析器的指令。相当于告诉系统用那种解析器去解读脚本。yarn 就是python 开发的

  • 以 #!/bin/sh 开头的文件，程序在执行的时候会调用 /bin/sh，也就是bash解释器
  • 以 #!/usr/bin/python 开头的文件，代表指定python解释器去执行
  • 以 #!/usr/bin/env 解释器名称，是一种在不同平台上都能正确找到解释器的办法
more >>

展开全文 >>

手机端搭建linux环境

将手机作为Linux服务器

在手机端安装 Linux 系统,通过一个名为Termux的软件。Termux 是适用于 Android 的终端仿真器和 Linux 环境。它在 Google Play 商店中可用。安装后无需额外配置。

安装完成后运行就可以得到Linux 环境，接下来设置 ssh 连接。通过一个名为Dropbear的软件

more >>

展开全文 >>

csrf 跨站点请求伪造

CSRF概念：CSRF跨站点请求伪造(Cross—Site Request Forgery)，跟XSS攻击一样，存在巨大的危害性，你可以这样来理解：
攻击者盗用了你的身份，以你的名义发送恶意请求，对服务器来说这个请求是完全合法的，但是却完成了攻击者所期望的一个操作，比如以你的名义发送邮件、发消息，盗取你的账号，添加系统管理员，甚至于购买商品、虚拟货币转账等。 如下：其中Web A为存在CSRF漏洞的网站，Web B为攻击者构建的恶意网站，User C为Web A网站的合法用户。

CSRF攻击攻击原理及过程如下：

  1. 用户C打开浏览器，访问受信任网站A，输入用户名和密码请求登录网站A；
  2. 在用户信息通过验证后，网站A产生Cookie信息并返回给浏览器，此时用户登录网站A成功，可以正常发送请求到网站A；
  3. 用户未退出网站A之前，在同一浏览器中，打开一个TAB页访问网站B；
  4. . 网站B接收到用户请求后，返回一些攻击性代码，并发出一个请求要求访问第三方站点A；
  5. 浏览器在接收到这些攻击性代码后，根据网站B的请求，在用户不知情的情况下携带Cookie信息，向网站A发出请求。网站A并不知道该请求其实是由B发起的，所以会根据用户C的Cookie信息以C的权限处理该请求，导致来自网站B的恶意代码被执行。
more >>

展开全文 >>

雪中悍刀行

初始版

有个白狐脸儿，佩双刀绣冬春雷，要做那天下第一；

湖底有白发老魁爱吃荤；

缺门牙老仆背剑匣；

山上有个骑青牛的年轻师叔祖，不敢下山；

有个骑大猫扛向日葵不太冷的少女杀手；

more >>

展开全文 >>

开发自己的js plugin

工欲善其事，必先利其器。首先去找适合写插件的项目包管理工具。对比了webpack,rollup,gulp,parcel

经过一通对比就选中了 rollup，具体请自行了解。简单说一下我们熟知的vue,react,taro-ui 等 就是使用的 rolluojs 打包的

自己写了一个很简单的插件上传发布到npm。具体步骤如下：

more >>

展开全文 >>

打包工具对比

webpack、gulp、rollup 使用对比和适用场景

webpack

打包工具，根据我们的资源依赖树，分不同类型打包成静态资源，支持热更新，代码模块切分，three-shaking、异步加载等、

特性：

不同资源的模块打包 热更新 代码分割 静态资源压缩 异步加载 three-shaking

适用场景

应用程序打包

rollup

Rollup 是一个模块打包工具，可以将我们按照 ESM (ES2015 Module) 规范编写的源码构建输出如下格式:

  • IIFE: 自执行函数，可通过 <script> 标签加载
  • AMD: 通过 RequireJS 加载
  • CommonJS: Node 默认的模块规范，可通过 Webpack 加载
  • UMD: 兼容 IIFE, AMD, CJS 三种模块规范
  • ESM: ES2015 Module 规范，可用 Webpack, Rollup 加载 -

特性：

支持动态导入。

支持 tree shaking。仅加载模块里用得到的函数以减小文件大小。

Scope Hoisting。 rollup 可以将所有小文件生成到一个大文件中，所有代码都在同一个函数作用域里:， 不会像 Webpack 那样用很多函数来包装模块。

没有其他冗余代码，执行很快。除了必要的 cjs, umd 头外，bundle 代码基本和源码差不多，也没有奇怪的 webpack_require, Object.defineProperty 之类的东西，

缺点：

不支持热更新功能；对于 commonjs 模块，需要额外的插件将其转化为 es2015 供 rollup 处理；无法进行公共代码拆分。 运行时态的动态导入 dynamic imports at runtime.

rollup 通过插件来编译处理各类静态资源：

  • rollup-plugin-typescript2
  • rollup-plugin-babel
  • rollup-plugin-uglify
  • rollup-plugin-commonjs
  • rollup-plugin-postcss
  • rollup-plugin-img
  • rollup-plugin-json

适用场景：

由纯 js 开发的第三方库； 需要生成单一的 umd 文件的场景

gulp

自动化构建工具，把项目工作抽象成自动化任务 用 gulp 构建自动化工作流，处理项目中的资源，基于流式操作。

特性

gulp 文档简单，学习成本低，使用简单；对大量源文件可以进行流式处理，借助插件，可以对文件类型进行多种操作处理。

适用场景

静态资源密集操作型场景，主要用于 css、图片等静态资源的处理操作。 文件处理：

gulp 通过各种中间件处理静态资源的编译：

  • gulp-load-plugins：自动加载 package.json 中的 gulp 插件
  • gulp-rename： 重命名
  • gulp-uglify：文件压缩
  • gulp-concat：文件合并
  • gulp-less：编译 less
  • gulp-sass：编译 sass
  • gulp-clean-css：压缩 CSS 文件
  • gulp-htmlmin：压缩 HTML 文件
  • gulp-babel: 使用 babel 编译 JS 文件
  • gulp-jshint：jshint 检查
  • gulp-imagemin：压缩 jpg、png、gif 等图片
  • gulp-livereload：当代码变化时，它可以帮我们自动刷新页面

展开全文 >>