基于断点续传下载原理的实现
需求背景
动态创建的文件下载的时候希望浏览器显示下载进度
动态创建的文件希望能够分段下载
HTTP断点续传报文
要实现HTTP断点续传必须要简单了解以下几个报文。
Accept-Ranges 告诉客户端(浏览器..)服务器端支持断点续传 服务器端返回
Range 客户端告诉服务器端从指定的的位置/范围(这里值字节数)下载资源 客户端发出
Content-Range 服务器端告诉客户端响应的数据信息,在整个返回体中本部分的字节位置 服务器端返回
ETag 资源标识 非必须 服务器端返回
Last-Modified 资源最后一次更新的时间 非必须 服务器端返回
Range 的范围格式
表示0-499个字节范围:Range: bytes=0-499
表示最后500个字节范围:Range: bytes=-500
表示500字节开始到结束范围:Range: bytes=500-
表示第一个和最后一个字节:Range: bytes=0-0,-1
表示同时指定几个范围:Range: bytes=500-600,601-999
Content-Range 的数据格式
Content-Range: bytes 0-499/22036 :表示返回0-499字节范围数据 资源一共22036个字节
原理
客户端发起请求 设置Range指定开始字节数或结束字节数 如果是从0开始也可以不用设置。
服务器端检查到客户端Range头 解析开始字节数以及结束字节数 并返回报文头 Accept-Ranges表示支持断点续传,Content-Range记录该次向客户端写入流的位置信息,然后再写入流到客户端。
服务端可以使用ETag Last-Modified 标记一下资源是否被修改。作一些验证工作,如果验证不通过则返回错误,非必须项。
java实现
OutputStream os=null; InputStream inputStream =null; File zipFile=null; try{ long zipStart=System.currentTimeMillis(); zipFile=createFile();//动态根据业务创建文件 if(logger.isInfoEnabled()){ logger.info(String.format("压缩ZIP 花费时间 %s(s) ", (System.currentTimeMillis()-zipStart)/1000)); } if (zipFile.exists()) { long downloadStart=System.currentTimeMillis(); inputStream= new BufferedInputStream(new FileInputStream(zipFile)); response.reset(); os=new BufferedOutputStream(response.getOutputStream()); String userAgent = request.getHeader("USER-AGENT"); String fileName=zipFile.getName(); if (null != userAgent && -1 != userAgent.indexOf("MSIE")) { fileName = URLEncoder.encode(fileName, "UTF8"); } else if (null != userAgent && -1 != userAgent.indexOf("Mozilla")) { fileName = new String(fileName.getBytes("utf-8"), "ISO-8859-1"); } response.setHeader("Accept-Ranges", "bytes"); response.setHeader("Content-Disposition", "attachment;filename="+ fileName); response.setContentType(MediaType.APPLICATION_OCTET_STREAM_VALUE); long pos = 0, fileSize=zipFile.length(), last=fileSize-1; response.setHeader("ETag",zipFile.getName(). concat(Objects.toString(fileSize)) .concat("_").concat(Objects.toString(zipFile.lastModified()))); response.setDateHeader("Last-Modified",zipFile.lastModified()); response.setDateHeader("Expires", System.currentTimeMillis()+1000*60*60*24); if (null != request.getHeader("Range")) { response.setStatus(HttpServletResponse.SC_PARTIAL_CONTENT); try { // 暂时只处理这2种range格式 1、RANGE: bytes=111- 2、Range: bytes=0-499 String numRang = request.getHeader("Range") .replaceAll("bytes=", ""); String[] strRange = numRang.split("-"); if (strRange.length == 2) { pos = Long.parseLong(strRange[0].trim()); last = Long.parseLong(strRange[1].trim()); } else { pos = Long.parseLong(numRang.replaceAll("-", "").trim()); } } catch (NumberFormatException e) { logger.error(request.getHeader("Range") + " error"); pos = 0; } } long rangLength = last - pos + 1; String contentRange = new StringBuffer("bytes "). append(String.valueOf(pos)). append("-").append(last).append("/"). append(String.valueOf(fileSize)).toString(); response.setHeader("Content-Range", contentRange); response.addHeader("Content-Length",Objects.toString(rangLength)); if(pos>0){ inputStream.skip(pos); } byte[] buffer = new byte[1024*512];//每次以512KB 0.5MB的流量下载 int length = 0,sendTotal=0; while (sendTotal < rangLength && length!=-1) { length = inputStream.read(buffer, 0, ((rangLength - sendTotal) <= buffer.length ? ((int) (rangLength - sendTotal)) : buffer.length)); sendTotal = sendTotal + length; os.write(buffer, 0, length); } if(os!=null){ os.flush(); } if(logger.isInfoEnabled()){ logger.info(String.format("下载 花费时间 %s(s) ", (System.currentTimeMillis()-downloadStart)/1000)); } } }catch (Exception e){ if(StringUtils.endsWithIgnoreCase(e.getMessage(),"Broken pipe")){ logger.error("用户取消下载"); } logger.error(e.getMessage(),e); }finally { if(os!=null){ try{ os.close(); }catch (Exception e){} } if(inputStream!=null){ try{ IOUtils.closeQuietly(inputStream); }catch (Exception e){} } } }
比如google浏览器下载的时候就能看到下载进度以及暂停下载和恢复下载操作,也可以设置Range测试分段下载。
以上这篇基于断点续传下载原理的实现就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- docker安装logstash
- Rook Operator 源码分析(1) - osd 启动的流程
- Python 技术篇-利用pyqt5库监听剪切板变动,clipboard.dataChanged.connect()剪切板监听
- 关于MySQL server has gone away
- PyQt5 技术篇-在clipboard.dataChanged.connect()里如何写入剪切板示例演示,pyqt5监听剪切板变动并写入剪切板内容
- 去除WordPress链接中出现的index.php
- MySQL 语法问题:You can‘t specify target table ‘xxx‘ for update in FROM clause. 原因及解决方法
- 配置 prometheus-operator 报警规则
- SQL语句查询出的数据进行字符串拼接,oracle批量删除数据库用户实例演示
- prometheus-operator 监控 k8s 外部集群
- Python+selenium 自动化-操作已启用的chrome浏览器实例演示,chrome启用调试端口方法
- JavaScript 技术篇-js检测原生对象类型实例演示,js的3种对象类型
- Python 技术篇-利用pyqt5库读取剪切板已复制数据的格式类型实例演示,python判断复制文件的文件类型
- 第36期:二叉树的遍历(小白必看)
- Python 技术篇-index()字符串倒叙匹配获取索引,字符串切片反向输出,逆向输出字符串