1亿5千万的txt打包居然吃掉了31个G的内存！

gamerock

ioioio 发表于 2024-8-25 14:00
卖一份给我

自己采集就行了啊！
还不要花钱！
我卖的价格高了，你不开心！
我卖的价格低了，我不开心！
自己采集最划算！

adminisd

都是旧数据，不是最新的

osprey

打包干嘛？搬站？搬过去还得解压。。。
这么大的站流量得多少啊

xuexing

教你一招，做个脚本，分段生成单个文件，然后单个文件压缩加密，传到hub公共账户就行了，几百G都不需要一天时间，具体操作：
1 文件的aaa.txt的大小为60G，进行拆分，1G为一个文件aaa1.txt，或者10万行一个文件aaa1.txt；
2 对aaa1.txt进行压缩并加密，生成aaa1.tar；
3 构建docker镜像，将加密的aaa1.tar放到镜像文件image_aaa1中；
4 push上传镜像文件image_aaa1到公共仓库，即使有人拉取，破解不了你的密码；
5 用的时候依次拉取，几百G、几千G都可以上传，突破普通网盘容量限制，docker上传速度比大部分收费网盘要好，不存在上传限速

300G的视频，我一天搞定它，hub上现在还存放着呢，都是私人珍藏，高清无码

xuexing

你是win，可以不使用额外工具，先查看总文件有多少行，按行提取就行了，比如总用有100万行，一次提取10万行，脚本循环，下一次提取100001-200000的数据，生成aaa1.txt，单独对它进行压缩，思路基本就是这样，具体脚本扔给gpt搞定就行，循环提取，循环压缩，循环上传到hub docker，我发现hub真是好东西，上传不限速，而且还是无线容量

gamerock

xuexing 发表于 2024-8-25 14:13
你是win，可以不使用额外工具，先查看总文件有多少行，按行提取就行了，比如总用有100万行，一次提取10万行 ...

单个单个txt文件啊！
不搞哪些乱七八糟的！
别到时候用不了就麻烦了！

xuexing

gamerock 发表于 2024-8-25 14:19
单个单个txt文件啊！
不搞哪些乱七八糟的！
别到时候用不了就麻烦了！ ...

随便找个文件，测试一下呗，你先记录sha256，然后让gpt给你做个脚本，分段切分成100个小文件，然后再让gpt给你做一个合并100个txt的脚本，看看是不是原来的sha256就行了。
上传到hub和下载也是一样，执行完看看是否和最初的sha256一致。这个方法是不会错的，如果错了，那就是你执行的环节出了问题，让gpt给你排查。

不想搞这些复杂的，那你就搞钱升级大容量网盘，速度还没hub快，很多都上传限速，你说还有半个月时间，那就慢慢搞，要想快速，想一天搞定，那就要折腾。

NodeLoc

不建议打包的方式，建议同步采集的方式搬站。 另外一台部署一下直接从这边采集数据。

gamerock

xuexing 发表于 2024-8-25 14:30
随便找个文件，测试一下呗，你先记录sha256，然后让gpt给你做个脚本，分段切分成100个小文件，然后再让gp ...

恩，感谢提供方案！

88170351

xuexing 发表于 2024-8-25 14:05
教你一招，做个脚本，分段生成单个文件，然后单个文件压缩加密，传到hub公共账户就行了，几百G都不需要一 ...

300T的高清步兵，可以操作吗