使用提供的train.h5按照main_vdsr.py中的超参数进行重新训练，经过50个epochs后得到的结果却是和bicubicu的值差不多，请问这是什么原因？

[CHUANGQIJI]

您好！我使用提供的train.h5按照main_vdsr.py中的超参数进行重新训练，经过50个epochs后按照eval.py进行测试得到的结果却是和bicubicu的值差不多，请问这是什么原因？

测试结果如下：
Processing Set5_mat/baby_GT_x2.mat
Processing Set5_mat/head_GT_x2.mat
Processing Set5_mat/butterfly_GT_x2.mat
Processing Set5_mat/woman_GT_x2.mat
Processing Set5_mat/bird_GT_x2.mat
Scale= 2
Dataset= Set5
PSNR_predicted= 33.69038816258724
PSNR_bicubic= 33.69039381292539
It takes average 7.9746935844421385s for processing
Processing Set5_mat/bird_GT_x3.mat
Processing Set5_mat/head_GT_x3.mat
Processing Set5_mat/butterfly_GT_x3.mat
Processing Set5_mat/baby_GT_x3.mat
Processing Set5_mat/woman_GT_x3.mat
Scale= 3
Dataset= Set5
PSNR_predicted= 30.407691466917516
PSNR_bicubic= 30.40769234323546
It takes average 7.680068445205689s for processing
Processing Set5_mat/bird_GT_x4.mat
Processing Set5_mat/woman_GT_x4.mat
Processing Set5_mat/butterfly_GT_x4.mat
Processing Set5_mat/baby_GT_x4.mat
Processing Set5_mat/head_GT_x4.mat
Scale= 4
Dataset= Set5
PSNR_predicted= 28.4145464489074
PSNR_bicubic= 28.41454827257395
It takes average 7.491984081268311s for processing

[twtygqyy]

Hi @CHUANGQIJI
"We provide a simple hdf5 format training sample in data folder with 'data' and 'label' keys, the training data is generated with Matlab Bicubic Interpolation, please refer Code for Data Generation for creating training files."

提供的H5只是一个例子，请依照Code for Data Generation生成自己的训练数据

[CHUANGQIJI]

@twtygqyy .Thanks

[CHUANGQIJI]

@twtygqyy 。非常感谢你的代码和建议。我制作了数据集，非常大。在训练时一个epoch就要迭代1270次，用的是GTX1080Ti的显卡。训练速度特别慢，一个晚上连一个epoch都跑不完。请问你有什么好的建议没，谢谢。

[twtygqyy]

@CHUANGQIJI 需要在训练的时候加上 --cuda 不然就是用cpu训练了

[CHUANGQIJI]

@twtygqyy 谢谢

[chenwang0205]

我也遇到了，在windows是这样，loss一直没降，，，难受，最终跟双三次插值效果差不多，数据集我觉得挺大的，不知道什么原因

[twtygqyy]

@chenwang0205 请确认是否依照Code for Data Generation生成自己的训练数据

[CHUANGQIJI]

@chenwang0205 我训练的时候，后期损失一直也降不下去，但是在经过60个epoch后，测得的结果就很接近了。如果这样，仍然跟双三次插值效果差不多，那么你的训练数据太小，是过拟合了，跟我刚开始一样

[chenwang0205]

谢谢！我马上试一下，感谢

[Jee-King]

请问使用MSEloss， loss值大概会降到多大?

[zhaoyucong]

@CHUANGQIJI @twtygqyy 依照Code for Data Generation生成自己的训练数据时 出现了out memort的提示 你们是如何解决的

[blueardour]

@zhaoyucong advise to employ a machine with at least 32G DDR memory to generate the data.

And my best PSNR for 2x is 37.5053, didn't reach the result of the authors, but not big gap from that.

[CHUANGQIJI]

@zhaoyucong ，那是你GPU的内存不够，建议换一台内存大一点的机器

[Sakura0818]

我用91张图片 制作了数据集，大概2G左右，这样经过默认参数训练后发现得到的结果仅比双三次差值要好一点，达到33.9，你们是对291张图片的14G训练集进行的训练得到的37的值么？参数是如何设置的，80个epoch，每steep=20么？谢谢解答

[captain11235]

@Sakura0818，同学，我遇到跟你一样的问题，你解决了嘛

[Sakura0818]

@Sakura0818，同学，我遇到跟你一样的问题，你解决了嘛

用291图片进行计算最终结果是可以的，使用默认参数，14G左右的训练集训练可以得到理想的效果，应该是91张图的训练集样本太少过拟合了。

[captain11235]

@Sakura0818，同学，我遇到跟你一样的问题，你解决了嘛

用291图片进行计算最终结果是可以的，使用默认参数，14G左右的训练集训练可以得到理想的效果，应该是91张图的训练集样本太少过拟合了。

感谢

[jayepep]

@Sakura0818 @CHUANGQIJI @captain11235 你们好，可以得到你们使用291张图像生成的训练集的.h5文件吗？我的电脑内存比较小只能跑得动91张图的😭

[CHUANGQIJI]

你好，.h5的数据集的时间太早了，我很早删除了，现在用的是DIV2K，我建议你用RCAN框架试一下

…

------------------ 原始邮件 ------------------ 发件人: "twtygqyy/pytorch-vdsr" ***@***.***>; 发送时间: 2022年4月20日(星期三) 上午10:36 ***@***.***>; ***@***.******@***.***>; 主题: Re: [twtygqyy/pytorch-vdsr] 使用提供的train.h5按照main_vdsr.py中的超参数进行重新训练，经过50个epochs后得到的结果却是和bicubicu的值差不多，请问这是什么原因？ (#30) @Sakura0818 @CHUANGQIJI @captain11235 你们好，可以得到你们使用291张图像生成的训练集的.h5文件吗？我的电脑内存比较小只能跑得动91张图的😭 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

[Sakura0818]

很抱歉，关于生成的数据集，那是很久远之前的事情了，我已经没有保存了，而且没有相关的渠道给您。我记得VDSR的h5训练集应该是用MATLAB进行生成的，您可以查阅相关的h5文件的说明，使用追加的方法，每次处理部分图片，最后形成一个完整的h5数据文件。这样可以解决您的一次性处理291图内存不够的问题。。。如果我记忆没错的话，这样可以解决您的问题。毕竟我当初同时进行了数个模型的复现，如果描述的不准确，希望可以当做给您处理这个问题的一个思路。

@Sakura0818 @CHUANGQIJI @captain11235 你们好，可以得到你们使用291张图像生成的训练集的.h5文件吗？我的电脑内存比较小只能跑得动91张图的😭

[kyaryunha]

@Sakura0818，同学，我遇到跟你一样的问题，你解决了嘛

用291图片进行计算最终结果是可以的，使用默认参数，14G左右的训练集训练可以得到理想的效果，应该是91张图的训练集样本太少过拟合了。

I had the same problem.
I tried to use train.h5 in the code, but it didn't train well (similar results to bicubic)
Then I checked this thread.

Does training work just by changing the dataset?

Does 14G mean you ran it on 291 images using generate_train.m? Which dataset do you mean?